Sparkの2015年の展望

こんな動画がありました。

What's coming for Spark in 2015 - Bay Area Spark ...

ざっくり言うとSparkの2015年はSparkSQL(SchemaRDD)と機械学習部分に力を入れていきそうな感じでしょうか。

ざっくり動画を見た感じだと

• SaprkSQLが使い物になるのであれば、色々と使い勝手の幅が広がりそう
• Datasource APIが色々拡充しそうで良い
• ML Pipelineも非常に興味深い
• MLlibにもstreamingに対応したものがポツポツ出始めている。例えばStreaming K-meansとか

何となくSchemaRDDを中心とした世界観が見えてきた感じがして引き続き目が話せないなぁ、という感じです。