The Dabsong Conshirtoe

技術系の話を主にします。

2016-01-12から1日間の記事一覧

Spark1.6 - Datasetの導入とメモリ管理の変更

spark1.6がリリースされました。 Spark 1.6.0 released | Apache Spark 詳しい変更点は上記を見ていただくとして、ここではDatasetとメモリ管理方式の変更について紹介します。 メモリ管理の変更 Spark1.6ではメモリ(ヒープ)の管理が柔軟になり、より効率…