「具体と抽象」が非常に面白い内容だったので、同じ著者が書いた「自己矛盾劇場」も読んでみました。 attsun-1031.hatenablog.com 自己矛盾劇場 ―「知ってる・見えてる・正しいつもり」を考察する作者: 細谷功出版社/メーカー: dZERO発売日: 2018/12/24メデ…

「具体と抽象」を読んだので、中身をまとめます。 具体と抽象 ―世界が変わって見える知性のしくみ作者: 細谷功出版社/メーカー: dZERO発売日: 2014/11/27メディア: 単行本（ソフトカバー）この商品を含むブログを見る この本の主題と主要な論点 主題 抽象の…

なんとなく書店で見て気になった「ニュータイプの時代」を読んでみた。時代の変化とともに価値観がどう変わっているか／変わっていくかを改めて整理して知るという意味で、良い本だった。 ニュータイプの時代 新時代を生き抜く24の思考・行動様式作者: 山口…

この記事について 経験学習入門を数年前に読んだ時の読書メモを掘り出したので読み返したところ、改めて学び直せる点がありそうと感じたので、一挙公開する記事です。 「経験学習」入門 作者: 松尾睦 出版社/メーカー: ダイヤモンド社 発売日: 2011/11/26 メ…

この記事について 経験学習入門を数年前に読んだ時の読書メモを掘り出したので読み返したところ、改めて学び直せる点がありそうと感じたので、一挙公開する記事です。 「経験学習」入門作者: 松尾睦出版社/メーカー: ダイヤモンド社発売日: 2011/11/26メディ…

この記事について 経験学習入門を数年前に読んだ時の読書メモを掘り出したので読み返したところ、改めて学び直せる点がありそうと感じたので、一挙公開する記事です。 「経験学習」入門 作者: 松尾睦 出版社/メーカー: ダイヤモンド社 発売日: 2011/11/26 メ…

エラスティックリーダーシップという本を最近読んだのですが、ここ最近読んだマネジメント系の書籍の中では最もしっくりきました。 目標が自己組織化されたチームである点は自分の職場の目指すところですし、3つのモードとそれごとのリーダーシップ、という…

１ヶ月近く過ぎてしまいましたが、今年のPyConJPで、「Pythonで入門するApache Spark」というタイトルでスピーカーを務めさせていただきました。 資料 Jupyterコード 動画 PyConJPには参加者として2012年くらいから参加していましたが、スピーカーとして参加…

前回の記事では、SparkのShuffle Writeの実装を追ってみました。 今回は、Shuffle Readの実装について調べていきたいと思います。（前回と同じく今回も個人的な理解の促進のためにこの日記を書いています。） Shuffle Read Shuffle Readは、Shuffle Writeに…

前回の記事では、SparkのShuffleについて、Physical Planから見た内容についてまとめました。 今回は、実行時の観点からのShuffle Writeについて調べていきたいと思います。（前回と同じく今回も個人的な理解の促進のためにこの日記を書いています。） 実行…

前回の記事では、SparkのShuffleについての概要と、Logical Planから見たShuffleについてまとめました。 今回は、Physical Planから見たShuffleについて調べていきたいと思います。（前回と同じく今回も個人的な理解の促進のためにこの日記を書いています。…

技術評論社から「詳解Apache Spark」が刊行されました！ www.amazon.co.jp 今回、私は内容のレビューという形でこの本の出版に関わらせていただきました。 総評 Apache Sparkについてなかなか網羅的にまとめられている良本です。Sparkは情報が出てきていると…

昔お世話になった方が書いていたので読んでみました。 www.wantedly.com 感想を適当に。 低レベルな技術を身につけよう マネージドサービスや、高レベルなAPIを備えたミドルウェアに囲まれて生きている我々には耳の痛い話です。 全員がLinuxカーネルについて…

Sparkでは、reduceByKeyやgroupByKeyのような特定の処理を行う場合、シャッフルと呼ばれる処理が実行されます。 これの詳細について自分なりにある程度詳細な理解がしたかったのでまとめてみます。 Sparkのバージョンは1.6.1です。 SparkでのShuffleの概要 S…

spark1.6がリリースされました。 Spark 1.6.0 released | Apache Spark 詳しい変更点は上記を見ていただくとして、ここではDatasetとメモリ管理方式の変更について紹介します。 メモリ管理の変更 Spark1.6ではメモリ（ヒープ）の管理が柔軟になり、より効率…

あけましておめでとうございます。 恒例の占い企画です。 2013年はPython、2014年はHaskell、2015年はGoで占いをしました。今年はScalaです。 scala> import scala.util.Random import scala.util.Random scala> Random.shuffle(List("大凶", "凶", "大吉", …

kafkaのパーティション数を選択する際に考慮する点について、kafka作者のブログにまとめられていました。 How to choose the number of topics/partitions in a Kafka cluster?blog.confluent.io 自身の理解のために、ちょっとまとめてみようと思います。 ※…

最近はSparkにお熱ということで、spark-summit 2014で催されたSpark StreamingでTwitterのタイムラインからハッシュタグの出現頻度を抽出する、というお題をやってみたいとおもいます。 spark-summit 2014のhands on資料 Stream Processing w/ Spark Streami…

あけましておめでとうございます。一昨年はpython, 去年はHaskellだったので今年はGoで占いします。以下の.goを作ります。 // lottery.go package main import ( "fmt" "math/rand" "time" ) func main() { rand.Seed(time.Now().Unix()) values := []string…

毎年恒例pyconに参加しました。 今年は例年に比べ機械学習や数理系の話題が多く、自分自身も業務で最近はこの辺に触ることが多かったので嬉しい内容でした。 内容は、１セッションの時間が30分ということもあり、使っているライブラリの紹介や入門内容的なも…

すごいH本をひと通り読んだので次は自分でコードを書いてみようと思い、Twitter APIのライブラリを適当な感じで書いてみました。Attsun1031/birdwatcher · GitHub 使い方 import Web.Birdwatcher main = do user <- users_show [("screen_name", "__Attsun__…

こんなエントリーを見ました。正規表現によるバリデーションでは ^ と $ ではなく \A と \z を使おう | 徳丸浩の日記へー、知らなかったなー、pythonではどうなんだろうなー、と思って試してみたメモ。バージョンは3.3。 \z（小文字）ではなく\Z（大文字） R…

あけましておめでとうございます。 去年はpython占いしたので今年はHaskell占いします。 -- ghciで実行（letとか省いてます） import System.Random choice :: [String] -> Int -> String choice choices seed = (choices !!) . fst $ randomR (0, length ch…

python advent calendar 15日目の記事です。 以前から気になっていたcliffについて調べてみました。 ライブラリやフレームワークのコードを読むのが最近のマイブームなので、使い方とかは適当に流してcliffがどのような実装構成になっているか見てみたいと思…

デコレータの実行を遅延させる仕組み。デコレートされた関数のテストがしやすくなったりする。 メタ情報を付与するだけのアノテーションのようにデコレータを使うことができそう。 pyramidのview_config関数で使用されている。 http://docs.pylonsproject.or…

コードにおいて最も重要なことは何か？と問われれば、「可読性」だと答えます。 とにかく読みにくいコードは嫌だ。なんといっても醜いので生理的に不快。 では可読性とは何か？と考えてみたところ、2つのタイプがあるように思いましたので、ここではそれを書…

「オブジェクト指向でコードが書けるようになろう」に参加して来ました。会を通して考えることがあったのでメモ。 設問 内容は、事前に出題されていたCodeIQの設問「クラス名を考えてみよう」について数人で議論しました。 設問は以下（いろいろはしょってま…

設計において何をオブジェクト化するか、について考えることがあったのでメモ。 何をオブジェクト化するか 通常、設計においてはソフトウェアの仕様から「何をオブジェクト化するか」を考えます。「オブジェクト化する」とは、ソフトウェアの主要な関心事に…

dotcloudが楽しそうなので使ってみました。 アプリケーション作成 cd $HOME/src rails new myapp DBはmysql想定です。 dotcloudでアプリケーション作成 dotcloudにでサインアップしてください。サインアップしたらダッシュボードでcreate a new application…

解決策③「すべてのキー値のリストを受けとり、ランダムに 1 つを選択する」では、当然の話だけどトランザクションの考慮も必要ですよねって話。なんだか書いてて当たり前すぎて消そうかと思ったけどもったいないので公開します笑例えば以下のような手順をと…