Hadoopの勉強会に行ってきました@Twitter

昨日のMongoDBに引き続き、今日はHadoopのMeetup行ってきました。
　
October 2011 San Francisco Hadoop User Meetup (http://www.meetup.com/hadoopsf/events/35650052/)
って事で、こっちのマンスリーなHadoopユーザー会の勉強会。
　
■ Twitterオフィス
結構古いビルで、オフィス内もとてもシンプルというかデスクも含めて
ふっつーな感じのオフィスでしたｗ

入り口で紙に、 名前/働いてる会社/好きな動物 を書いて会場に入ります。
自分はひねくれて ZooKeeper って書いておきましたｗ
　
■ 勉強会の会場
勉強会の会場はかなり広くいい感じ。
スッゲー数のピザと、スッゲー数のビール。


みんな雑談しまくっててナイスな雰囲気なものの、なかなかみんなの話に入り込めず。
＃日本で設計やMapReduceのレビューはしてたけど実際自分で手動かしてないもんな…と

　
だた、元Googleな人や、Facebookな人もいるし、Y!な人もいるし、クラウデラな人もいるし、
もちろんTwitterの人もいるし(象使い募集してるらしいです)、ほんとにここが
ITの中心なんだなって実感出来るっていうか。
へっぽこな自分がもどかしくて仕方がなかったです。。
　
■ 勉強会メモ
東京のRails勉強会みたいな感じで(って3年前くらいに行ったっきりですが、、)
その場でこんなネタをあっちのテーブルでやりますーって感じでお題がきまって、
2部構成でした。


　
1部: ユーザー分析
スタートアップで働いてる元Googleの人(？)が、
グラフDBっちゅうのはこういうことだぜ！ってのをビシっと説明してくれました。
– ユーザーAが、ESPNを10回みて、Youtubeでバスケの動画3回みて、Hadoopのページを2回みて
– ユーザーBが、Hadoopのページを5回みて、ESPNを2回みて、、
上記のようなデータを全てのユーザーの全ての行動ごとに1レコードずつ
テーブルに突っ込んでって、逆からみたときに(例えばHadoopのページから)、
こんな感じで重み付けしてーみたいの。

その他にも、本当は自分にとってはマユツバ物な話だったのかも知れませんが、
英語がついていけず。。
スライドやホワイトボード使ってもらえればなんとかついていけますが、
トークだけはちときついす。。
　
2部: クラウデラの中の人によるHadoop Internal
いきなりホワイトボードの隣に座り始めて何か質問ある？的なｗ
　
Q:新しいbzip2が出るらしいけど？
A:そんなの知らないなぁ

Q:新しいMapReduceどうなの？
A:MapReduce2。ガッツリ変わった、と。
　Yet Anotherなんちゃらって言ってたけど、よく聞き取れなかった。。
　JobTrackerはResourceManagerって名前になるとか、
　TaskはContainerになるとか、呼び方も変わるんだそうです。
　ResourceManagerはクライアントにMapReduceApplicationMasterってにレスポンスして、
　クライアント側にいることで、サーバ側がクラッシュしてもリランが容易だみたいな事を
　おっしゃってました。んで数千台とかのクラスタに対してその方がスケーラブルだと。

　
他にも、ヒストリサーバがどうだとか、CDH4がどうだとか、次のHDFSはチェックポイントがどうだとか、
ジャーナルのマネージャがどうだとか、いろいろ話あがってましたが、全然ついていけず…orz
　
最後にみんなでメインな場所に集まって、ここのセッションは
こんな事やったんだよーって報告して終了。
　
リアルなHadooperにとってはたまらない集いだったんじゃないかなぁ。
　
—
以前、自分の会社に遊びにきてくれたクラウデラのファウンダーのChristopheさんにお会いしました。
その時はスーツでクラウデラはｘｘでｘｘなサポートも出来ます的な営業トークでしたが、
今日はすっげーフランクに話してくれました。
ちなみに、ここのところ参加した勉強会の中で、彼が唯一、楽天の事を認知しているエンジニアです。
こっちの子会社も認知度は高くないし、世界的にテクノロジブランドを確立するってのは
相当大変な事なのかなって思ったりしました。
　
—
帰りにこないだOracle Open Worldやってる会場をチラ見したら、
X.commerceのDeveloperカンファレンスをやってるぽかったです。
今、こっちでやってる仕事がeBayのAPI使ったりしそうなので、
行けたら行きたいんだけどなぁ～。
明日とびっきり早口でナイスガイなこっちの上長に相談してみっかね。
　
—
帰りのバスで前の席に座ってる人のTシャツがGithubってバックプリントが入ってたり、
やっぱこの街どうかしてるｗ
ITエンジニアにとってはこのうえないところだなぁって思います。
　

Hadoop徹底入門

posted with amazlet at 11.10.13

太田 一樹 下垣 徹 山下 真一 猿田 浩輔 藤井 達朗
翔泳社
売り上げランキング: 24633

Amazon.co.jp で詳細を見る