Fluentd Casual Talks #2 at :D に行ってきました

最近ちょこちょこFluentdやTreasureDataを試したりしていて、
この勉強会行きたいなーって登録したものの、ATNDで相当下の方の補欠だったので、
無理かなと思ってたのですが、デブサミの最後のセッションを聴いてる時にみたら繰り上がってたので行ってきました。

　
■ @just_do_neetさん
＃遅刻してしまったのであまり聞けなかったのですが、、
LINEでのout_webhdfsの話。
DataNodeの接続上限数に気をつけましょうなど。
日本のあけおめも、旧正月の新年快楽も、ちゃんと乗り切りましたよ、と。
　
■ id:antipop(@kentaro)さん
インターネット上ではよくお見かけする方ですが、生ではじめてみた！
Pubooでイロイロやったことについて。
＃今携わってるプロジェクトでもPabooさんにはお世話になっています。
　
fluent-plugin-phpは5.3以降からしか使えないのでファイルでやりくり。
・out_rewrite
PCとスマホの判別を↓のように出来たり、

key device
pattern ^(pc|sp)$

ログイン判定を↓のようにできたり、

key loggedIn
pattern ^(user|guest)$

そうすると↓のような良さげな感じに。

pc.user => { … }
sp.guest => { … }

GrowthForecastに流すとグラフがズダダダと。
　
・out_flatten
どのメソッドにどれくらい時間かかってるとか見たい。
RailsだとアプリケーションのモニタリングにNew Relicとかあるけど、PHPなので。
apache_noteっていう関数があるので、それをうまいこと可視化するためのフラット化ツール。
　
・out_extract_query_params
個人的にコレが一番アツかったかなぁ～
URLの文字列の中からパラメータの値を抽出してJSONの要素に的な。
具体的には、”foo/bar?campaign_id=1″っていうクエリストリングを

type extract_query_params

って設定しとくと、”campaign_id” : “1” っていうJSONにしてくれる。
　
発表資料は↓こちらです。
//speakerdeck.com/assets/embed.js
　
　
■ @repeatedlyさん
Herokuのアドオンの話。標準出力にログを投げるだけで、TreasureDataに勝手に溜まっていく。
HerokuでNode.jsとかだと、ロガーがないので重宝されているそうです。
また、Heroku＆TreasureDataでなく、単体でも使えるようにstdout-hookというgemを作ってる。
でも、デフォルトの設定はTreasureDataになってるｗ
↓3月7日に福岡でもFluentdのMeetupやりますよー、と。
Fluentd meetup in Fukuoka
　
　
■ @tagomorisさん
認証と暗号化機能を持つforwardのお話。ソースコードは↓こちら。
https://github.com/tagomoris/fluent-plugin-secure-forward
　
セキュアフォワードの場合はTCPのセッション張りっぱなしだが、
KeepAliveがdisableだったらどうすんの？とか
ACLとか、DNSとか、SSLの共有鍵暗号のを選べるとか、
まだExperimentalな感じでやらなければいけないことは沢山あるけれども、
かなり頑張ってガッツリ書いたので、使いたい人がいたら、プロジェクトごと引き継ぐような感じで、
頑張って欲しい、とｗ
　
資料は↓こちら。
[slideshare id=16545631&w=427&h=356&fb=0&mw=0&mh=0&style=border:1px solid #CCC;border-width:1px 1px 0;margin-bottom:5px&sc=no]

Fluentd message forwarding with authentication and encryption from SATOSHI TAGOMORI

　
　
■ @sonotsさん
OpsのためのDev。
Haikankoというツールを作った。
Fluentdの設定をWebUIから。デプロイボタンでバラ撒いたり、ログ監視したり。
　
ツールを作るに至った経緯
・いちいち手でやってたらやってられない
　↓
・デプロイスクリプト必須
　↓
・グローバルで使われる(tagomorisさんのブログ読んでやっといてーとか言えない…)
　↓
・配管工として巻き取る
　
fluentd+プラグインはあくまでインフラなので、監視とかで使いたいならアプリ層のソリューションが欲しかった。
　
とにかくカジュアルなアーキテクチャ
・Sinatra(on thin)
・Erb
・MongoDB
・mina(yet another capistrano。シェルをサーバに配布。sshは一回だけ。capistranoより高速)
・DryRun機能もある
　
資料はこちら↓
[slideshare id=16546308&w=427&h=356&fb=0&mw=0&mh=0&style=border:1px solid #CCC;border-width:1px 1px 0;margin-bottom:5px&sc=no]

Fluentdcasual 02-haikanko from Naotoshi Seo

　
　
■ @katsuyoshi さん
fluent-plugin-axlsx(エクセルにアウトプットｗ)とか、mikutter-fluentdとかを作ってる。
　
BeagleBoard-xM：TIが開発したUSB給電のみで動くARM PC。512メモリ。
ARMはまだ32ビットしかないのでTD Agentでjemallocが動かなくてバージョン3.0.0にしたらOKだった。
CPUがボトルネックになる感じ。メモリはそんなに食わない。ネットワークは100M BPSはでるので問題にならないはず。
350000データ/min 秒間6000件くらいイケそう。
　
＃某電子書籍デバイスでもTDイケるような気もしてきた…
　
　
■ @oza_x86さん
発表準備中にスライドを見えちゃうとネタバレしちゃうので気をつけましょう的な。
　
Scalaのオブジェクトをそのままログ出力したい。
fluent-logger-scalaにわたすとMessagePackでシリアライズしてーってやってくれる。
FluentLoggerFactory.getLoggerでLogger取得してHashMap作って～って流れ。
　
Mavenのセントラルリポジトリに載ったので使うの簡単。
SBTというScalaのビルドツールを使う時は空白行が重要らしい。
　
　
■ @kuenishiさん
Basho Japanの人。ErlangとかJubatusとか。
会場ではFluentd＆MongoDBの人が圧倒的に多かった。
　
Riak用のプラグインなかったので作りました的な。
Rubyよく分からないけどMongoDBのプラグインを参考にしつつ。
　
RiakのMeetupが六本木のY!であるらしい。
　
資料はこちら↓
//speakerdeck.com/assets/embed.js
　
　
■ ＠spring_MTさん
以前、友人の結婚式で福岡に行ったついでに参加した #fukuokapm でお話されてた人だ。
fluent-plugin-resqueを作ってるそう。Resque.infoっていう便利なの。
FluentdにはInputTestDriver(Fluent::Test::InputTestDriver)というイカしたツールがある。
　
　
■ @angostura11さん
Fluentd+Esper。EsperはJavaなOSSのライブラリ。
外からストリームに対してクエリを流したりできるので、カウント文で閾値判定が出来たり。
ZeroMQ＋MessageMackとか。Esperについて無知なのでアレなのですが、
その時のTwitterのTLとかは、イイ感じだってかなり盛り上がってました。
　
　
—
それにしても、ログコレクターの話にこれだけの人が集まるって、やっぱ現場感なんだろうなー、と。
誰しもが扱うものだけど、なんとなくテープに保存して簡単に参照できないとこにいっちゃったり。
監視ももうちょい痒いとこに手届くのーとかやりたいけど、なんだかなって思ってる人がいっぱいいるんだと思う。
日本語でプラグイン作ってる人たちの話がこんな風に聞けるなんて幸せなことです。
　
ってか、会場がDeNAさんのくせに、GREEさんの水飲みながら話きいてゴメンナサイ＞＜笑

　
　
—
勉強会後はヒカリエで働いてる @okitsu と、渋谷で働いてる @djkazu とヒカリエで飲んだくれた後、
@russ_garden と合流して、@yuheikusaka がMadlibのディスカウント取ってくれたので、
VISIONに行って踊って騒いだ挙句、

更にラーメン屋いって飲んだくれて朝帰りましたよ、と。

　
もう若くないですが、たまにはこういうのもイイもんですやね。
　