Lucene/Solr Revolution 2014 at Washington DC

Lucidworks主催で、世界中から数百人の検索エンジニアが参加する、
Lucene/SolrのビッグイベントであるLucene/Solr Revolutionにいってきました。

　
　
■ Welcome Reception
　
会場はこんな感じのイカしたホテルのボールルーム。

　
各所にスポンサーブースがあって。こちらはA9。

　
Bloomberg。コンソール叩かせてもらったけど動きが凄い軽快でした。

　
ClouderaのブースではHueからSolrのクエリ叩くのとか見せてもらいました。
ブースのモニタに繋がってるヤツはイマイチなのでわざわざ自分のラップトップ出してくれましたｗ
Kibana的なUIで地図と連携とか出来たりして、かなりナイスな印象でした。
インデックスをHDFSでっていうアプローチ。検索もHadoopのビッグデータのエコシステムの中の1つに
なりつつあるのかな〜なんて、今回のカンファレンスではかなり感じました。
(業界的には機械学習とかその辺で差別化していかないとって感じですかね、、)

　
主催のLucidworksブース。検索業界狭いというか、遠く日本から来ても、ｘｘさん知ってるよ的な。

　
Lucidworks Fusion見せてもらったけどイイ感じだったなぁ。

　
Basis Technologyのブースでもらったチラシには、昔関わったアレが載ってたりして、なんだか感慨深い。

　
たくさんの検索エンジニアとカジュアルに色んな話して、パーティーそのものとしては、
コレと言った催し物も無く、サーッと終わりましたｗ
　
軽くホテルのそばのヌードル屋でパッタイ食った後、深夜までホテルのバーで
A9やLucidworksの人たちと飲みながら、業界動向的な話をしました。
　
　
■ Day 1
　
・Breakfast

海外カンファレンスの楽しみは食事中に色んな人と話せることで。
朝っぱらからEvernoteやMicrosoftのイケてる検索エンジニア達と突っ込んだ話が出来ました。
Solr使わないでLuceneに薄い自分たち専用のHTTPなラッパーを作ってるとことか多いんだな、と。
東京から来たんだよって言うと、皆んな日本語の対応大変なんだよね的な。
CloudSearchにも日本独自に向けた設定とかイロイロ入ってるのでその辺の話とか。
　
　
・Opening
Keynoteの会場は大きい部屋にズラ～っと椅子が並んでるだけでなく、後ろの方は円卓になってたりして。

　
一番前の方の席に座って、まずはCTOのGrantから。この人の言葉には力がありますね。

　
スポンサーの紹介とか、

　
ハッシュタグは #LuceneSolrRev だよーなんてアナウンスがあったりしつつ、
たまにTweetをfavしてくれるCEOのWill Hayesさん。
にしても、このニッチなエリアで、スタートアップ的な会社がこんだけのカンファレンスやるってスゲーよな、と。

　
　
・Keynote

アメリカ合衆国の初代CTOのAneesh Chopraさん。http://en.wikipedia.org/wiki/Aneesh_Chopra
ガチの検索エンジニアのたちの前でするには、それどっかで聞いたことある的な話でしたが、
『Facebookが3000人くらいの規模の時に、その中でDeveloper何人？って聞いたら、
　シェリルから35000人って返事がかえってきて、API使ってるDeveloperがそんくらいいる』
っていうエピソードとか、たまにこういうの聞くと、最近全くコード書いてない自分としては、
ちょっと悶々としてきたりします。。
　
　
・Search at Twitter

いわゆるラムダアーキテクチャな感じ。
リアルタイムはストリームで、アーカイブはHDFS。Mesosで〜、とか。
ロック回避の工夫や断片化対策などハイレベルな話でスライドも充実してたので、
資料公開が楽しみです。
　
　
・Edanz Journal Selector(Case Study)

European Bioinformatics Instituteに在籍している中国の方によるユーザー事例セッション。
論文検索用のサーチエンジンというか、ポータルサイトにおいて、クロールして情報集めてきたり、
　
データプロセッシングにHadoop使ってたり、大規模感があって、かなりグローバルなAWS事例でした。
↓全世界のリージョン使いながら、日本の福岡にもオフィスがあるそうです。

　
　
・Semantic & Multilingual Strategies in Lucene/Solr

Solr in Actionの著者の人のセッション。
多言語を扱うのって大変で↓のようなアプローチがあるよねって話とか、
・それぞれの言語ごとにフィールド分ける
・検索ドメインを言語ごとに分けちゃう
・1つのフィールドで複数言語扱っちゃう(not yet in SolrだけどSolr in Actionの中で紹介されてる)
こういう話が聞きたかった！って感じでした。
　
　
・Lunch

お昼はセッション会場の後ろにあるテーブルで。よく仕事でやりとりしてるA9のTomとか、
政府系のシステム構築をやっているっていうKateさんという女性エンジニアと。
Kateさんは元Ruby Developer(シンタックスがビューティフルで大好きだって言ってました)、
元iOS Developer、現在は検索エンジニアということで。
とにかく話の引き出しが多く、色んなお話を聞かせてもらいましたが、オンプレで大きなデータを扱うと、
ちょっとした修正でも、環境を専有しなくてはいけなくて〜みたいな辛さがあったり、
(クラウドみたいに並行して環境立てて、検証して要らなくなったら捨てちゃうとかできない、とか、
毎日のようにFull GC避けるためにバランサからノードを切り離して再起動してる〜とか、、)
アメリカと言えど、まだクラウドへの以降には消極的なところも沢山あるとか。
あとはjpsでプロセス番号引き当てて、どうやってそのジョブキャンセルするかとか話ましたｗ
　
　
・Interactively Search and Visualize Your Big Data

ClouderaのRomain Rigauxさんのセッション。
“クラウデハ”って発音してたので、スペインとかブラジルとかの人ですかね〜。
内容はHUEの紹介セッション。WebのUIからSolrのクエリ叩けたり、
地図と連携したダッシュボード等かなりイケてる感じしました。
　
　
・Search Architecture at Evernote: Not Your Typical Big Data Problem

Evernoteの検索の話。一緒に朝飯食ったChristianさん。
冒頭にContextっていう新機能の紹介があったけど、確かに30分の講演で10分の説明は長かったかも…
↓こんなTweetが流れてたり、、

At #Evernote presentation. Huge amount of marketing so far, waiting for technical details 🙁 too much context can kill you #LuceneSolrRev

— Adam Dudczak (@maneo) November 13, 2014

Solrは使わずLuceneとか、メタデータはMySQLに〜とか、興味深い話でしたが、
前に話した時に聞いた感じだから、新発見的なのはなかったな、と。。
Big Data会社じゃないから、ユーザーのデータを使って金稼ぎしようとは思ってない的な発言とか、
普段から使ってるEvernote好感度アップでした 🙂
　
　
・This Ain’t Your Parent’s Search Engine

この表題って某アレへのDisなのでしょうか？なんかそんなエピソード聞いたような気がするのですが、、
んま、相変わらず力強い口調でのプレゼンテーション。
検索エンジン的にはグルーピングとかピボットとかセクシーな機能出てきてるよねー
なんて話があってから、Lucidworks Fusionの紹介。
HUEとか、Lucidworks Fusionとか、Kibanaもそうだし、この界隈アツいですね。
　
　
・Stump the Chump at Cuba Libre Sponsored by A9
ホテルからバスでダウンタウンの方に移動して、

　
イカした雰囲気のレストラン貸し切り的な。

　
このイベントはA9がスポンサーしてるってことで、バーに設置されてるモニターがAWSだったり。

　
Solrのコミッター陣がオーディエンスからのキワドイ質問に答えまくるっていう催し物。
音響が微妙とか、英語早過ぎとか、内容deep過ぎとか、、って感じで雰囲気を楽しみましたｗ

　
会が終了後、チャイナタウンに行って、

　
Daikayaって店でラーメン食おうと思ったら満席で入れず、

　
中華料理屋でヌードル食って〆ました。

　
日本から参加した皆さんと〜

　
　
■ Day 2
　
・Breakfast

全米を渡り歩いて検索エンジンの導入コンサルやってる人とか、
現場でバリバリ検索エンジン使ってシステム構築やってるDeveloperとかと一緒に。
今回はCloudSearchパーカーをずっと着てたのですが、色んな人にAmazonで働いてるの？
って気軽に声かけてもらえて、服装重要だなぁと思ったりしました。
　
　
・SolrCloud at Apple: Automating and Scaling for Massive Multi-Tenancy

すっごい聴き応えのある話で、今回のカンファレンスの中で、個人的には一番アツかったです。
マルチテナントって観点だと、ほんとイロイロ大変だよね、と。
昔、色んなサービスから叩かれる広告配信プラットフォーム作ってた時は、
インフラ構成を柔軟に変更したり、データセンターをまたいだディザスタリカバリーとかって
ところまで手が出せなかったけど、いやー、さすがApple頑張ってんなーって印象。
AppleでSolr技術者募集してるらしいですが…
　
　
・Scaling SolrCloud to a Large Number of Collections

AWS使ってガッツリ使ってSolrCloudで負荷かけてやったぜ的なセッション。
検証終わったら、環境捨てられるからコスト低く抑えられてAWS最高！的なメッセージは
聞いててとても嬉しかったです。
　
　
・Never Stop Exploring: Pushing the Limits of Solr

Bloombergの人のセッション。NRT(Near Real Time)実現のために〜とか。
割りと早足で話が進み、どちらかと言うと会場とのコミュニケーション重視というか、
質問ある〜？的な感じ。
　
　
・CloudSearch, the Amazon Web Service on top of Solr

A9で働くSolrコミッターのTomas(from Argentina)。
かなり突っ込んだところまでCloudSearchの内部アーキテクチャを紹介したセッション。
　
Jackが作ったクエリパーサーをSolrにコントリビュート〜とかｗ

　
ハッシュタグ #LuceneSolrRev を付けてTweetしたら、色んな人にリツイートやFavしていただきました 🙂

Tomás from A9 is introducing Amazon #CloudSearch (on top of Lucene/Solr) at #LuceneSolrRev 🙂 pic.twitter.com/LD94JWIjp0

— Eiji Shinohara @ アルゴリア 🗾 (@shinodogg) November 14, 2014

こちらの内容は後から公開されますが、日本の皆さんにも分かりやすいようにスライドを作って
私の方でも勉強会等でシェアさせていただければと思っております。
　
　
・High Performance Solr and JVM Tuning Techniques Used in MapQuest’s Autocomplete Service

結構みんな頭抱えてる感があるJVMに関して、MapQuestっていうサービスのサジェスト機能における
チューニングの話。カスタムDoc Routingとかへぇ〜っていう。
JVMのパラメータとか、まんまデ～ンって資料に記載されてたので、資料公開楽しみですね。
そんなパラメータあるんだ？とか、参考になるところ多いかなと思います。
　
　
・Building a Large scale SEO/SEM Application with Apache Solr

なんかインターネットっぽいセッションタイトルだなーって思って、参加したのですが、
SEOやSEMの話はあんまり出てこなくて、どうやって集計やレポートを効率良く的な。
　
使ってるプロダクトとか、昔やってたのと近いかなぁと。

　
　
・Lunch

最初はオンラインゲーム作ってるディベロッパーとかと食ってて、
その後A9のメンバーとお互いの状況をイロイロアップデート。
こんな感じで月1くらいで情報収集できると、とてもナイスだなぁ。
　
　
・Visualize Solr Data with Banana

バンコク(って言ってたかな？)からきたAndrewさんによるBananaのセッション。
最初は個人的にやってたのがガッツリプロジェクトになった的な。
A port of Kibanaって事で、Solrユーザーには気になるところですね〜
　
　
・The LinkedIn Search Architecture

LinkedInの検索話。ここでもSolrは使わずLucene。
有名ドコロは割りとLuceneを直で使ってるところが多いなー、と。
リアルタイムはストリーム、全体のデータセットはHadoop。この構成多いですね。
C++で新しいエンジン作ってるって言ってたけど、そっちも今後楽しみ。
　
　
・10 Keys to Solr’s Future

Grantのセッション。LucidworksはSolrのMeetupだったら世界中どこでもピザとビールのスポンサーするぜ！とか、
コミュニティに対する情熱の高さも感じました。
　
こちらはスライド公開されてました↓
[slideshare id=41712123&w=425&h=355&fb=0&mw=0&mh=0&style=border:1px solid #CCC; border-width:1px; margin-bottom:5px; max-width: 100%;&sc=no]

10 Keys to Solr's Future: Presented by Grant Ingersoll, Lucidworks from Lucidworks

　
　
・Closing Remarks

ほんとありがとう！的な感じで簡素にカジュアルに〆て来る辺りが好感度高いというか。
この辺のイイ意味での営業っ気なさが、支持されてる理由だったりするのかな、と。
　
　
■ Smartphone App
　
今回doubledutch(http://doubledutch.me/)っていうカンファレンス用のスマホアプリ的なヤツで
スケジュールとか、会場地図とか、それみれば分かるようになっててとても便利でした。

　
フィードとか写真載っけたり、このアプリ上でコミュニケーション取れるのも良かったな〜

　
　
■ A9ブース
　
ちょこちょこお邪魔して、私もいろんな人とお話させていただきました。
マーケティングやセールスのメンバーだけでなく、
CloudSearchを実際に開発してるメンバーもブース対応してました。

　
　
■ DJ
　
イベント中に音楽かけてた彼のスピンはナイスでした！

　
　
■ グッズ
　
ブースまわって話聞くとグッズもらえたりしますが、
ミーハーな自分はこういうの大好きで…ｗ

　
　
■ 2014年12月8日第15回Solr勉強会 #SolrJP
　
こちらのカンファレンスの様子は、Solr勉強会でロンウイットの打田さんのレポートがセッションが
あるので、そちらでも詳しく内容をチェックできます。
お時間あれば是非→http://solr.doorkeeper.jp/events/16389
　
こちらの勉強会は私も登壇します〜(´▽`)ﾉ

12月8日のSolr勉強会に『Amazon #CloudSearch Deep Dive』というタイトルで登壇します！CloudSearchのアーキテクチャの詳細をご紹介しますので、是非ご参加ください〜(´▽`)ﾉ http://t.co/6YZnOHGZXm #SolrJP

— Eiji Shinohara @ アルゴリア 🗾 (@shinodogg) November 21, 2014

　
　
—
来年も是非参加したいです〜！
　