TreasureDataを試してみる

Best and Brightestな感じのスゲー技術者が集まってる事で有名な
Treasure Dataですが、Fluentdとかは試したことありますが、
そう言えば本体使った事ないなと。。
　
ということで、さっそく試してみます。
Matzとかがインタビューに答えてるトップページから Sign Up for FREE ボタンを叩きます。

　
シンプルなフォームに入力してサブミットすると、
Treasure Data Support(support@treasure-data.com)からメールがきます。

　
メールに埋め込まれてるリンクをボチって押すとTreasureDataをはじめるガイドページ。

　
今回はWindowsのマシンで試すので、Win用の Treasure Data Toolbelt をダウンロードします。
インストーラーに従って次へ次へ的な感じですが、インストールされたモノをみてみるとなかなかシンプル。

　
コマンドプロンプトを立ち上げてみます。ほうほうって感じですね。

　
ネットワーク越しにホゲホゲやるので、事前にプロキシの設定いれておきます。
Windowsのコマンドプロンプトだと↓こんな感じ。

C:Usershoge>set http_proxy=hogehoge.proxy.co.jp:9999

　
Step 2: Authorizeに沿ってアカウントの設定をします。

C:Usershoge>td account -f
Enter your Treasure Data credentials.
Email: hogehogehoge@hogehoge.com
Password (typing will be hidden): **************
　
Authenticated successfully.
Use ‘td db:create <db_name>’ to create a database.

　
Step 3: Import Sample Dataset and Queryもやってみます。
データベースをcreateします。rakeコマンド叩くような感じですね。

C:Usershoge>td db:create testdb
Database ‘testdb’ is created.
Use ‘td table:create testdb <table_name>’ to create a table.

続いてテーブル作ります。

C:Usershoge>td table:create testdb www_access
Table ‘testdb.www_access’ is created.

5000レコードのサンプルデータがあるらしく、

C:Usershoge>td sample:apache apache.json
Create apache.json with 5000 records whose time is
from 2012-11-16 00:54:44 +0900 to 2012-11-16 18:47:14 +0900.
Use ‘td table:import <db> <table> –json apache.json’ to import this file.

サンプルデータをテーブルにインポートします～、と。

C:Usershoge>td table:import testdb www_access –json apache.json
importing apache.json…
uploading 117342 bytes…
imported 5000 entries from apache.json.
done.

上記で作ったtestdbデータベースのwww_accessテーブルに5000件のデータが入ってますね～、と。

C:Usershoge>td table:list
+———-+————+——+——-+——–+
| Database | Table | Type | Count | Schema |
+———-+————+——+——-+——–+
| testdb | www_access | log | 5000 | |
+———-+————+——+——-+——–+
1 row in set

クエリー叩くとHive的なあれがズダダダン、と。
ここまでモノの数分。ハンパねぇ楽チン…。

C:Usershoge>td query -w -d testdb “SELECT v[‘code’] AS code, COUNT(1) AS cnt FROM www_access GROUP BY v[‘code’]”
Job 999999 is queued.
Use ‘td job:show 999999’ to show the status.
queued…
　started at 2012-11-16T09:55:33Z
　Hive history file=/tmp/9999/hive_job_log__99999999.txt
　Total MapReduce jobs = 1
　Launching Job 1 out of 1
　Number of reduce tasks not specified. Defaulting to jobconf value of: 4
　In order to change the average load for a reducer (in bytes):
　　set hive.exec.reducers.bytes.per.reducer=<number>
　In order to limit the maximum number of reducers:
　　set hive.exec.reducers.max=<number>
　In order to set a constant number of reducers:
　　set mapred.reduce.tasks=<number>
　Starting Job = job_20120999999_99999, Tracking URL = http://ip-999-999-999-999.hoge.hoge:50030/jobdetails.jsp?jobid=job_201209999999_99999
　Kill Command = /usr/lib/hadoop/bin/hadoop job　-Dmapred.job.tracker=999.999.999.999:8021 -kill job_201209262127_88771
　2012-11-16 09:55:45,476 Stage-1 map = 0%,　reduce = 0%
　2012-11-16 09:55:49,522 Stage-1 map = 100%,　reduce = 0%
　2012-11-16 09:55:58,632 Stage-1 map = 100%,　reduce = 25%
　2012-11-16 09:56:06,708 Stage-1 map = 100%,　reduce = 50%
　2012-11-16 09:56:13,794 Stage-1 map = 100%,　reduce = 75%
　2012-11-16 09:56:21,880 Stage-1 map = 100%,　reduce = 100%
　finished at 2012-11-16T09:56:24Z
　Ended Job = job_201209999999_999999
　OK
　MapReduce time taken: 44.482 seconds
　Time taken: 44.619 seconds
Status　　 : success
Result　　 :
+——+——+
| code | cnt　|
+——+——+
| 404　| 17　 |
| 500　| 2　　|
| 200　| 4981 |
+——+——+
3 rows in set