hbstudy#7に行ってきました。

前回に引き続き、ハートビーツさん主催の勉強会に行ってきました。

　
—-
【 GAEについて – 柴田さん】
—-　
– スケーラブルなサイトを簡単に
　・ Google Moderator
　　オバマ大統領がオンライン討論会の質問を決めるのに利用
　　数時間で7000の質問。うん十万の投票。
　・衆議院選挙のキャンペーンサイト
　・全裸Bot
　　全裸でって付けてリツイートしてくれる
　
– クラウドの種類
　・saas インフラ＋ビジネスロジック
　・paas インフラだけでなくプラットフォーム
　・iaas インフラだけ
　
　GAEはpaas。
　WindowsがやってるAzureもpaas。GAEの対抗。
　
– DataStore(BigTable)
　RDBMSではない。アンチ正規化。JOINのような機能がない。
　RDBMSはいい感じにクエリするためにコンピュータが頑張るが、
　スケーラビリティを考えると。単一クエリをいかに効果的にやるか。
　
　GAEはクエリに時間がかかるとエラーになっちゃう。
　
　テーブルのロックはボトルネックになりがちなので、Serial型がない。
　ロックの機会を最小限にすることでスケーラブルなシステム。
　
　たくさんあるサーバに仕事を分散させる感じで。
　一個のマルチコアのマシンでCPU100パーセント使い切るってのは難しい。
　スレッド間のロックとか、メモリとか、IOがネックになったりとか。
　→ 複数のシングルコアのマシンに頑張らせる
　
– 課金について
　CPU＞帯域＞データサイズ
　10GBを1月置いといても1.5ドルくらい。
　・CPUは近年あんまり性能が上がってない→複数コアの方向で。
　・帯域を増やすのも結構大変インフラの工事が要るし。
　・データサイズ→ムーアの法則的に安い。
　
– 非RDBMSは怖くない→考え方変えたら？
　ObjectStore(ObjectDataBase)−Amazonとかで使われてる
　Cache-医療分野で使ってる。XMLを扱う。統一の規格があるらしい。
　
– Python
　予約語(変数として使えない単語)の数
　　Perl 220, Java 50, Ruby 40, Python 31
　　言語の機能が整理されているシンプルで奥が深い
　Googleの使う言語
　　C++, Java, Python
　　Google内の30パーセントがPythonで出来ている。
　
・チープだけどスケーラブル
　Facebookアプリとかmixiアプリとかに使われてたり
　低いレイアの運用コストがかからない
　
・全部Googleに委ねる必要がある
　機密性の高いデータは扱いづらい
　内部統制的にソースの所在は？とか言われるとちょっときつい。
　
・箱庭の窮屈さ
　外部とソケット通信とか出来ない
　Cでコンパイルされたようなライブラリを使うことが出来ない
　長時間CPUを使うようなリクエストはキャンセルされてしまう
　
・スケールのされかたは？
　リニアにされていくの？ある程度たまったらボコって上るの？
　設計によって。データが増えると長時間走行するような
　プログラム書いたらあんまりだよね。
　同時に30個のクエリしか受け付けられないって制約があるけど？
　→衆議院選挙サイトはその制限をGoogleの人が外してくれたみたい
　
・その他
　Googleの中の人に依頼するとー的な事がチョイチョイある(インデックスが削除できないとか)
　日本のGoogleには担当の人があんまりいないから、
　英語のメーリングリストに入ったりとか、
　イベントにいったりして人脈広げるとかする必要があるらしい。
　
　
—-
【バックアップの話 – 坪井さん】
—-
– バックアップについて
　最近あんまりハードは壊れない。
　最近ではインフラ構成を冗長化したりする。
　→ 主に人災の時っていう用途が大きいんじゃないか。
　
– 増分と差分バックアップの違い
　・増分・・・前回との差分だけとる。インクリメンタル。
　・差分・・・フルバックアップからの差分を都度全部とる。
　・リストアするには？
　　増分 – インクリメンタルに戻すような感じなので面倒
　　差分 – 前回のフルバックアップ＋差分を戻せばいいので楽
　
– Amanda
　・オープンソースのバックアップソフトウエア
　　91年から開発されているが、日本語のドキュメントが少なかったりして、
　　あんまり日本では使われていなかったりする。
　　外国ではかなり使われてて、大抵のディストリビューションには入ってる。
　・出来ること
　　ダンプとかリストアとかtarとかの管理。
　・構成
　　- バックアップサーバとクライアント
　　- テープサーバ
　　- インデックスサーバ
　　ハードディスクに置くときにも仮想テープ的な。
　　AmazonS3にバックアップを取る機能もあったりするらしい。
　・使い方
　　ホスト名を使って通信するので/etc/hostsの編集が必要
　　/var/lib/amanda/.amandahosts
　　バックアップホストとFQDN
　　バックアップセットの使い方
　　　DailySet1をコピって使う/etc/amanda以下にセット毎にディレクトリ。
　　amanda.conf
　　　どんなサイクルで(世代管理も出来る。xxなタイミングでフルバックアップを上書きとか)
　　　何をどこに
　　　容量の設計や
　　　帯域を絞ったり(本来のサービスに影響を与えないように)
　　　amcheckってコマンドでApacheのconfみたいにテストできる
　　リストアの方法
　　　amrecoverとamrestoreはinfofileっていうのが必要
　　　mtとddコマンドが使えれば最悪なんとかなる(よく解らんなぁ。。)
　　便利なんだけど設定ファイルがかったるい
　　　Amanda Enterprise EditionっていうGUIがある(有償)
　　ZmandaRecoveryManager
　　　MySQLの4系5系のスケジュールしたバックアップとか
　　　MySQLのバイナリログが有効になっている必要がある
　　　ZRMも有償のはGUIがある
　　　
– どうやってバックアップとる？
　・rsyncとsh
　・darコマンド
　・GAEのバックアップは？
　　　1個データを取ると、マシン3台以上に置かれるので〜
　　　dumpしてローカルに持ってくることもできる。