Redisに500万レコード突っ込んで複数クライアントからGETしてみる

Redisの負荷検証(1000万レコード突っ込んだ時の動きをみてみる) | shinodogg.com↑のエントリで1000万レコード突っ込んだらスワップしちゃって、イマイチな検証しか出来なかったので、突っ込むのは500万件にしてみました。...

Redisの負荷検証(1000万レコード突っ込んだ時の動きをみてみる)

先日入れたRedis(RedisをインストールしてSET/GETするにインストール方法書いてあります)ですが、実際に運用する時に、ウン百万~ウン千万レコードのデータを扱う事になりそうっていうことで、どんな動きするのか検証してみました。 ■ ...

RedisをインストールしてSET/GETする

仕事でRedis(を使うかもしれないので、検証用にインストールしてRubyクライアントからSET/GETしてみました。 ■ Redisのソースをダウンロードホームページ(のdownloadsからRedisのtarファイルをダウンロードします...

システム運用で使う簡易的なWebアプリをSinatraで作る

サーバ上にあるXMLを簡易的なWebアプリから、参照したり、変更したり、したいと。簡易って言ったらsinatraが一番かな、と。XMLをオブジェクトにしたりシリアライズしたりするのもRubyなら楽そうだし。ってことで、、 ■ Sinatra...

Spring BatchでDBにデータを流し込んだ時の処理時間計測(Single/Multiスレッド)

先日、SpringBatchで複数ファイルをマルチスレッドでDBに突っ込むってエントリを書きましたが、そういえば、時間の計測してなかったと思って、チョロっとやってみました。# クアッドコアのCPUとかだとこういうのグワっと差分が出てきそうで...

SpringBatchで複数ファイルをマルチスレッドでDBに突っ込む

■ INPUT FILE(hoge1~5.csv)hoge1.csv1,aaa2,bbb・・・hoge5.csv51,aaa52,bbb・・・~hoge2.csvからhoge4.csv同じような感じなので省略~ ■ OUTPUT DB(ho...

SpringBatchのlaunchとJob定義のXMLについて

SpringBatchのJob定義XMLファイルについて、サンプルを見ると、 ジョブ定義:META-INF/spring/module-context.xml 起動時に指定するファイル:launcher-context.xmlとなっていて、...

ステップ実行するためにSpringBatchを動かせるようにする

ソース読み進めていくのに、ステップ実行したくなってきました。JUnitでもよかったのですが、トータル的な流れでみたかったので、CommandLineJobRunnerを使ってジョブを流せるようにします。(コマンドラインつってもEclipse...

SpringBatchのStepの多重実行 その1

■ StepinterfaceのStepをCtrl+Tすると、AbstractStepってクラスがいて、FlowStep, JobStep, PartitionStep, TaskletStepってのがいます。JobStepはシンプルに実行...

SpringBatchでJobの中のStepが呼ばれるまで

■ CommandLineJobRunnermain文持ってます。mainメソッド 自分自身のインスタンス作って、 ハイフンが付いてるヤツはオプションとして解釈してコレクションに詰めて 1個目の引数はジョブのパス 2個目の引数はジョブのアイ...