lucene-gosenを試してみるその2

lucene-gosenを試してみるその1では単発でlucene-gosenを使ってみましたが、
今度はSolrに組み込んで、動かしてみようと思います。
　
■ Solrのインストール
　
↓のダウンロードページから apache-solr-3.5.0.zip をダウンロードしてきます。
http://www.apache.org/dyn/closer.cgi/lucene/solr/
今回はWindowsを使うのC直下に解凍しました。

C:apache-solr-3.5.0>dir
 C:apache-solr-3.5.0 のディレクトリ

2012/02/13  14:24    <DIR>          .
2012/02/13  14:24    <DIR>          ..
2011/11/22  14:55           159,619 CHANGES.txt
2012/02/13  14:23    <DIR>          client
2012/02/13  14:24    <DIR>          contrib
2012/02/13  14:24    <DIR>          dist
2012/02/13  14:24    <DIR>          docs
2012/02/13  14:25    <DIR>          example
2011/11/22  14:55            81,191 LICENSE.txt
2011/11/22  14:55            17,469 NOTICE.txt
2011/11/22  14:55             5,034 README.txt

　
distディレクトリのwarファイルを抜き出してローカルのTomcatに～
とかやるのもメンドイなぁと思ってたら、
exampleディレクトリの中にREADME.txtがあって、中身みてみると、、

Solr example configuration
--------------------------

To run this example configuration, use

  java -jar start.jar

in this directory, and when Solr is started connect to

  http://localhost:8983/solr/admin/

だそうで。どうも内部的にJettyを使ってる感じみたいです、と。
　
さっそく立ち上げてみると、、

C:apache-solr-3.5.0example>java -jar start.jar
2012-02-13 14:30:13.948:INFO::Logging to STDERR via org.mortbay.log.StdErrLog
2012-02-13 14:30:14.026:INFO::jetty-6.1-SNAPSHOT
2012-02-13 14:30:14.085:INFO::Extract file:/C:/apache-solr-3.5.0/example/webapps/solr.war to C:apache-solr-3.5.0exampleworkJetty_0_0_0_0_8983_solr.war__s
f17webapp
2 13, 2012 2:30:15 午後 org.apache.solr.core.SolrResourceLoader locateSolrHome
～略～
情報: SolrUpdateServlet.init() done
2012-02-13 14:30:17.184:INFO::Started SocketConnector@0.0.0.0:8983

　
なんか上がったみたいです。
8983ポートの/solrにブラウザからアクセスしてみると↓見おぼえのある…

　
　
■ lucene-gosenをSolrに突っ込む
　
ってことでさっそくlucene-gosenをSolrに突っ込んでみますよ、と。
今後辞書を自分で追加してホゲホゲみたいな感じにしたいので、
Solr/Lucene本で有名(ってかlucene-gosenの開発者)な関口さんの↓のブログを参考に。
lucene-gosen + Solr 3.1 | 関口宏司のLuceneブログ
　
今回はWindowsなのでTortoiseSVNを使ってチェックアウトしてきます。

　
Apache Antのzipファイルをhttp://ant.apache.org/bindownload.cgiからダウンロードしてきて、
先ほどのチェックアウトしてきたディレクトリに解凍します。
　
で、さっそくビルドしてみます。

C:lucene-gosen>apache-ant-1.8.2binant
Buildfile: C:lucene-gosenbuild.xml

prepare-directories:
～略～
BUILD FAILED
C:lucene-gosenbuild.xml:170: The following error occurred while executing this line:
C:lucene-gosendictionarybuild.xml:56: More than 25 times redirected, giving up

失敗してますがな。。
　
例のごとくプロキシサーバーが邪魔してるみたいです。

C:lucene-gosen>set http_proxy=http://hogehoge.~

コレやっても失敗します。AntはJavaのツールなので、Javaにプロキシを教えてあげなきゃいけません。
AntっていうかJavaは-Dオプションでプロキシサーバとプロキシポートを指定する感じなので、
↓のようにして叩いてやります。

C:lucene-gosen>apache-ant-1.8.2binant -Dproxy.host=proxy.hogehoge.co.jp -Dproxy.port=9999

それでも落ちますがな、と。

download:
      [get] Getting: http://chasen.aist-nara.ac.jp/stable/ipadic/ipadic-2.6.0.tar.gz
      [get] To: C:lucene-gosendictionaryipadicipadic-2.6.0.tar.gz
      [get] Error opening connection java.io.FileNotFoundException: http://chasen.aist-nara.ac.jp/stable/ipadic/ipadic-2.6.0.tar.gz
      [get] Error opening connection java.io.FileNotFoundException: http://chasen.aist-nara.ac.jp/stable/ipadic/ipadic-2.6.0.tar.gz
      [get] Error opening connection java.io.FileNotFoundException: http://chasen.aist-nara.ac.jp/stable/ipadic/ipadic-2.6.0.tar.gz
      [get] Can't get http://chasen.aist-nara.ac.jp/stable/ipadic/ipadic-2.6.0.tar.gz to C:lucene-gosendictionaryipadicipadic-2.6.0.tar.gz

BUILD FAILED

普通にブラウザからアクセスしても

Not Found

The requested URL /stable/ipadic/ipadic-2.6.0.tar.gz was not found on this server.

Apache Server at chasen.aist-nara.ac.jp Port 80

って言われるよねぇと。。
　
build.xmlを追っていくと、こいつを取ってくるところは
dictionaryってディレクトリのipadic.propertiesの中の↓は

dic.home=http://chasen.aist-nara.ac.jp/stable/ipadic

chasen.naist.jpが正しいURLみたいなので↓に書き換えてやります。

dic.home=http://chasen.naist.jp/stable/ipadic

　
↓のように、ようやくビルド出来ましたがなっていう。

～略～
compile:
    [mkdir] Created dir: C:lucene-gosensrccompiled-dictionariesipadicnetjavasen
     [copy] Copying 6 files to C:lucene-gosensrccompiled-dictionariesipadicnetjavasen

jar:
      [jar] Building jar: C:lucene-gosendistlucene-gosen-1.3-dev-ipadic.jar

BUILD SUCCESSFUL

↓distの中にこんな感じで出来てます。

　
C:lucene-gosendist>dir
2012/02/14  11:30    <DIR>          .
2012/02/14  11:30    <DIR>          ..
2012/02/14  11:30         8,298,744 lucene-gosen-1.3-dev-ipadic.jar

　
出来たjarファイルを↓のようにSolrをインストールしたディレクトリの
exampleのsolrのlibに突っ込んでやります。

　
でもって↓のようにschema.xmlを書き換えると、、、

　
↓こんな風に狙った感じで解析できました。

　
が、例えば、”コボちゃん”だと↓こんな風になってしまいます。

Index Analyzer
org.apache.solr.analysis.JapaneseTokenizerFactory {luceneMatchVersion=LUCENE_35}
position	1	2
term text	コボ	ちゃん
startOffset	0	2
endOffset	2	5
basicForm	*	*
conjugationalForm		*
conjugationalForm (en)		*
conjugationalType		*
conjugationalType (en)		*
partOfSpeech	未知語	名詞-接尾-人名
partOfSpeech (en)	unknown	noun-suffix-person
pronunciations	[]	[チャン]
pronunciations (en)	[]	[chan]
readings	[]	[チャン]
readings (en)	[]	[chan]
sentenceStart	true	false
cost	31059	4111

“コボ”と”ちゃん”じゃなくて、”コボちゃん”です。
　
ってことで単語を追加してやる感じです。
lucene-gosenの辞書編集方法 | エメラルドアオキロック
を参考にさせていただいてやってみます。
　
checkoutしてきたlucene-gosenのdictionaryディレクトリに
oreore.csvってのを作って↓のようなのを入れてやります。
＃エンコーディングはUTF-8で改行コードはLFにしてやります。

"コボちゃん",3000,名詞,固有名詞,人名,名,*,*,"コボちゃん","コボチャン","コボチャン"

　
辞書を一回消して、追加の辞書を指定して作り直してから、

C:lucene-gosendictionary>C:lucene-gosenapache-ant-1.8.2binant clean-sen
C:lucene-gosendictionary>ant -Dcustom.dics=oreore.csv

もっかいjarを作って、Solrのexampleのlibの中に置いてSolrサーバを再起動します。
　
↓のように狙ったキーワードでやりくりできました。

　
次はSinatraでWeb画面作って、上記の単語を追加して、再ビルド的なのをボタン押下で
出来るようにしてみようかなー。
　
って、アナライザ動かしただけで、インデクシングも検索もしてないじゃんね。汗
ってことで、次回に続く。。
　
—