SolrでStopFilter、JapaneseBasicFormFilter、SynonymFilterを使ってみる

こないだTomcat7にSolr3.5をインストールしてみましたが、
今回は検索の精度を高めると言いますか、
– 要らんのが検索で引っかからないように取り除いて、
– 意図が同じなのは検索で引っかかるようにする。
なんていう事をしてみようと思います。
　
■ StopFilter
　
stopwords_ja.txtでは以下のようにいれてみました。

# Standard english stop words taken from Lucene's StopAnalyzer
する
ます
た
だ
です
ある
いる
は
を
。
、

　
schema.xmlは、、

    <fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100">
        <analyzer>
            <tokenizer class="solr.JapaneseTokenizerFactory"/>
            <filter class="solr.StopFilterFactory" words="stopwords_ja.txt"/>
        </analyzer>
    </fieldType>

　
“私は眠いです。”とかってのを食わせてやると、

　
“私” “眠い” ってなってくれたりしてイイ感じです。

　
他に要らないのを食わないようにするために、POSFilterFactoryっていうフィルタを使って
pos-deny.txtに定義した特定の品詞を食わないように出来たりします。
　
　
■ JapaneseBasicFormFilter
　
曲名が”会いたかった” なのか “会いたい” なのか、、みたいな歌を検索したいとします。
んま、どっち入れても引っかかって欲しいですよね、と。
　
schema.xmlは、さっきのstopとあわせて↓以下のように設定します。

    <fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100">
        <analyzer>
            <tokenizer class="solr.JapaneseTokenizerFactory"/>
            <filter class="solr.StopFilterFactory" words="stopwords_ja.txt"/>
            <filter class="solr.JapaneseBasicFormFilterFactory"/>
        </analyzer>
    </fieldType>

　
以下のように”会いたかった”でインデクシングして、”会いたい”で検索したとします。

　
結果は”会う”と”たい”でマッチしました。

　
“たい”の助動詞はPOSFilterで落としちゃってもイイかなぁというような気がしますが、
とりあえずやりたかった事は出来ました。
　
　
■ SynonymFilter
　
“マクドナルド”の事を、関西の人は”マクド”って言ったり、関東の人は”マック”って言ったりしますが、
どれでも、引っかかって欲しいところだと思います。
あとは、”Google”と”グーグル”って同じ事指してるよね、と。
　
synonyms-ja.txtに以下のように書きこんで、
(マクドナルドは展開。Googleは寄せる。)

マクドナルド, マック, マクド
Google => グーグル

　
schema.xmlは更に追記する感じで、synonyms-ja.txtを指定してやります。

        <analyzer>
            <tokenizer class="solr.JapaneseTokenizerFactory"/>
            <filter class="solr.StopFilterFactory" words="stopwords_ja.txt"/>
            <filter class="solr.JapaneseBasicFormFilterFactory"/>
            <filter class="solr.SynonymFilterFactory" synonyms="synonyms-ja.txt"/>
        </analyzer>

　
あんまり良い例か分かりませんが、”Google”と”マクドナルド”という単語が入った文字列をインデクシングして、
“グーグルマック”というキーワードで検索してみます。

　
結果は狙ったように↓検索出来ました。

　
　
他にも、カタカナの最後の”ー”を取るとか、ケースインセンティブにするとか、
追加すべきフィルタはチョコチョコありますが、基本的には上記のような感じで試しながらやってみる、と。
ただ、一回インデクシングしちゃった後に、ファイルに何か足すとかなると、もう一回インデックス作りなおしかよ的な
感じになってしまうところもあったりして、運用も想定した上で構築していかなきゃならんなぁと。
　
　
にしても、ほんとSolr使いには↓バイブルだな…。