こちらはAlgoliaのCRO Michelle Adamsが書いた Semantic search and why it matters for e-commerce の翻訳です。
経済状況が良くない中で、お客様から”do more with less(少ない支出でより多くのことをする)”な必要があるとお聞きすることが多くなりました。それではAlgoliaをご活用いただく上で、より少ないリソースで売上や利益率を向上させるためにどのようなことができると言えるのでしょうか？
その答えとして、私が今日最も期待しているのはセマンティックサーチです。セマンティックサーチは、今日においてサイト検索に追加できる技術の中で最も汎用的なものの一つです。例えば、リテール業者はお客様が探している商品を簡単に見つけることができるようになります。セマンティックサーチは、検索の適合性、ランキング、顧客体験を向上させることができます。さらに、検索の適合性を高めるために必要な作業やリソースを大幅に削減し、自動化させることができます。
こちらの記事では、セマンティックサーチとは何か、どのようにリソースを削減しトップラインの成長を伸ばしていくのか、そしてどこに向かっているのかといったことをご説明していければと思います。
労力を必要とせずに生み出される効果
キーワードベースの検索がキーワード(およびその代わりとなるようなもの)を扱うだけなのに対して、セマンティックサーチは人々が探しているものの意味やさらにその意図を理解します。
例えば “prom dress” で検索した時をみてみましょう。キーワードサーチエンジンは “prom” と “dress” という単語を検索して、最もマッチするものを探し出します。キーワード検索のエンジンの裏側としては、typo tolerance, word agglutination(単語の合成。例えば rail way->railway), stemming, さらにその他の自然言語処理技術が用いられています。
しかし、お客様が “homecoming dress” や “sequin gown” といったキーワードで検索をした場合、”prom dress” は恐らくヒットしないと思います。そのために Synonyms (類義語) の設定で “homecoming dress”<>”prom dress”を登録する必要があるでしょう。
セマンティックサーチはこれを解決します。これらの言葉が類義語である、もしくは、関連度が高いといったことを理解するので、追加の設定等は必要ないのです。
セマンティックサーチはどこからやってきたのか
セマンティックサーチは、以前はGoogle、Amazon、Microsoft (Bing) のような巨大企業が得意とするような領域でした。そういった企業は、お客様がどんなクエリを行った場合でもより良い検索結果を得られるようにするため、多大な投資を行ってきました。例えば、Amazonにおいては、2,000人近いエンジニアとデータサイエンティストを雇用して、そのサイト上での検索をパーフェクトなものにしていると言われています。
そして今では、Amazonが20年以上かけて取り組んできたことが、誰もが直ぐに、しかも、わずかなコストでできるようになったのです。今日の新しい機械学習モデルのおかげで、どのようなビジネスでも、どのようなウェブサイトでも、セマンティックサーチを追加することで、より良い検索結果、より高い利益、よりハッピーなお客様を促進していけるような状況になりました。
セマンティックサーチには、ベクトル表現への変換を含めた様々な技術や処理が含まれます。ベクトルはNetflixのレコメンデーション、Googleのイメージ検索、チャットボットといった私たちが今日使っている最も人気のあるサービスを支えているものになります。ベクトルとは単語を表現する数学的なモデルになります。機械学習モデルはデータからベクトルを生成して、そのベクトルはデータ間の距離を測るために利用されます。そこには何千もの点を含めることができるわけですが、シンプルにするために以下のような3次元のモデルを使って見ていきます。
これらの機械学習モデルの学習セットは膨大な量になることがありますが、単語間の関連を把握するには何十億者ドキュメントで構成をされていることがあります。例えば、私たち独自のベクトルソリューション(詳細は後述します)においては、Universal Sentence Encoderや様々な文章のトランスコーダーなど、AIベースの様々な言語モデルを使っています。これによって、私たちの検索エンジンは”gown(ガウン)”と”dress(ドレス)”が近い関係にあるものであるということが分かります。
そのため、ベクトル検索は、一致するキーワードでなくても、単語間の関係を理解してより良い結果を返すことができるというわけです。
べエクトル検索はそれ単体でも素晴らしいですが、キーワード検索と組み合わせることによって更に良いものとなります！
ハイブリッド検索: キーワード＆セマンティックサーチ
ベクトル検索は長いクエリや説明文のようなクエリ、そして質問形式のようなものには効果的ですが、ベクトル検索そのものは処理時間がかかり、スケールアップにもコストがかかってしまいます。その一方でキーワード検索はベクトル検索より高速で、一語一句の検索やフレーズの完全一致など、特定の用途のクエリにはより優れていると言えます。そこで、もし、スピードや精度を犠牲にすることなく、それぞれ両方の良いとこどりができるとしたらどうでしょうか？
そこでハイブリッド検索ということになります。ハイブリッドな検索エンジンは、キーワード検索やベクトル検索のそれぞれ単体よりも優れた検索結果を提供することができます。そのトリックとしては、ベクトルクエリでもあっても素早く高速なパフォーマンスを発揮するということですが、Algoliaではニューラルハッシュ(Neural Hashing)という技術を用いてこれを実現しています。ベクトルをバイナリ形式のハッシュに変換することで、より小さくポータブルなデータセットを実現し、専用のGPUではなく、コモディティなハードウェアでそれを実行することができます。
Algoliaがご提供するハイブリッド検索は、あなたのお客様にとって、より速くより正確な検索、ディスカバリー、そしてレコメンデーションをもたらします。より良い検索結果はより良い顧客体験をもたらし、コンバージョンやブランドロイヤリティを向上させることでしょう。
実務的には、Synonyms(類義語/同義語)のリストをやりくりしたり、if/thenルールを用いたり、商品ページにキーワードやタグを追加するといったようなマニュアル的な作業を低減することができます。カタログに追加された新しい商品は即座に検索可能となります。つまり、より多くの時間をビジネスの他の分野に割くことができるようになるということです。
より少ない労力(多くの場合はゼロ)で、素晴らしい検索がout of the box(箱を開けたらすぐ)で提供できるようになります。このようなプロダクトは他に類を見ないと言えるのではないでしょうか。ハイブリッド検索 is coming soonです！
コメント