こちらの記事は Algolia の Co-Founder CTO の Julien Lemoine(@jlemoine_algo) が書いた、Removing roadblocks: A closer look at the three biggest barriers to relevant, personalized AI-Powered Search の翻訳です。
世の中では、always-on(常に稼働している)、frictionless(スムーズに使える)、ダイナミックでパーソナライズされたデジタル体験が求められています。しかし、AmazonやNetflixといった企業を除く99%の企業がworld-classの検索機能を提供するのに苦労しています。なぜでしょうか？それは、人間の検索方法が煩雑で予想不可能だからです。同じものを探すにしても、人々が使うキーワードは異なります – これは私たちが話す言語の違いについて述べたものではありません。私たちの好むブランドやライフスタイルによって期待される検索結果というのは、その人によって異なってくる、ということです。また、期待される検索結果は、季節要因やトレンドによっても時間的に変化すると言えるでしょう(例えば『マスク』で検索した時の期待値がコロナウイルスが出現する前と比較してどうだったか考えてみましょう)。そして、お客様が期待する検索結果と、企業側が上位に表示させたい検索結果は必ず一致するものではありません。つまり、”basic textual search” を提供するサイトと、 “best-in-class search” を提供するサイトには大きな差があるということです。Best-in-classな検索は、高速で、適合性が高く、パーソナライズされていて、predictive(予想)/prescriptive(予見)であり、そして、こういった検索ことが最高のデジタル体験を生み出す燃料になるのです。
人工機能(AI)について、企業はAIを活用して検索に関連する課題を解決することで、本当に意味のあるデジタル体験が提供できるようになります。AIを検索に持ち込もうとすることは、多くの企業にとって複雑で困難なものと言えるでしょう。そして、技術リーダー達は、AIをマスターするのは難しいと考えていて、時に説明のつかないような結果をもたらす”標準”がない技術であると考えています。AIを実装するには、そのための専門知識、膨大な量のテスト、イテレーション、そしてfine-tuningが必要になりますが、それでは、AI-poweredな検索を導入する上で最大の障壁は何なんのか、そして、その障壁にどのように立ち向かえば良いのでしょうか？
まずは”AI-powered search”とは何かというところから議論したいと思います。検索は本質的に複雑なものであって、常に変化し続けるユーザーの行動や常に増え続ける(パーフェクトではない)データが伴うものです。AIは検索プロセスをシンプルにし、検索結果の精度を向上させるのに役立ちますが、一方で、AIは”one-size-fits-all”な魔法のようなソリューションでは決してありません。しかし、検索の複雑さの多くは、step-by-stepなアプローチで解決することが出来ると言えます。私たちはよりスマートになり、ユーザーの行動から学習を行う検索エンジンを構築したいと考えています。AIによって企業はトランスペアレンシー、自然言語理解、パーソナライズを原動力としたオーダーメイドのデジタル体験を展開できるようになるでしょう。究極的には、私たちは検索結果のトップ3に常に自分が探しているものが表示されるようにしたいと考えています。理想的にはAlexaやGoogle Homeアシスタントに質問をしたときに、最も良い結果が返ってくるようにしていきたいのです。
では、企業がAIを活用した検索を実現するためには、どのような障壁が立ちはだかるのでしょうか？
- AIを導入するための標準的な方法は1つだけではない。これが意味するところは、AIには様々な技術やツールがあり、それを一つ一つマスターしていくのは難しいということです。また、企業がAIに期待することと、AIが実際にできることの間には、期待値のミスマッチが存在する可能性があります。課題やユースケースを、既存のAI技術によって解決するためには、より細かく具体的な形で一連の課題として分解していく必要があるかもしれません。例えば、検索には、data enrichment/cleanupといった問題、自然言語処理の課題、異なる類義語、クエリ理解の断絶といった様々な問題が存在します。現在、これらすべての問題を一度に解決できる単一のAIアルゴリズムなどは存在しません。AIを採用しようとすると、多くの専門知識やテスト、そして高価なリソースが必要になるので、現時点でAI標準のようなものがなければ、課題を特定の技術にマッピングするのは難しいでしょう。例えば、データベースにアクセスして操作を行うための標準SQLを考えてみれば、AIに関する標準SQLに相当するようなものが出てくるのは未だ遠い未来のことになるのではないかと考えます。つまり現状では、有望な標準がいくつか出てきているものの、簡単に使えて、且つ、複数のAIの課題やユースケースに適用できる決定打はないと言えるでしょう。このようなAI標準が無い状態というのは、AIのトランスペアレンシーの欠如を招く可能性がありますし、常に100%正しいアルゴリズムというのも存在しません。すなわち、AIが特定の判断を行ったり、特定の結果にどのようにたどり着いたかということを正確に理解することが出来ないような場合が生じます。これは検索においては問題で、どのようにその結果にたどり着いたのか理由が分からなければ、調整や設定変更といったことができません。また、もし、間違った商品が表示されてしまうような事態になれば、ビジネスの機会を失うことにもなりかねません。つまり、ビジネスにおいては、検索結果を理解するだけでなく、特定のクエリが自社の特定のブランドにどのように関連しているかをチューニングおよび検証をする方法を必要としています。ここで理想的なのは、技術者ではないビジネスオーナーが、なぜAIが検索結果をそのようにランク付けしたのかということをトランスペアレントに確認できることです。一方で、こういったビジネスオーナーは、ユーザーの行動に基づいてAIによる提案を受け入れたり、リジェクトしたり、上書きしたりといったことができる必要があるでしょう。
- AIは自動的な”万能薬”ではなく、AI-poweredな検索ソリューションの構築には、広範囲におよぶテスト、実験、そして進化が必要です。AI-poweredな検索ソリューションを構築するための最初のステップは、解決したい問題を明確に定義することです。あるソリューションはある問題に対応するかもしれませんが、別の問題の役には立たないかもしれません。そうだとすると、実験のプロセスをやり直す必要性が出てきます。例えば、Netflixは特定の問題(特定のTV番組のレコメンド)に最適化されたアルゴリズムを(広範囲におよぶリソースと大量のデータを用いて)開発しました。Netflixは、このアルゴリズムを新規顧客とともに何度も何度も最適化をし続けることが可能です。また、企業は特定の問題に対応するAI技術が含まれた既存のソフトウェアを含むoff-the-shelf(棚から出してすぐ使える)なソリューションを購入することもできます(例えば、候補者のレジュメを分析するHR向けのソリューション)。ここでのチャレンジは、あなたのAI検索に関する問題が、カスタマイズ、off-the-shelf、ハイブリッドといったアプローチのどれを必要しているかを決めることです(後ほど詳細を述べます)。
- AI-poweredな検索は、お客様の行動が常に変化し続ける以上、常に変化する終わりのない仕事です。お客様があるサイトを検索する時に、それはQuestion-Answerなトランザクションというよりも、むしろ購買のためのジャーニーであると言えるでしょう。1つの特定のクエリは、コンテキスト、状況、ユーザーによって異なる意味を持ちますし、通常は、お客様が目的の商品を見つけるのに時間がかかればかかるほど、貧弱な適合度でることを意味し、適合度が高ければ一瞬で完璧な結果を得ることができるはずです。ディスカバリーについて考えた時に、私たちは同じメトリクスを見ているわけではありません。私たちは、お客様がどのように最終的にその商品を選ぶに至ったのかというインタラクションを重要視します。お客様が好みそうなアイテムをセレクトしてご提案することが出来ますし、ユーザー、場所、デバイスに合わせてパーソナライズさせるのも良いでしょう。その結果、女性のお客様が最終的に購買する前に2つの商品をクリックしたとしましょう。理想的には、もし彼女が更に購買行動をすると確信が持てるのであれば、更にもう1つのアイテムを提案します。AIがお客様のディスカバリー体験に関する答え(もしくは答えの候補)を計算して、さらに関連度の高い補完的なアクセサリーなどの商品を提案するには何が必要でしょうか？それは、たくさんのシグナルとフィードバックのループです。つまり、私たちはお客様の振る舞いと個別のアクションを考慮する必要があるということです。それによってデータのエンリッチメント化(継続的なデータの整備、エンハンスメント、そして更新)が可能になり、お客様をより完全に把握することができるようになります。そうすることで、お客様との継続的でリアルタイムなフィードバックループが維持されることになり、AI-poweredな検索やクエリ理解が促進されます。しかし、これらのパズルの各ピースはそれぞれ異なるAIツールがベースになっており、一度に全てを解決できる技術は存在しません。
上記のようなAI-poweredな検索における潜在的な障壁を考慮すると、企業はどのようにこういった問題に取り組み始めることができるのでしょうか？そして、どのようにAI実装が自社のビジネスに適しているかを評価することができるのでしょうか？
最初のステップでは、AIが解決できるビジネスに特有の小さな問題のセットを特定し、そこから、off-the-shelfなソフトウェアを購入するのが良いのか、自分たちで独自のソリューションを構築するのが良いのか、はたまた”build and buy”アプローチが良いのかを判断していきます。そのシナリオにおいては、ビジネスにとってユニークなソリューションの構築のみに注力が可能になります。そこで、APIベースなソリューションの活用が、開発者に大きな差別化をもたらします。APIは開発者の側に立ち、バックエンドのプロセスを削減し、”buy to build faster”、買って素早く構築するといったことを可能にするため、開発者は本来の構築、イテレーション、実験といった自分たちの作業に戻ることができます。究極的には、目的は一つであるべきで、それは、お客様が必要な時に、必要な場所、必要なやり方で、適切な情報にたどり着けるようなデジタル体験を提供する、ということです。
コメント