こちらは Algolia Advent Calendar 2020の12月4日の記事になります。Algoliaでは自然言語処理(NLP)および自然言語理解(NLU)を用いた技術開発を進めておりますが、今回はAlgolia Blogの What is natural-language understanding? の翻訳という形で、Natural Language Understanding(自然言語理解)に関する概要の解説や使い所をご紹介させていただきます。
人間とコンピューターは音声やテキストインターフェースを介して情報をやりとりしています。しかし、コンピューターが人間の感情の状態、ニュアンスのトーンや意図を理解して、適切に応答できるようになるでしょうか？答えは、Yesであると言えると思います。そして、このブレイクスルーをもたらすケーパビリティをサポートするサイエンスのことをNatural Language Understanding(NLU)と言います。
NLUは自然言語処理(NLP)と呼ばれる幅広いフィールドの中のサブセットであり、私たちがテクノロジーとどのようにインタラクティブなやりとりを行うかといった領域をすでに置き換えつつあると言えるかもしれません。
NLP vs. NLU
NLPは自然な話し言葉やテキストの言語データを分析可能な小さな要素にブレイクダウンして処理を行います。一般的なNLPのタスクは、tokenization, part-of-speech(品詞) tagging, lemmatization(見出し語化), そして, stemming(語幹化)などが挙げられます。NLPは主にテキストを構造化データに変換することに焦点を当てていると言えます。
NLUはNLPのサブセットで、テキストや話し言葉が何を意味するのかをコンピューターに教える役割を果たします。NLUはAIを活用してsentiment(感情), semantics(セマンティクス), context(文脈), そして, intent(意図)といった言語属性を、AIを活用することで認識します。これによって、コンピューターは言葉の微妙なニュアンスやバリエーションを理解することが可能になります。NLUを活用することで、コンピューターは人間が同じものに対して言う様々な方法を認識することができるようになります。
重要な相違点
基本的に、NLPは言われたことや入力されたことを処理するのに対して、NLUは何が意味されていたのかを理解しようとします。人間が書いたり言ったりしたことの意図は、スペルミスや不完全な文章、発音間違いなどによってゆがんでしまうことがあります。NLUはそのような誤りを検知し、人間が書いたり、話したりした言葉に欠点があったとしても、ユーザーの意図を特定しようとします。
それゆえ、NLUはコンピューター・ソフトウェアやアプリケーションにおいて、文字や音声によるコマンドのレスポンスをより正確で有用なものにします。音声検索機能をデザインする際には、ユーザーが何を言っていてそれは何をするのか？といったクオリティのインパクトが大きいため、NLPとNLUの違いを考慮にいれることが重要です。
NLUの例とアプリケーション
NLPとNLUの一般的な使い方:
インテリジェントなパーソナルアシスタントによるカスタマーサポートとサービス
NLU-poweredなchatbotはリアルタイムに動作し、ユーザーの意図とファンダメンタルな会話要素にもとづいて質問に対して即座に応答を行います。ユーザーをプロダクトに誘導したり、サポートの質問に回答したり、カスタマーサポートの人間をアサインする場合でも、NLU chatbotは効果的、効率的、それでいてお手軽な方法でカスタマーをリアルタイムにサポートします。
音声ベースのインテリジェントなパーソナルアシスタントは、Siri, Cortana, そして, Alexaが挙げられますが、これらもまたNLUの進化により、ユーザーのリクエストをより良く理解し、よりパーソナライズされた応答ができるようになってきています。
機械言語翻訳
言語翻訳 – とある言語で話したり、テキストを入力した際に、即座に別の言語で正確に翻訳を行う、という魅力的な機能 – は、長い間、アプリケーション開発者たちの中で holy grail (聖杯。究極の機能とでも言いましょうか…)とされてきました。しかし、このゴールを達成するにあたっての問題は、自然言語と同様に複雑で且つニュアンスを読み取らなければならないということです。この分野はまだパーフェクトというには及ばないものではありますが、近年のNLUは大きく進歩を遂げています。翻訳が完璧になることは未だめったに見かけることはありませんが、複雑な意味をリーズナブルな正確性で伝達するのに十分な精度を持っていることも多くなってきました。
データの収集と分析
NLUを活用したソリューションが、カスタマーフィードバックやプロダクトレビューといったメタデータの分析に強力なベネフィットをもたらすということに、多くの企業が気づきはじめています。このようなケースにおいて、NLUはトラディショナルなハードコーディングといった方法よりも、効果的で且つ正確であるということが証明されています。
NLPやNLUでは、以下に記載する5つのテクニックを用いて情報を抽出することが一般的です。
- named-entity recognition
- sentiment analysis
- text summarization
- aspect mining
- topic modeling
一度これらの手法を用いて構造化されていないテキストから情報を取得できれば、機械学習モデルの精度やパフォーマンスを向上させるためにすぐさま活用をしていくことができます。
NLUの商用利用
eコマース
トラディショナルな検索エンジンはキーワードベースの検索には適しているものの、より複雑なクエリにおいては、NLU検索エンジンを活用することで、よりターゲットを絞った価値の高い検索が実現可能となるかもしれません。例えば、あるお客さまが”500ドル以下のclassy(上品)な黒いドレスをみせて”とクエリをした場合、product(ドレス)、product type(黒)、price point(500ドル以下)、そしてパーソナル趣向や好み(classy)と定義することができるようになります。
NLU-drivenなAlgolia Understandのような検索ツールは、リクエストの中から重要なピースをブレイクダウンしてお客さまが何を求めているのかを正確に把握しようとします。より複雑に表現された検索リクエストを理解することで、NLUはお客さまをブラウジングから購買へとクイックに誘導することができるようになります。つまり、自分が欲しいものを正確に把握している人にとっては、NLUは非常に大きな時間の節約になると言えます。
チャットボット
チャットボットはNLUとNLPテクノロジーのもっともよく知られていて且つ広く利用されているアプリケーションで、チャットボットを導入した多くの企業で十分に期待された成果を上げています。例えば、衣料品リテールのAsosはFacebook Messenger Chatboxを使って注文数を300%も増加させました。約4倍のターゲットユーザーにリーチし、実に250%ものROIを実現したとのことです。同様に、化粧品大手のSephoraもまたFacebook Messenger Chatboxを活用してmakeover(スタッフに化粧をしてもらう)のアポ数を11%増加させたそうです。
テレビ、ストリーミング、ビデオ
NLUに対応しているストリーミングはオンデマンドサービスは、どんなコンテンツを探しているのか自分自身が分かっていないような場合でも、コンテンツを探すのを後押しすることができ、その結果、顧客満足度とエンゲージメントが大幅に向上しています。もし、視聴者が”アポロ13の主役が出演している面白い映画を見せて”と言った場合、NLUはあいまいなものであるにもかかわらず、それらの全ての条件にマッチする映画のリストを類推して生成することができます。今までは退屈でフラストレーションがたまるguessing-gameのような検索体験だったものが、購入やレンタルに繋がるような、短時間で実りのある体験体験へと置き換わりました。
ジャーナリストと出版社
NLUは、ジャーナリストや出版社がコンテンツのアーカイブの中から、自然言語でのインタラクションを通じてコンテンツの奥深くから複雑な質問への回答を抽出することを大いに手助けします。
Algolia Answersのようなツールは、そこにあるコンテンツをクイックに見つけ出すための自然言語によるインタラクションを可能にし、ジャーナリスト達が記事を提出するのに使う時間を短縮することを可能にします。読者もまたNLU-drivenな古典つアクセスから恩恵を受けることができ、様々なソースの中から関連性を引き出し、ピンポイントに具体的な質問への回答を明らかにしていくことが可能です。
カスタマーサービス、カスタマーサポート
AlexaやSiriといったLanguage-interfacedなプラットフォームでは、商品検索から、お客さまの『このプロダクトを返品するのにはどうしたら良いですか？』『保証期間はいつまでですか？』といったお問い合わせまで、巨大な範囲のユーザーリクエストをさばくために、既に幅広くNLUテクノロジーが活用されています。カスタマーサービス/サポートのアプリケーションは製造業者やリセラーの手を煩わせることなく、NLUが正確な回答を提供するのに適しています。
NLUはQuestion-Answeringシステムの中心に位置し、企業内のセマンティクスの検索をエンハンスメントし、従業員がビジネスデータ、チャート、情報、そして、リソースにアクセス可能にします。また、high-volumeで複雑性が低い質問に回答し、リクエストを他のルートに振り分け、ユーザーズマニュアルやプロダクトに誘導するなど、カスタマーサービス全体にかかるコストの削減における中心的な位置づけでもあります。
ゲーム
オンラインゲームは近年より複雑になってきていて、プレイヤーはルールブックやプレイガイドなどを参照しながら、特定の質問に対する答えを探し求め続けています。それに加えて、ゲームは目まぐるしいスピードでプレイされるのが一般的になってきており、”どうすればこのゲームでレベル3をやつけることができる？”、”マジックポーションはどこに行けば見つけられる？”といった競争にフォーカスした質問に対する回答を今スグ求める傾向にあります。
アクションの途中で、分厚い本のマニュアルに目を通すのではなく、プレイヤーはNLU-drivenなチャットボットを活用することで、モンスターの攻撃や、ray-gun burstを見逃すことなく、必要な情報を得ることが可能になります。
AlgoliaのNLUへのアプローチ
NLUとNLPは既にAlgoliaのnext-generation検索ツールとして開発とロールアウトの中心的な役割を担っています。例えば、
- Algolia Understandは、パワフルで多種多様な用途に利用可能なNLU-drivenアプリケーションで、NLUとAIをeコマースの検索に用いてカスタマーエンゲージメントをブーストするとともに、訪問者を購買者へと導きます
- Algolia Answersは、チャレンジングな自然言語での検索クエリを理解し、記事をより良くランキングし、コンテンツの奥底から回答を引き出すことが可能であるため、出版社やジャーナリストにとって特に価値のあるツールとなっております
より詳細にAlgoliaのNLUとNLPのアプローチをご理解いただくには、以下のドキュメントをご参照ください。
コメント