(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2021004950
(43)【公開日】20210114
(54)【発明の名称】情報処理装置、情報処理システムおよび情報処理方法
(51)【国際特許分類】
   G10L 13/047 20130101AFI20201211BHJP
   G10L 15/28 20130101ALI20201211BHJP
   G10L 13/00 20060101ALI20201211BHJP
   G10L 15/00 20130101ALI20201211BHJP
   G06F 3/16 20060101ALI20201211BHJP
   G06F 3/01 20060101ALI20201211BHJP
【FI】
   !G10L13/047 E
   !G10L15/28 500
   !G10L13/00 100M
   !G10L15/00 200J
   !G06F3/16 630
   !G06F3/16 650
   !G06F3/16 690
   !G06F3/01 510
【審査請求】未請求
【請求項の数】9
【出願形態】OL
【全頁数】18
(21)【出願番号】2019117841
(22)【出願日】20190625
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
【住所又は居所】兵庫県神戸市兵庫区御所通1丁目2番28号
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】山川 穣
【住所又は居所】兵庫県神戸市兵庫区御所通1丁目2番28号 株式会社デンソーテン内
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA09
5E555AA46
5E555BA23
5E555BA25
5E555BB23
5E555BB25
5E555BC04
5E555BC17
5E555BE10
5E555CA47
5E555CB64
5E555CC01
5E555DA23
5E555EA03
5E555EA19
5E555EA28
5E555FA00
(57)【要約】
【課題】複数の音声アシスタントを利用する場合のユーザの利便性を向上させること。
【解決手段】実施形態に係る情報処理装置は、複数の音声アシスタントを利用可能に設けられた情報処理装置であって、マスター制御部を備える。マスター制御部は、ユーザの発話の内容に基づき、音声アシスタントそれぞれに対する発話指示を生成して音声アシスタントのサーバ装置へ送信する。
【選択図】図2
【特許請求の範囲】
【請求項1】
複数の音声アシスタントを利用可能に設けられた情報処理装置であって、
ユーザの発話の内容に基づき、音声アシスタントそれぞれに対する発話指示を生成して音声アシスタントのサーバ装置へ送信するマスター制御部
を備えることを特徴とする情報処理装置。
【請求項2】
前記マスター制御部は、
ユーザの発話の内容を保持しつつ、ユーザの発話の内容に基づいて自動的に発話指示を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記マスター制御部は、
発話指示および当該発話指示に対する応答の履歴を保持しつつ、当該履歴に基づいて発話指示を自動的に生成する
ことを特徴とする請求項1または2に記載の情報処理装置。
【請求項4】
前記マスター制御部は、
ユーザの発話の内容、および、音声アシスタントそれぞれに関する情報を音声合成した音声データとして発話指示を自動的に生成する
ことを特徴とする請求項1、2または3に記載の情報処理装置。
【請求項5】
前記マスター制御部は、
発話指示に対する応答に対し、ユーザから音声アシスタントを切り替える意思表示が示された場合に、当該応答を返した一の音声アシスタント以外の他の音声アシスタントへ向けた発話指示を生成する
ことを特徴とする請求項1〜4のいずれか一つに記載の情報処理装置。
【請求項6】
前記マスター制御部は、
発話指示および当該発話指示に対する応答の履歴に基づく音声アシスタントごとの評価値に基づき、選択する音声アシスタントの優先順位を決定する
ことを特徴とする請求項1〜5のいずれか一つに記載の情報処理装置。
【請求項7】
車両に搭載されることを特徴とする請求項1〜6のいずれか一つに記載の情報処理装置。
【請求項8】
請求項1〜7のいずれか一つに記載の情報処理装置と、
前記サーバ装置と
を備えることを特徴とする情報処理システム。
【請求項9】
複数の音声アシスタントを利用可能に設けられた情報処理装置を用いた情報処理方法であって、
ユーザの発話の内容に基づき、音声アシスタントそれぞれに対する発話指示を生成して音声アシスタントのサーバ装置へ送信するマスター制御工程
を含むことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
開示の実施形態は、情報処理装置、情報処理システムおよび情報処理方法に関する。
【背景技術】
【0002】
従来、対話型の音声操作に対応した音声アシスタントの機能を有し、かかる音声アシスタントを介して、ユーザの発話指示に応じた各種情報の提供を行うスマートスピーカといった情報処理装置が知られている(たとえば、特許文献1参照)。
【0003】
上記した音声アシスタントの機能は、たとえばスマートスピーカのメーカによりクラウドサーバとして提供され、インターネットや携帯電話回線網を介してスマートスピーカと相互通信可能に設けられた音声アシスタントサーバを介して提供される。
【0004】
こうした音声アシスタントの機能は、異なるメーカからそれぞれ提供される複数の音声アシスタントサーバを介して利用できる場合もある。なお、以下では、「音声アシスタント」を「音声アシスタントサーバ」と読み替えてもよい。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2018−182692号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した従来技術は、複数の音声アシスタントを利用する場合のユーザの利便性を向上させるうえで、さらなる改善の余地がある。
【0007】
具体的には、複数の音声アシスタントを利用するといっても、現状では異なるメーカから提供される各音声アシスタントは、たとえばプラットフォームが異なる場合が多く、音声アシスタント間での連携機能も提供されていない。
【0008】
このため、たとえばある発話指示に対するある音声アシスタントの提供情報にユーザが満足できなかった場合に、ユーザが他の音声アシスタントから満足のいく情報提供を受けようとしても、ユーザは、改めて前回と同等の内容の発話指示をはじめからやり直す必要がある。
【0009】
実施形態の一態様は、上記に鑑みてなされたものであって、複数の音声アシスタントを利用する場合のユーザの利便性を向上させることができる情報処理装置、情報処理システムおよび情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
実施形態の一態様に係る情報処理装置は、複数の音声アシスタントを利用可能に設けられた情報処理装置であって、マスター制御部を備える。前記マスター制御部は、ユーザの発話の内容に基づき、音声アシスタントそれぞれに対する発話指示を生成して音声アシスタントのサーバ装置へ送信する。
【発明の効果】
【0011】
実施形態の一態様によれば、複数の音声アシスタントを利用する場合のユーザの利便性を向上させることができる。
【図面の簡単な説明】
【0012】
【図1A】図1Aは、比較例に係る情報処理方法の概要説明図である。
【図1B】図1Bは、実施形態に係る情報処理方法の概要説明図である。
【図2】図2は、実施形態に係る情報処理システムの構成例を示すブロック図である。
【図3A】図3Aは、実施形態に係る車載装置の配置例を示す図である。
【図3B】図3Bは、実施形態に係る車載装置が実行する各処理の処理説明図(その1)である。
【図3C】図3Cは、実施形態に係る車載装置が実行する各処理の処理説明図(その2)である。
【図3D】図3Dは、実施形態に係る車載装置が実行する各処理の処理説明図(その3)である。
【図3E】図3Eは、実施形態に係る車載装置が実行する各処理の処理説明図(その4)である。
【図3F】図3Fは、実施形態に係る車載装置が実行する各処理の処理説明図(その5)である。
【図3G】図3Gは、実施形態に係る車載装置が実行する各処理の処理説明図(その6)である。
【図4A】図4Aは、車載装置および音声アシスタントサーバ間の対話の一例を示す図(その1)である。
【図4B】図4Bは、車載装置および音声アシスタントサーバ間の対話の一例を示す図(その2)である。
【図5】図5は、実施形態に係る対話情報の一例を示す図である。
【図6】図6は、実施形態に係る車載装置が実行する処理手順を示すフローチャートである。
【図7】図7は、その他の実施形態に係る情報処理方法の概要説明図である。
【発明を実施するための形態】
【0013】
以下、添付図面を参照して、本願の開示する情報処理装置、情報処理システムおよび情報処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【0014】
また、以下では、実施形態に係る情報処理装置が、車両Vに搭載され、カーナビゲーション機能等を有する車載装置10である場合を例に挙げて説明を行う。また、以下では、音声アシスタントサーバが2つである場合を例に挙げるが、無論、2以上であってもよい。
【0015】
まず、実施形態に係る情報処理方法の概要について、図1Aおよび図1Bを用いて説明する。図1Aは、比較例に係る情報処理方法の概要説明図である。また、図1Bは、実施形態に係る情報処理方法の概要説明図である。
【0016】
図1Aに示すように、たとえば比較例に係る情報処理方法では、プラットフォームの異なる複数の音声アシスタントサーバ100−1,100−2を利用する場合、ユーザUは、それぞれのサーバに独自の情報提供サービスを受けることができるというメリットはある。
【0017】
ただし、音声アシスタントサーバ100−1,100−2は、互いに連携してはいない。このため、ユーザUが、たとえば音声アシスタントサーバ100−1への発話指示に対する応答に満足できない場合、ユーザUは、音声アシスタントサーバ100−2に対し、改めて音声アシスタントサーバ100−1に対するものと同等の内容の発話指示を行う必要がある。なお、ここで同等の内容とは、同じ指示内容であるが、たとえば起動ワード(以下、「WuW」と記載する場合がある)等は異なることを指す。
【0018】
すなわち、こうしたケースの場合、ユーザUにとっては操作が煩雑であり、利便性に乏しい。そこで、実施形態に係る情報処理方法では、複数の音声アシスタントの機能を利用する場合に、各音声アシスタントサーバに対する発話指示の間で、ユーザUの発話の内容を引き継ぐようにした。
【0019】
具体的には、図1Bに示すように、実施形態に係る情報処理方法では、ユーザUと、音声アシスタントサーバ100−1,100−2との間に、マスター制御部13cを介在させることとした。マスター制御部13cは、音声アシスタントサーバ100−1,100−2をスレーブとした場合の、音声アシスタントサーバ100−1,100−2への指示制御を司るマスター制御処理を行う。
【0020】
そして、同図に示すように、実施形態に係る情報処理方法では、かかるマスター制御部13cが、ユーザUの発話の内容を引き継ぎつつ、各音声アシスタントへの発話指示を自動生成することとした。
【0021】
すなわち、同図に示すように、マスター制御部13cは、ユーザUの発話を受け付けた場合に、その内容を引き継ぎつつ、たとえば音声アシスタントサーバ100−1に対しては発話指示(i)を自動生成して送信し、その応答(i)を受けてユーザUへ返す。
【0022】
一方で、マスター制御部13cは、たとえば応答(i)にユーザUが満足できなかった場合に、音声アシスタントサーバ100−2に対して発話指示(ii)を自動生成して送信し、その応答(ii)を受けてユーザUへ返す。
【0023】
これにより、複数の音声アシスタントの機能を利用する場合に、ユーザUは、同様の内容の発話指示を音声アシスタントに応じて繰り返し行う必要がなくなる。すなわち、ユーザUは、煩雑な手順を踏むことなく、満足のいく応答を得ることが可能となる。
【0024】
したがって、実施形態に係る情報処理方法によれば、複数の音声アシスタントを利用する場合のユーザUの利便性を向上させることができる。以下、上述した実施形態に係る情報処理方法を適用した情報処理システム1の構成例について、より具体的に説明する。
【0025】
図2は、実施形態に係る情報処理システム1の構成例を示すブロック図である。なお、図2では、実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。
【0026】
換言すれば、図2に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
【0027】
また、図2を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。
【0028】
図2に示すように、実施形態に係る情報処理システム1は、車載装置10と、音声アシスタントサーバ100と、アプリサーバ200と、オンプレミスサーバ300とを含む。なお、ここでは、音声アシスタントサーバ100は、たとえばプラットフォームの異なる複数の音声アシスタントサーバ100−1,100−2を含むものとする。
【0029】
車載装置10、音声アシスタントサーバ100、アプリサーバ200およびオンプレミスサーバ300は、インターネットや携帯電話回線網等であるネットワークNを介して相互通信可能に設けられる。
【0030】
音声アシスタントサーバ100は、車載装置10から入力され、自然言語処理された発話指示を音声認識し、かかる音声認識結果への応答の最適解をディープラーニング等により常に機械学習する。そして、音声アシスタントサーバ100は、かかる機械学習結果に基づき、入力された発話指示に対する最適解を車載装置10へ応答する。
【0031】
アプリサーバ200は、たとえばクラウドサーバとして提供され、音声アシスタントサーバ100が車載装置10への応答に際して必要となる種々のアプリケーション処理を実行するサーバ装置である。
【0032】
オンプレミスサーバ300は、たとえば車載装置10のメーカによって運用され、車載装置10のユーザUのアカウント情報等を管理するサーバ装置である。なお、ここでは、アプリサーバ200およびオンプレミスサーバ300を1つずつ示したが、2以上であってもよい。
【0033】
車載装置10は、通信部11と、記憶部12と、制御部13と、各種機能部14とを備える。通信部11は、たとえば、NIC(Network Interface Card)等によって実現される。通信部11は、ネットワークNと無線で接続され、ネットワークNを介して、音声アシスタントサーバ100やアプリサーバ200、オンプレミスサーバ300との間で情報の送受信を行う。
【0034】
記憶部12は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図2の例では、音声認識モデル12aと、各種機能関連情報12bと、対話情報12cと、音声アシスタント情報12dとを記憶する。
【0035】
音声認識モデル12aは、後述するVUI(Voice User Interface)制御部13aが実行する音声認識処理に用いられる言語モデルであって、たとえば隠れマルコフモデル等である。
【0036】
各種機能関連情報12bは、車載装置10が有し、各種機能部14が実行する各種機能、たとえばカーナビゲーション機能やオーディオ機能等に関する情報である。たとえばカーナビゲーション機能に関しては、目的地や経由地、ルート情報等を含む。また、たとえばオーディオ機能に関しては、オーディオデータや再生履歴等を含む。
【0037】
対話情報12cは、車載装置10と、音声アシスタントサーバ100との間の対話に関する情報であって、ユーザUが発話した内容や、実際に音声アシスタントサーバ100へ送信された発話指示とこれに対する応答の履歴等を含む。
【0038】
音声アシスタント情報12dは、各音声アシスタントに関する情報であって、たとえば音声アシスタントごとの起動ワードや、通信プロトコル等に関する情報を含む。
【0039】
制御部13は、コントローラ(controller)であり、たとえば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、車載装置10内部のROM(Read Only Memory)といった記憶デバイスに記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部13は、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
【0040】
制御部13は、VUI制御部13aと、取得部13bと、マスター制御部13cとを有し、以下に説明する情報処理の機能や作用を実現または実行する。
【0041】
VUI制御部13aは、ユーザUに対する音声ユーザインタフェースに関する制御処理を行う。具体的には、VUI制御部13aは、マイク2から入力される音声の音声認識処理を実行する。たとえば、VUI制御部13aは、所定の起動ワードを検知する。起動ワードは、音声アシスタント機能を呼び出すトリガとなる音声コマンドであり、VUI制御部13aは、たとえば常時かかる起動ワードを検知する待機状態となっている。
【0042】
VUI制御部13aは、かかる起動ワードを検知すると、これに続くユーザの発話区間を発話指示に相当する内容として抽出する。また、VUI制御部13aは、抽出した発話の内容を音声認識モデル12aを用いて自然文による命令として解釈する。
【0043】
また、VUI制御部13aは、解釈した内容に応じて、取得部13bに、発話指示の自動生成に必要となる情報を取得させる。また、VUI制御部13aは、起動ワード、および、抽出した発話の内容をマスター制御部13cへ渡す。
【0044】
なお、VUI制御部13aは、起動ワードの検知なしにユーザUの発話を受け付けることもできる。かかる場合、たとえばユーザUは発話ボタンを押下する等の所定の操作を行い、発話指示に相当する内容の発話(たとえば「○○して」(○○は、任意の指示文言))を行う。
【0045】
そして、VUI制御部13aは、かかる発話の内容を音声認識モデル12aを用いて自然文による命令として解釈し、取得部13bに発話指示の自動生成に必要となる情報を取得させるとともに、発話の内容をマスター制御部13cへ渡すこととなる。
【0046】
また、VUI制御部13aは、マスター制御部13cを介して送信された発話指示に対する応答をマスター制御部13cから受け取った場合に、出力部3からユーザUに向け出力させる。
【0047】
また、VUI制御部13aは、出力された応答に対するユーザUの意思表示(たとえば、後述する「切替の意思表示」や「完了の意思表示」)を受け付けた場合に、その内容に応じてマスター制御部13cに音声アシスタントを切り替えさせたり、各種機能部14に対応する各種機能を実行させたりする。
【0048】
取得部13bは、発話指示の自動生成に必要となる情報を取得する。取得部13bは、たとえばユーザUが「○○へ行きたい」といったカーナビゲーション機能の目的地設定に関する内容の発話をした場合、各種センサ4に含まれるGPS(Global Positioning System)センサから車両V(図3A参照)の現在地の位置情報を取得する。
【0049】
また、たとえば取得部13bは、各種機能関連情報12bに含まれるカーナビゲーション機能に関する情報から車両Vの目的地や経由地等の位置情報を取得する。また、取得部13bは、取得した情報をマスター制御部13cへ渡す。
【0050】
マスター制御部13cは、VUI制御部13aから渡されたユーザUの発話の内容を対話情報12cへ保存する。また、マスター制御部13cは、かかる保存した内容を引き継ぎつつ、音声アシスタント情報12d、および、取得部13bから渡された情報等に基づいて、音声アシスタントサーバ100へ送信する発話指示を自動生成する。
【0051】
また、マスター制御部13cは、上述の対話情報12cに含まれる、実際に音声アシスタントサーバ100へ送信された発話指示とこれに対する応答の履歴に基づき、音声アシスタントサーバ100へ送信する発話指示を自動生成することもできる。
【0052】
また、マスター制御部13cは、生成した発話指示を音声アシスタントサーバ100へ通信部11を介して送信するとともに、送信した発話指示に対する応答を音声アシスタントサーバ100から通信部11を介して受信する。また、マスター制御部13cは、受信した応答をVUI制御部13aへ渡し、VUI制御部13aから出力部3を介して出力させる。
【0053】
また、マスター制御部13cは、出力部3から出力させた応答にユーザUが満足できず、音声アシスタントを切り替える切替の意思表示を示した場合に、他の音声アシスタントサーバ100向けの発話指示を自動生成し、通信部11を介して送信する。
【0054】
なお、マスター制御部13cは、ユーザUが上述の切替の意思表示を示す前に、バックグラウンドで他の音声アシスタントサーバ100向けの発話指示を自動生成して送信し、その応答を蓄積しておいてもよい。かかる場合、ユーザUが切替の意思表示を示したならば、蓄積しておいた応答へ切り替えればよい。
【0055】
また、マスター制御部13cは、出力部3から出力させた応答にユーザUが満足したことを示す完了の意思表示を示した場合に、次なるユーザUの発話が受け付けられるまで待機する。
【0056】
次に、図2を用いて説明した内容について、図3A〜図3Gを参照しつつより具体的に説明する。図3Aは、実施形態に係る車載装置10の配置例を示す図である。また、図3B〜図3Gは、実施形態に係る車載装置10が実行する各処理の処理説明図(その1)〜(その6)である。
【0057】
まず、図3Aに示すように、実施形態に係る車載装置10の本体部は、たとえば車両Vのダッシュボードの内部等に設けられる。また、マイク2および出力部3を含む実施形態に係る車載装置10の入出力部SPは、ユーザUの着座する運転席付近、たとえばダッシュボードの上部等に設けられる。
【0058】
次に、図3Bでは、ユーザUが、たとえば発話ボタンを押下し、音声アシスタントサーバ100ごとの起動ワードなしに発話を行ったものとする。かかる場合、同図に示すように、ユーザUが、起動ワードなしに、たとえば「○○して」といった発話を行うと、VUI制御部13aが、マイク2から入力されたかかる発話の発話区間「○○して」との内容を抽出する。そして、VUI制御部13aは、かかる抽出した内容をマスター制御部13cへ渡す。
【0059】
そして、マスター制御部13cは、受け取った内容を対話情報12cへ保存するとともに、かかる保存した内容および音声アシスタント情報12dに含まれる音声アシスタントサーバ100ごとの起動ワード等に基づき、音声アシスタントサーバ100それぞれに向けた発話指示を自動生成する。
【0060】
同図に示した例で言えば、音声アシスタントサーバ100−1向けの起動ワード「WuW#1」が「Hey、△△」である場合、マスター制御部13cは、音声アシスタントサーバ100−1向けには、「Hey、△△」+「○○して」の内容で音声合成した発話指示を生成する。
【0061】
同様に、音声アシスタントサーバ100−2向けの起動ワード「WuW#2」が「OK、××」である場合、マスター制御部13cは、音声アシスタントサーバ100−2向けには、「OK、××」+「○○して」の内容で音声合成した発話指示を生成する。
【0062】
一方、図3Cでは、ユーザUが、音声アシスタントサーバ100ごとの起動ワードを指定して発話を行ったものとする。たとえば図中に下線で示すように、ユーザUが、音声アシスタントサーバ100−1向けの起動ワード「Hey、△△」とともに「○○して」といった発話を行うと、マスター制御部13cは、かかる起動ワードに対応する音声アシスタントサーバ100−1向けの発話指示を最優先に処理する。ここに言う最優先とは、たとえば最初に音声アシスタントサーバ100−1との対話を行うことである。
【0063】
また、ユーザUが起動ワードを指定して発話を行った場合、マスター制御部13cは、ユーザUの発話の内容から、起動ワード部分と、音声アシスタントを問わない共通部分(ここでは、「○○して」の部分)とを分離し、かかる共通部分を対話情報12cへ保存する。
【0064】
なお、図3Bおよび図3Cでは図示を略しているが、マスター制御部13cは、取得部13bから受け取った情報も付与しつつ、音声アシスタントサーバ100向けの発話指示を音声合成することができる。付与の方法は、たとえば音声アシスタントサーバ100ごとのプラットフォームで規定された通信プロトコル等に応じたものとなる。
【0065】
次に、図3Dに示すように、マスター制御部13cが、生成した発話指示をたとえばまず音声アシスタントサーバ100−1へ送信し、これに対応する応答を受けて出力部3から出力させたものとする。
【0066】
かかる場合に、図中に示すように、ユーザUから上述の切替の意思表示があった場合、マスター制御部13cは、つづいて音声アシスタントサーバ100−2向けの発話指示を生成してこれを送信する。すなわち、同図の例の場合、マスター制御部13cは、常にユーザUの切替の意思表示に基づいて音声アシスタントを切り替える。したがって、かかる場合、通信コストの低減に資することができる。
【0067】
これに対し、既に述べてはいるが、図3Eに示すように、マスター制御部13cは、ユーザUが切替の意思表示を示す前に、複数の音声アシスタントサーバ100にそれぞれ応じた発話指示を生成して送信し、応答を蓄積しておくようにしてもよい。すなわち、同図の例の場合、マスター制御部13cは、ユーザUが切替の意思表示を示す前に、バックグラウンドで他の音声アシスタントサーバ100向けの発話指示を生成して送信し、その応答を蓄積する。
【0068】
かかる場合、同図に示すように、応答を蓄積しつつ1つずつ出力して、ユーザUから切替の意思表示があれば、出力する応答を切り替えればよい。かかる場合、ユーザUが満足のいく結果が得られるまでの応答性能を向上させることができる。
【0069】
次に、図3Fには上述の切替の意思表示の例を、図3Gには上述の完了の意思表示の例を、それぞれ示した。図3Fに示すように、切替の意思表示としては、ユーザUへ向けて応答が出力されてから、たとえば所定時間の無音を検知した場合であってもよいし、ユーザUが「他には?」や「NO」といった所定の発話を行ったことを検知した場合であってもよい。
【0070】
また、図3Gに示すように、完了の意思表示としては、ユーザUへ向けて応答が出力されてから、たとえばユーザUが「いいね」や「サンキュー」といった所定の発話を行ったことを検知した場合であってもよい。
【0071】
ここで、これまでの説明を踏まえた、車載装置10および音声アシスタントサーバ100間の対話の一例を挙げる。図4Aおよび図4Bは、車載装置10および音声アシスタントサーバ100間の対話の一例を示す図(その1)および(その2)である。
【0072】
図4Aに示すように、ユーザUがたとえば「この辺のラーメン屋」との発話を行ったものとする。かかる場合、車載装置10のマスター制御部13cは、たとえばまず音声アシスタントサーバ100−1向けに「Hey、△△。この辺のラーメン屋」との発話指示を生成し、音声アシスタントサーバ100−1へ送信する。
【0073】
そして、音声アシスタントサーバ100−1は、これに対し、「みそラーメンの○×亭があります。」との応答を返したものとする。かかる応答に対し、たとえばユーザUが、所定時間何も発話しないことで切替の意思表示を示すと、マスター制御部13cは、つづいて音声アシスタントサーバ100−2向けに「OK、××。この辺のラーメン屋」との発話指示を生成し、音声アシスタントサーバ100−2へ送信する。
【0074】
そして、かかる発話指示に対し、音声アシスタントサーバ100−2が「とんこつラーメンの○□家があります。」との応答を返し、かかる応答に対し、ユーザUが「いいね」と発話して完了の意思表示を示すと、たとえばVUI制御部13aが各種機能部14にカーナビゲーション機能の目的地設定を行わせる。
【0075】
なお、かかる場合、VUI制御部13aは、たとえば音声アシスタントサーバ100−2の応答に踏まれる「とんこつラーメンの○□家」との内容を音声認識および解釈し、カーナビゲーション機能の目的地として抽出することで、目的地設定を行わせる。
【0076】
また、図4Bに示すように、ユーザUがたとえば「バンド○○の曲をかけて」との発話を行ったものとする。かかる場合、車載装置10のマスター制御部13cは、たとえばまず音声アシスタントサーバ100−1向けに「Hey、△△。バンド○○の曲をかけて」との発話指示を生成し、音声アシスタントサーバ100−1へ送信する。
【0077】
そして、音声アシスタントサーバ100−1は、これに対し、「○△を再生します。♪〜」(「♪〜」は実際の楽曲を示す)との応答を返したものとする。かかる応答に対し、たとえばユーザUが「他には?」と発話することで切替の意思表示を示すと、マスター制御部13cは、つづいて音声アシスタントサーバ100−2向けに「OK、××。バンド○○の曲をかけて」との発話指示を生成し、音声アシスタントサーバ100−2へ送信する。
【0078】
そして、かかる発話指示に対し、音声アシスタントサーバ100−2が「□□を再生します。♪〜」との応答を返し、かかる応答に対し、ユーザUが「サンキュー」と発話して完了の意思表示を示すと、たとえばVUI制御部13aが各種機能部14にオーディオ機能の楽曲再生を行わせる。
【0079】
なお、同図では、音声アシスタントサーバ100−2からのストリーミング再生である例を示しているが、車載装置10がたとえば各種機能関連情報12bに保持するオーディオデータの中から、音声アシスタントサーバ100が指定した楽曲を再生することとしてもよい。
【0080】
ところで、実施形態に係る情報処理方法では、ユーザUが指定した場合を除いては、マスター制御部13cが音声アシスタントサーバ100を順次選択して、それぞれに応じた発話指示を生成する必要があるが、たとえば上述の対話情報12cを利用して、かかる選択の優先度を決定することができる。
【0081】
図5は、実施形態に係る対話情報12cの一例を示す図である。対話情報12cには、ユーザUが発話した内容や、実際に音声アシスタントサーバ100へ送信された発話指示とこれに対する応答の履歴のほかに、たとえば音声アシスタントごとの評価内容を含むことができる。
【0082】
そして、マスター制御部13cは、その評価内容に基づき、選択する音声アシスタントの優先順位を決定することができる。具体的には、図5に示すように、対話情報12cには、過去に音声アシスタントの機能を利用した履歴を、たとえばカテゴリ分けして記録することができる。
【0083】
そして、かかるカテゴリごとの履歴において、実際に応答が採用された音声アシスタントの採用回数を、上述の評価内容である評価値として見なすことができる。
【0084】
より具体的に、同図に示した例では、「グルメ検索」における「ラーメン」については、音声アシスタント#1よりも音声アシスタント#2の方が採用回数が多いことがわかる。このような評価内容を前提として、ユーザUから新たに「グルメ検索」における「ラーメン」についての発話を受け付けた場合、マスター制御部13cは、たとえば音声アシスタント#1よりも音声アシスタント#2の方を優先して選択する。
【0085】
また、別の例では、「楽曲再生」における「ロック」については、音声アシスタント#2よりも音声アシスタント#1の方が採用回数が多いことがわかる。このような評価内容を前提として、ユーザUから新たに「楽曲再生」における「ロック」についての発話を受け付けた場合、マスター制御部13cは、たとえば音声アシスタント#2よりも音声アシスタント#1の方を優先して選択する。
【0086】
このようにすることで、ユーザUの嗜好性から適正度が高いと推定される音声アシスタントを選択することが可能となる。また、これにより、ユーザUが満足のいく結果が得られるまでの応答性能の向上や、通信コストの低減を図ることができる。
【0087】
次に、実施形態に係る車載装置10が実行する処理手順について、図6を用いて説明する。図6は、実施形態に係る車載装置10が実行する処理手順を示すフローチャートである。なお、図6では、これまでと同様に、音声アシスタントが2つであるものとする。
【0088】
図6に示される車載装置10が実行する処理手順は、車載装置10の電源投入後、たとえばユーザUが発話ボタンを押下し、発話指示に相当する内容の発話(たとえば「○○して」(○○は、任意の指示文言))を行うことにより開始される。まず、VUI制御部13aが、ユーザUの発話の内容を音声認識する(ステップS101)。そして、マスター制御部13cが、VUI制御部13aにより音声認識され抽出された発話の内容を対話情報12cへ保存する(ステップS102)。
【0089】
また、取得部13bは、発話指示の生成に必要となる各種情報を取得し(ステップS103)、取得した情報をマスター制御部13cへ渡す。そして、マスター制御部13cが、ユーザUの指定もしくは上述の評価内容に基づく優先順位にしたがって音声アシスタントを選択する(ステップS104)。
【0090】
第1の音声アシスタントについては、マスター制御部13cは、第1の音声アシスタント向けの発話指示を自動生成し(ステップS105)、第1の音声アシスタントへ送信する(ステップS106)。そして、マスター制御部13cは、第1の音声アシスタントから応答を受信して、ユーザUへ向けて出力させる(ステップS107)。
【0091】
同様に、第2の音声アシスタントについては、マスター制御部13cは、第2の音声アシスタント向けの発話指示を自動生成し(ステップS108)、第2の音声アシスタントへ送信する(ステップS109)。そして、マスター制御部13cは、第2の音声アシスタントから応答を受信して、ユーザUへ向けて出力させる(ステップS110)。
【0092】
そして、ユーザUが完了の意思表示を示した場合(ステップS111,Yes)、VUI制御部13aが各種機能部14に、対話の内容に該当する各種機能を実行させる(ステップS112)。そして、再度ユーザUが発話ボタンを押下し、発話指示に相当する内容の発話を行う場合、ステップS101からの処理を繰り返すが、ユーザUが発話ボタンを押下しなければ、繰り返し処理は実行されず終了される。
【0093】
一方、ユーザUが完了の意思表示を示さなかった場合(ステップS111,No)、言い換えれば切替の意思表示を示した場合、ステップS104からの処理を繰り返すこととなる。
【0094】
上述してきたように、実施形態に係る車載装置10(「情報処理装置」の一例に相当)は、複数の音声アシスタントを利用可能に設けられた車載装置であって、マスター制御部13cを備える。マスター制御部13cは、ユーザUの発話の内容に基づき、音声アシスタントそれぞれに対する発話指示を生成して音声アシスタントサーバ100(「音声アシスタントのサーバ装置」の一例に相当)へ送信する。
【0095】
したがって、実施形態に係る車載装置10によれば、複数の音声アシスタントを利用する場合のユーザUの利便性を向上させることができる。
【0096】
また、マスター制御部13cは、ユーザUの発話の内容を保持しつつ、ユーザUの発話の内容に基づいて自動的に発話指示を生成する。
【0097】
したがって、実施形態に係る車載装置10によれば、ユーザUは、同様の内容の発話を繰り返す必要がなくなる。すなわち、ユーザUに煩わしさを感じさせることなく、複数の音声アシスタントを利用させることができる。
【0098】
また、マスター制御部13cは、発話指示および当該発話指示に対する応答の履歴を保持しつつ、当該履歴に基づいて発話指示を自動的に生成する。
【0099】
したがって、実施形態に係る車載装置10によれば、対話の履歴に基づく最適な発話指示を自動的に生成して送信することが可能となる。
【0100】
また、マスター制御部13cは、ユーザUの発話の内容、および、音声アシスタントそれぞれに関する情報を音声合成した音声データとして発話指示を自動的に生成する。
【0101】
したがって、実施形態に係る車載装置10によれば、音声インタフェースしかない音声アシスタントに対し、適切な発話指示を自動的に生成して送信することが可能となる。
【0102】
また、マスター制御部13cは、発話指示に対する応答に対し、ユーザUから音声アシスタントを切り替える意思表示が示された場合に、当該応答を返した一の音声アシスタント以外の他の音声アシスタントへ向けた発話指示を生成する。
【0103】
したがって、実施形態に係る車載装置10によれば、常にユーザUの指示に基づいて音声アシスタントを切り替えるので、通信コストを低減させるのに資することができる。
【0104】
また、マスター制御部13cは、発話指示および当該発話指示に対する応答の履歴に基づく音声アシスタントごとの評価値に基づき、選択する音声アシスタントの優先順位を決定する。
【0105】
したがって、実施形態に係る車載装置10によれば、ユーザUの嗜好性から適正度が高いと推定される音声アシスタントを選択することが可能となる。また、これにより、ユーザUが満足のいく結果が得られるまでの応答性能の向上や、通信コストの低減を図ることができる。
【0106】
なお、上述した実施形態では、発話指示をマスター制御部13cから音声アシスタントサーバ100へ直接送信する場合を例に挙げたが、これに限られるものではない。他の実施形態としては、たとえば、各音声アシスタント用のスマートスピーカを設けることとしたうえで、マスター制御部13cがスマートスピーカに対し、生成した発話指示を音声入力により行い、入力された発話指示をスマートスピーカから各音声アシスタントサーバ100へ送信するようにしてもよい。
【0107】
具体的に図7を用いて説明する。図7は、その他の実施形態に係る情報処理方法の概要説明図である。図7に示すように、その他の実施形態に係る情報処理方法では、マスター制御部13cと、音声アシスタントサーバ100−1,100−2との間に、各音声アシスタント用のスマートスピーカSS−1,SS−2が介在する。
【0108】
そして、同図に示すように、マスター制御部13cは、ユーザUの発話を受け付けた場合に、たとえばスマートスピーカSS−1に対しては発話指示(i)を自動生成して音声入力する。そして、スマートスピーカSS−1は、音声入力された発話指示(i)を音声アシスタントサーバ100−1へ送信してその応答(i)を受け、かかる応答(i)をたとえばスマートスピーカSS−1自体がユーザUへ返す。
【0109】
また、マスター制御部13cは、たとえば応答(i)にユーザUが満足できなければ、ユーザUの発話の内容を引き継ぎつつ、スマートスピーカSS−2に対して発話指示(ii)を自動生成して音声入力する。そして、スマートスピーカSS−2は、音声入力された発話指示(ii)を音声アシスタントサーバ100−2へ送信してその応答(ii)を受け、かかる応答(ii)をたとえばスマートスピーカSS−2自体がユーザUへ返す。応答(i)、応答(ii)ともマスター制御部13cがユーザUへ返すようにしてもよい。
【0110】
なお、ユーザUが起動ワードを指定して特定のスマートスピーカSSに対し直接発話を行い、かかるスマートスピーカSSが直接音声アシスタントサーバ100へ音声入力を行うこともできる。この場合、マスター制御部13cは、特定のスマートスピーカSSに対し行われた発話の内容を保持しておき、これを引き継ぎながら他のスマートスピーカSSに対する発話指示を自動生成し、他のスマートスピーカSSへ音声入力するようにしてもよい。
【0111】
これにより、複数のスマートスピーカSSを設け、複数の音声アシスタントの機能を利用する場合に、ユーザUは、同様の内容の発話指示を音声アシスタントに応じて繰り返し行う必要がなくなる。すなわち、ユーザUは、煩雑な手順を踏むことなく、満足のいく応答を得ることが可能となる。
【0112】
また、上述した各実施形態では、ユーザUが、車両Vの運転席に着座するドライバである場合を例に挙げたが、ユーザの一例であって、車両Vに搭乗するドライバ以外の搭乗者であってもよい。したがって、入出力部SPの配置位置もダッシュボードの上部等に限られるものではない。
【0113】
また、上述した各実施形態では、情報処理装置が、移動体である車両Vに搭載される車載装置10であることとしたが、無論、移動体に搭載されるか否かを問わず、種々の設置環境に設けられるものであってもよい。たとえば、情報処理装置は、家庭に設けられるスマートスピーカであってもよい。
【0114】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0115】
1 情報処理システム
10 車載装置
13a VUI制御部
13b 取得部
13c マスター制御部
100 音声アシスタントサーバ
N ネットワーク
SP 入出力部
U ユーザ
V 車両
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図4A】
【図4B】
【図5】
【図6】
【図7】