【技術分野】

【0001】

【0002】

【背景技術】

【0003】

【0004】

【発明の概要】

いくつかの方法例を本明細書に開示する。方法の一例は、１つ以上のプロセッサ及びメモリを有する電子デバイスにおいて、メディアの要求を示す第１の自然言語音声入力を受信することであって、第１の自然言語音声入力は、第１の検索パラメータを含む、ことと、デジタルアシスタントによって、第１のメディアアイテムを提供することであって、第１の検索パラメータに基づいて第１のメディアアイテムが特定される、ことと、第１のメディアアイテムを提供しながら、第２の自然言語音声入力を受信することと、第２の自然言語音声入力が、メディアの要求を絞り込むというユーザの意図に対応するかどうかを判定することとを含む。この方法は、第２の自然言語音声入力がメディアの要求を絞り込むというユーザの意図に対応するという決定に従って、第１のパラメータ及び第２の自然言語音声入力に基づいて、第１のメディアアイテムとは異なる第２のメディアアイテムを特定することと、デジタルアシスタントによって第２のメディアアイテムを提供することとを更に含む。

方法の一例は、１つ以上のプロセッサ及びメモリを有する電子デバイスにおいて、自然言語音声入力を受信することと、デジタルアシスタントによって、自然言語音声入力に基づいてタスクを特定することと、デジタルアシスタントによって、特定されたタスクに関連付けられた音声応答を示す音声出力を提供することと、音声応答を示す音声出力を提供しながら、デジタルアシスタントによって、音声応答に対応するメディアアイテムを再生することとを含む。

方法の一例は、１つ以上のプロセッサ及びメモリを有する電子デバイスにおいて、メディアの要求を示す音声入力を受信することと、音声入力を受信することに応答して、デジタルアシスタントによって、第１のメディアアイテムの提案を示すオーディオ出力を提供することと、デジタルアシスタントによって、メディアの要求に対応する連続する非肯定応答の数が閾値を満たしているかどうかを判定することとを含む。この方法は、連続する非肯定応答の数が閾値を満たしていないという決定に従って、デジタルアシスタントによって、第１のメディアアイテムとは異なる第２のメディアアイテムの提案を示すオーディオ出力を提供することを更に含む。この方法は、連続する非肯定応答の数が閾値を満たすという決定に従って、第２のメディアアイテムの提案を示すオーディオ出力を提供することを止めることと、デジタルアシスタントによって、ユーザ入力の要求を示すオーディオ出力を提供することとを更に含む。

方法の一例は、１つ以上のプロセッサ及びメモリを有する電子デバイスにおいて、メディアの要求を示す音声入力を受信することと、デジタルアシスタントによって、電子デバイスに対する複数のユーザの物理的存在を検出することと、複数のユーザの物理的存在を検出することに応答して、複数のユーザに対応する複数の嗜好プロファイルを取得することと、デジタルアシスタントによって、複数の嗜好プロファイルに基づいて、マージされた嗜好プロファイルを提供することと、デジタルアシスタントによって、マージされた嗜好プロファイルに基づいてメディアアイテムを特定することと、デジタルアシスタントによって、特定されたメディアアイテムを含むオーディオ出力を提供することとを含む。

いくつかの非一時的コンピュータ可読媒体の例を本明細書に開示する。非一時的コンピュータ可読記憶媒体の例は、１つ以上のプログラムを記憶する。１つ以上のプログラムは命令を含み、これらの命令は、電子デバイスの１つ以上のプロセッサによって実行されるときに、電子デバイスに対して、メディアの要求を示す第１の自然言語音声入力を受信することであって、第１の自然言語音声入力は、第１の検索パラメータを含む、ことと、デジタルアシスタントによって、第１のメディアアイテムを提供することであって、第１の検索パラメータに基づいて第１のメディアアイテムが特定される、ことと、第１のメディアアイテムを提供しながら、第２の自然言語音声入力を受信することと、第２の自然言語音声入力が、メディアの要求を絞り込むというユーザの意図に対応するかどうかを判定することとを実行させる。これらの命令は、電子デバイスに対して、第２の自然言語音声入力がメディアの要求を絞り込むというユーザの意図に対応するという決定に従って、第１のパラメータ及び第２の自然言語音声入力に基づいて、第１のメディアアイテムとは異なる第２のメディアアイテムを特定することと、デジタルアシスタントによって第２のメディアアイテムを提供することとを更に実行させることができる。

非一時的コンピュータ可読記憶媒体の例は、１つ以上のプログラムを記憶する。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されるときに、電子デバイスに対して、自然言語音声入力を受信することと、デジタルアシスタントによって、自然言語音声入力に基づいてタスクを特定することと、デジタルアシスタントによって、特定されたタスクに関連付けられた音声応答を示す音声出力を提供することと、音声応答を示す音声出力を提供しながら、デジタルアシスタントによって、音声応答に対応するメディアアイテムを再生することとを実行させる命令を含む。

非一時的コンピュータ可読記憶媒体の例は、１つ以上のプログラムを記憶する。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されるときに、電子デバイスに対して、メディアの要求を示す音声入力を受信することと、音声入力を受信することに応答して、デジタルアシスタントによって、第１のメディアアイテムの提案を示すオーディオ出力を提供することと、デジタルアシスタントによって、メディアの要求に対応する連続する非肯定応答の数が閾値を満たしているかどうかを判定することとを実行させる命令を含む。これらの命令は、電子デバイスに対して、連続する非肯定応答の数が閾値を満たしていないという決定に従って、デジタルアシスタントによって、第１のメディアアイテムとは異なる第２のメディアアイテムの提案を示すオーディオ出力を提供することを更に実行させることができる。これらの命令は、電子デバイスに対して、連続する非肯定応答の数が閾値を満たすという決定に従って、前述の第２のメディアアイテムの提案を示すオーディオ出力を提供することを止めることと、デジタルアシスタントによって、ユーザ入力の要求を示すオーディオ出力を提供することとを更に実行させることができる。

非一時的コンピュータ可読記憶媒体の例は、１つ以上のプログラムを記憶する。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されるときに、電子デバイスに対して、メディアの要求を示す音声入力を受信することと、デジタルアシスタントによって、電子デバイスに対する複数のユーザの物理的存在を検出することと、複数のユーザの物理的存在を検出することに応答して、複数のユーザに対応する複数の嗜好プロファイルを取得することと、デジタルアシスタントによって、複数の嗜好プロファイルに基づいて、マージされた嗜好プロファイルを提供することと、デジタルアシスタントによって、マージされた嗜好プロファイルに基づいてメディアアイテムを特定することと、デジタルアシスタントによって、特定されたメディアアイテムを含むオーディオ出力を提供することとを実行させる命令を含む。

いくつかの電子デバイスの例を本明細書に開示する。電子デバイスの例は、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備え、これらの１つ以上のプログラムは、メモリ内に記憶されており、１つ以上のプロセッサによって実行されるように構成されており、これらの１つ以上のプログラムは、メディアの要求を示す第１の自然言語音声入力を受信することであって、この第１の自然言語音声入力は第１の検索パラメータを含んでいる、ことと、デジタルアシスタントによって、第１のメディアアイテムを提供することであって、第１の検索パラメータに基づいて第１のメディアアイテムが特定される、ことと、第１のメディアアイテムを提供しながら、第２の自然言語音声入力を受信することと、第２の自然言語音声入力が、メディアの要求を絞り込むというユーザの意図に対応するかどうかを判定することとを実行する命令を含む。１つ以上のプログラムは、第２の自然言語音声入力がメディアの要求を絞り込むというユーザの意図に対応するという決定に従って、第１のパラメータ及び第２の自然言語音声入力に基づいて、第１のメディアアイテムとは異なる第２のメディアアイテムを特定することと、デジタルアシスタントによって第２のメディアアイテムを提供することとを実行する命令を更に含む。

電子デバイスの例は、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備え、これらの１つ以上のプログラムは、メモリ内に記憶されており、１つ以上のプロセッサによって実行されるように構成されており、これらの１つ以上のプログラムは、自然言語音声入力を受信することと、デジタルアシスタントによって、自然言語音声入力に基づいてタスクを特定することと、デジタルアシスタントによって、特定されたタスクに関連付けられた音声応答を示す音声出力を提供することと、音声応答を示す音声出力を提供しながら、デジタルアシスタントによって、音声応答に対応するメディアアイテムを再生することとを実行する命令を含む。

電子デバイスの例は、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備え、これらの１つ以上のプログラムは、メモリ内に記憶されており、１つ以上のプロセッサによって実行されるように構成されており、これらの１つ以上のプログラムは、メディアの要求を示す音声入力を受信することと、音声入力を受信することに応答して、デジタルアシスタントによって、第１のメディアアイテムの提案を示すオーディオ出力を提供することと、デジタルアシスタントによって、メディアの要求に対応する連続する非肯定応答の数が閾値を満たしているかどうかを判定することとを実行する命令を含む。１つ以上のプログラムは、連続する非肯定応答の数が閾値を満たしていないという決定に従って、デジタルアシスタントによって、第１のメディアアイテムとは異なる第２のメディアアイテムの提案を示すオーディオ出力を提供する命令を更に含む。１つ以上のプログラムは、連続する非肯定応答の数が閾値を満たすという決定に従って、第２のメディアアイテムの提案を示すオーディオ出力を提供することを止めることと、デジタルアシスタントによって、ユーザ入力の要求を示すオーディオ出力を提供することとを実行する命令を更に含む。

電子デバイスの例は、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備え、これらの１つ以上のプログラムは、メモリ内に記憶されており、１つ以上のプロセッサによって実行されるように構成されており、これらの１つ以上のプログラムは、メディアの要求を示す音声入力を受信することと、デジタルアシスタントによって、電子デバイスに対する複数のユーザの物理的存在を検出することと、複数のユーザの物理的存在を検出することに応答して、複数のユーザに対応する複数の嗜好プロファイルを取得することと、デジタルアシスタントによって、複数の嗜好プロファイルに基づいて、マージされた嗜好プロファイルを提供することと、デジタルアシスタントによって、マージされた嗜好プロファイルに基づいてメディアアイテムを特定することと、デジタルアシスタントによって、特定されたメディアアイテムを含むオーディオ出力を提供することとを実行する命令を含む。

電子デバイスの例は、メディアの要求を示す第１の自然言語音声入力を受信する手段であって、第１の自然言語音声入力は第１の検索パラメータを含む、手段と、デジタルアシスタントによって、第１のメディアアイテムを提供する手段であって、第１の検索パラメータに基づいて第１のメディアアイテムが特定される、手段と、第１のメディアアイテムを提供しながら、第２の自然言語音声入力を受信する手段と、第２の自然言語音声入力が、メディアの要求を絞り込むというユーザの意図に対応するかどうかを判定する手段と、第２の自然言語音声入力がメディアの要求を絞り込むというユーザの意図に対応するという決定に従って、第１のパラメータ及び第２の自然言語音声入力に基づいて、第１のメディアアイテムとは異なる第２のメディアアイテムを特定する手段と、デジタルアシスタントによって第２のメディアアイテムを提供する手段とを含む。

電子デバイスの例は、自然言語音声入力を受信する手段と、デジタルアシスタントによって、自然言語音声入力に基づいてタスクを特定する手段と、デジタルアシスタントによって、特定されたタスクに関連付けられた音声応答を示す音声出力を提供する手段と、音声応答を示す音声出力を提供しながら、デジタルアシスタントによって、音声応答に対応するメディアアイテムを再生する手段とを含む。

電子デバイスの例は、メディアの要求を示す音声入力を受信する手段と、音声入力を受信することに応答して、デジタルアシスタントによって、第１のメディアアイテムの提案を示すオーディオ出力を提供する手段と、デジタルアシスタントによって、メディアの要求に対応する連続する非肯定応答の数が閾値を満たしているかどうかを判定する手段と、連続する非肯定応答の数が閾値を満たしていないという決定に従って、デジタルアシスタントによって、第１のメディアアイテムとは異なる第２のメディアアイテムの提案を示すオーディオ出力を提供する手段と、連続する非肯定応答の数が閾値を満たすという決定に従って、第２のメディアアイテムの提案を示すオーディオ出力を提供することを止める手段と、デジタルアシスタントによって、ユーザ入力の要求を示すオーディオ出力を提供する手段とを含む。

電子デバイスの例は、メディアの要求を示す音声入力を受信する手段と、デジタルアシスタントによって、電子デバイスに対する複数のユーザの物理的存在を検出する手段と、複数のユーザの物理的存在を検出することに応答して、複数のユーザに対応する複数の嗜好プロファイルを取得する手段と、デジタルアシスタントによって、複数の嗜好プロファイルに基づいて、マージされた嗜好プロファイルを提供する手段と、デジタルアシスタントによって、マージされた嗜好プロファイルに基づいてメディアアイテムを特定する手段と、デジタルアシスタントによって、特定されたメディアアイテムを含むオーディオ出力を提供する手段とを含む。

メディアアイテムを提供しながら自然言語音声入力を受信することにより、ユーザはメディア検索を容易に制御して所望のコンテンツを得ることができる。ユーザは、デジタルアシスタントを使用して、現在の再生を停止することも、デジタルアシスタントによるプロンプトを待機することも必要とせず、メディアの要求をいつでも絞り込むことができる。そのため、デジタルアシスタントは、メディア検索プロセスに対する完全かつ柔軟な制御をユーザに提供する。また、ユーザはデジタルアシスタントを使用していつでも会話に入り込み、会話を制御することができるため、メディアアイテムを提供しながら自然言語音声入力を受信することによって、デジタルアシスタントとユーザとの間での自然で直感的で人間的な対話を実現する。メディア検索プロセスの柔軟かつ直感的な制御を提供することにより、デバイスの操作性を向上させ、（例えば、ユーザの意図を理解し、ユーザに完全な制御を提供することによって）デジタルアシスタントとの対話をより効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用できるようにすることによって、デバイスの電力使用を削減し、バッテリ寿命を改善する。

自然言語音声入力がメディアの要求を絞り込んでメディアアイテムを特定するユーザの意図に対応するかどうかを判定することにより、ユーザは相対的に少ない数の入力で所望のコンテンツを素早く取得することができる。本技法は、例えば、メディアの要求を絞り込むときに、ユーザは以前に指定されたパラメータを繰り返し提供する必要がないため、ユーザ入力の数を低減する。また、本技法は、例えば、ユーザは、より調整され、一連の決定を介して所望のコンテンツに絞り込まれた推奨を受け取ることができるので、デジタルアシスタントとユーザとの間の自然で直感的な対話を提供する。ユーザ入力の数を減らし、直感的なユーザインターフェースを提供することは、デバイスの操作性を高め、ユーザ−デバイスインターフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用できるようにすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。

関連するメディアアイテムを再生しながら、ユーザ要求に対する音声応答を示す音声出力を提供することにより、デジタルアシスタントのリッチで直感的な聴覚インターフェースを提供する。メディアアイテムの再生（例えば、関連するサウンド効果、コンテンツの代表サンプル）は、ユーザが提示されているコンテンツを迅速に理解し、オーディオ出力の持続時間を延ばすことなく、より確かな情報に基づいて決定することに役立つ。更に、ユーザがより確かな情報に基づいて決定できるようにすることで、ユーザ入力の数を低減する。リッチで直感的な聴覚インターフェースを提供することは、デバイスの操作性を高め、ユーザ−デバイスインターフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用できるようにすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。

デジタルアシスタントは、推奨に対する連続する非肯定応答の数が閾値を満たしているかどうかを判定し、満たしていない場合に、別の推奨を提供することによって、選択肢をユーザに素早く直感的に提示することができる。本技法は、ユーザが新しい推奨を繰り返し要求する必要がないため、ユーザ入力の数を低減する。推奨を取得するためのユーザ入力の数を減らすことは、デバイスの操作性を高め、ユーザ−デバイスインターフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用できるようにすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。

デジタルアシスタントは、連続する非肯定応答の数が閾値を満たしているかどうかを判定し、満たしている場合に、ユーザ入力を要求することによって、ユーザの所望のコンテンツを素早く特定することができる。本技法は、ユーザが望ましくない推奨を繰り返し拒否すること、デジタルアシスタントによる望ましくない推奨の提供を停止すること、及び／又は新しい検索を開始することが必要ないため、ユーザ入力の数を低減する。本技法は、デジタルアシスタントが、ユーザコマンドを使用せずに、適切な場合に自動的に情報の入力を促すので、デジタルアシスタントとユーザとの間の自然で直感的な対話も提供する。ユーザ入力の数を減らし、自然なユーザインターフェースを提供することは、デバイスの操作性を高め、ユーザ−デバイスインターフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用できるようにすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。

複数のユーザの物理的存在を検出し、これらのユーザの嗜好プロファイルに基づいてマージされた嗜好プロファイルを提供することによって、複数のユーザのために所望のコンテンツを迅速に特定することができる。本技法は、複数のユーザに共通する嗜好を特定するための、それらのユーザの認識的負担を低減し、共通の嗜好をデジタルアシスタントに対して指定すること、及び／又は望ましくない推奨を拒否するために必要な入力の数を低減する。ユーザ入力の数及び認識的負担を減らすことは、デバイスの操作性を高め、ユーザ−デバイスインターフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用できるようにすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。

【図面の簡単な説明】

【0027】

【図1】種々の実施例に係る、デジタルアシスタントを実装するためのシステム及び環境を示すブロック図である。

【0028】

【図2A】様々な実施例に係る、デジタルアシスタントのクライアント側部分を実装するポータブル多機能デバイスを示すブロック図である。

【0029】

【図2B】様々な実施例に係る、イベント処理のための例示的な構成要素を示すブロック図である。

【0030】

【図3】様々な実施例に係る、デジタルアシスタントのクライアント側部分を実装するポータブル多機能デバイスを示す図である。

【0031】

【図4】様々な実施例に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。

【0032】

【図5A】様々な実施例に係る、ポータブル多機能デバイス上のアプリケーションのメニュー用の例示的なユーザインターフェースを示す図である。

【0033】

【図5B】様々な実施例に係る、ディスプレイとは別個のタッチ感知面を備える多機能デバイスのための例示的なユーザインターフェースを示す図である。

【0034】

【図6A】様々な実施例に係る、パーソナル電子デバイスを示す図である。

【0035】

【図6B】様々な実施例に係る、パーソナル電子デバイスを示すブロック図である。

【0036】

【図7A】様々な実施例に係る、デジタルアシスタントシステム又はそのサーバ部分を示すブロック図である。

【0037】

【図7B】様々な実施例に係る、図７Ａに示すデジタルアシスタントの機能を示す図である。

【0038】

【図7C】様々な実施例に係る、オントロジの一部分を示す図である。

【0039】

【図8A】いくつかの実施形態に係る、電子デバイスの例示的なユーザインターフェースを示す図である。

【図8B】いくつかの実施形態に係る、電子デバイスの例示的なユーザインターフェースを示す図である。

【0040】

【図9A】いくつかの実施形態に係る、電子デバイスの例示的なユーザインターフェースを示す図である。

【図9B】いくつかの実施形態に係る、電子デバイスの例示的なユーザインターフェースを示す図である。

【0041】

【図10A】いくつかの実施形態に係る、電子デバイスの例示的なユーザインターフェースを示す図である。

【図10B】いくつかの実施形態に係る、電子デバイスの例示的なユーザインターフェースを示す図である。

【0042】

【図11】いくつかの実施形態に係る、電子デバイスの例示的なユーザインターフェースを示す図である。

【0043】

【図12】様々な実施例に係る、デジタルアシスタントの聴覚に基づくインターフェースを提供するプロセスを示す図である。

【0044】

【図13】様々な実施例に係る、デジタルアシスタントの聴覚に基づくインターフェースを提供するプロセスを示す図である。

【0045】

【図14】様々な実施例に係る、デジタルアシスタントの聴覚に基づくインターフェースを提供するプロセスを示す図である。

【0046】

【図15】様々な実施例に係る、デジタルアシスタントの聴覚に基づくインターフェースを提供するプロセスを示す図である。

【発明を実施するための形態】

以下の実施例の説明では、実施することが可能な特定の実施例が例示として示される、添付図面を参照する。様々な実施例の範囲から逸脱することなく、他の実施例を使用することができ、構造上の変更を実施することができることを理解されたい。

前述したように、デジタルアシスタントは、表示能力が制限されているか、又は表示能力がない電子デバイス上に実装されることがある。したがって、主に聴覚に基づくインターフェースを提供する電子デバイス（又は、電子デバイス上のデジタルアシスタント）が必要である。更に、デジタルアシスタントとユーザとの間での自然で直感的、かつリッチな対話を提供するための、主に聴覚に基づくインターフェースが必要である。そのような技法は、デバイスの操作性を向上させ、（例えば、ユーザが提示されたコンテンツを素早く取得して理解できるようにすることによって）デジタルアシスタントとの対話をより効率的にすることができ、加えて、ユーザがデバイスを更に素早くかつ効率的に使用できるようにすることによって、デバイスの電力使用を削減し、バッテリ寿命を改善する。

以下の説明では、様々な要素を説明するために「第１」、「第２」等の用語を使用するが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施例の範囲から逸脱することなく、第１の入力は第２の入力と称することができ、同様に、第２の入力は第１の入力と称し得る。第１の入力及び第２の入力は双方とも入力であり得、いくつかの場合では、個別の、異なる入力である。

本明細書で説明される様々な実施例の説明で使用される用語は、特定の実施例を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施例の説明及び添付の特許請求の範囲で使用されるとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用されるときに、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上の任意のすべての可能な組み合わせを指し、かつこれを含むことをもまた理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む）」及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む）」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群、の存在又は追加を除外しないことが更に理解されるであろう。

用語「ｉｆ（〜場合に）」は、文脈に応じて「ｗｈｅｎ（〜時に）」又は「ｕｐｏｎ（〜すると）」又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜という判定に応じて）」又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（〜を検出したことに応じて）」を意味すると解釈することができる。同様に、句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（〜と判定される場合に）」又は「ｉｆ ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］ ｉｓ ｄｅｔｅｃｔｅｄ（［述べられる条件又はイベント］が検出される場合に）」は、文脈に応じて「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（〜と判定される時に）」又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜との判定に応じて）」又は「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられる条件又はイベント］の検出時に）」又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられる条件又はイベント］の検出に応じて）」を意味すると解釈することができる。
１．システム及び環境

図１は、様々な実施例に係る、システム１００のブロック図を示す。いくつかの実施例では、システム１００はデジタルアシスタントを実装し得る。用語「デジタルアシスタント」、「仮想アシスタント」、「インテリジェント自動アシスタント」、又は「自動デジタルアシスタント」は、口頭及び／又はテキスト形式の自然言語入力を解釈してユーザ意図を推測し、推測されたユーザ意図に基づきアクションを実行する任意の情報処理システムを指す。例えば、推測されたユーザの意図を実行するために、システムは、以下の１つ以上、すなわち、推測されたユーザの意図を実現するために設計されたステップ及びパラメータを有するタスクフローを特定すること、推測されたユーザの意図からの特定の要件をタスクフローに入力すること、プログラム、方法、サービス、ＡＰＩ等を呼び出すことによりタスクフローを実行すること、並びに可聴（例えば、スピーチ）形式及び／又は視覚形式でユーザへの出力応答を生成すること、を実行する。

具体的には、デジタルアシスタントは、自然言語命令、要求、陳述、叙述、及び／又は照会の形で少なくとも部分的にユーザ要求を受け入れることができる。通例、ユーザ要求はデジタルアシスタントによる情報回答又はタスクの実行のいずれかを求める。ユーザ要求への満足な応答は、要求された情報回答の提供、要求されたタスクの実行、又はその２つの組み合わせを含む。例えば、ユーザはデジタルアシスタントに「私は今どこにいますか？」等の質問をする。ユーザの現在の場所に基づき、デジタルアシスタントは、「あなたはセントラルパーク内の西門の近くにいます」と回答する。ユーザは、例えば、「私の友人を、来週の私のガールフレンドの誕生日パーティに招待してください」のように、タスク実行を要求する。それに応じて、デジタルアシスタントは、「はい、ただ今」と述べることによって要求を受け取ったことを通知し、次に、ユーザの代わりに、ユーザの電子アドレス帳に載っているユーザの友人の各々に適切なカレンダ招待状を送信してもよい。要求されたタスクの実行中、デジタルアシスタントは、長時間にわたって情報を複数回交換する連続的なダイアログにおいて、ユーザと対話する場合がある。情報又は種々のタスクの実行を要求するためにデジタルアシスタントと対話する方法は他にも数多く存在する。言葉による応答を提供し、プログラムされたアクションを取ることに加えて、デジタルアシスタントはまた、他の視覚又はオーディオ形式の応答を、例えば、テキスト、警報、音楽、ビデオ、アニメーション等として、提供する。

図１に示されているように、いくつかの実施例では、デジタルアシスタントはクライアント−サーバモデルに従って実装される。デジタルアシスタントは、ユーザデバイス１０４上で実行されるクライアント側部分１０２（以後、「ＤＡクライアント１０２」）、及びサーバシステム１０８上で実行されるサーバ側部分１０６（以後「ＤＡサーバ１０６」）を含む。ＤＡクライアント１０２は１つ以上のネットワーク１１０を通じてＤＡサーバ１０６と通信する。ＤＡクライアント１０２は、ユーザ対応入力及び出力処理、並びにＤＡサーバ１０６との通信等のクライアント側機能を提供する。ＤＡサーバ１０６は、それぞれのユーザデバイス１０４上に各々常駐する任意の数のＤＡクライアント１０２のためのサーバ側機能を提供する。

いくつかの実施例では、ＤＡサーバ１０６は、クライアント対応Ｉ／Ｏインターフェース１１２、１つ以上の処理モジュール１１４、データ及びモデル１１６、並びに外部サービスへのＩ／Ｏインターフェース１１８を含む。クライアント対応Ｉ／Ｏインターフェース１１２は、ＤＡサーバ１０６のためのクライアント対応入力及び出力処理を促進する。１つ以上の処理モジュール１１４は、データ及びモデル１１６を利用して、音声入力を処理し、自然言語入力に基づいてユーザの意図を決定する。更に、１つ以上の処理モジュール１１４は、タスクの実行を、推測されたユーザの意図に基づいて実行する。いくつかの実施例では、ＤＡサーバ１０６は、タスク完了又は情報取得のために、ネットワーク（単数又は複数）１１０を通して外部サービス１２０と通信する。外部サービスへのＩ／Ｏインターフェース１１８はこのような通信を促進する。

ユーザデバイス１０４は、任意の好適な電子デバイスであり得る。いくつかの実施例では、ユーザデバイスは、ポータブル多機能デバイス（例えば、図２Ａを参照して以下に説明するデバイス２００）、多機能デバイス（例えば、図４を参照して以下に説明するデバイス４００）、又はパーソナル電子デバイス（例えば、図６Ａ〜図６Ｂを参照して以下に説明するデバイス６００）である。ポータブル多機能デバイスは、例えば、他の機能、例えば、ＰＤＡ及び／又はミュージックプレーヤ機能、も含む携帯電話である。ポータブル多機能デバイスの具体的な実施例は、Ａｐｐｌｅ Ｉｎｃ．（Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ）による、ｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスを含む。ポータブル多機能デバイスの他の実施例は、限定を伴わずに、ラップトップコンピュータ又はタブレットコンピュータを含む。更に、いくつかの実施例では、ユーザデバイス１０４は、非ポータブル多機能デバイスである。特に、ユーザデバイス１０４は、デスクトップコンピュータ、ゲームコンソール、テレビ、又はテレビセットトップボックスである。いくつかの実施例では、ユーザデバイス１０４は、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を含む。更に、ユーザデバイス１０４は、１つ以上の他の物理ユーザインターフェースデバイス、例えば、物理キーボード、マウス、及び／又はジョイスティック、を任意選択的に含む。電子デバイスの様々な実施例、例えば、多機能デバイス、を以下に詳細に説明する。

通信ネットワーク（単数又は複数）１１０の例としては、ローカルエリアネットワーク（Local Area Networks、ＬＡＮ）及び、例えば、インターネットのようなワイドエリアネットワーク（Wide Area Networks、ＷＡＮ）が挙げられる。通信ネットワーク（単数又は複数）１１０は、例えば、イーサネット（登録商標）、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ（登録商標））、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ（登録商標）、又は任意の他の好適な通信プロトコル等の、様々な有線又は無線プロトコルを含む、任意の周知のネットワークプロトコルを用いて実装される。

サーバシステム１０８は、１つ以上のスタンドアロンデータ処理装置、又はコンピュータの分散型ネットワーク上に実装される。いくつかの実施例では、サーバシステム１０８は、また、様々な仮想デバイス及び／又はサードパーティサービスプロバイダ（例えば、サードパーティクラウドサービスプロバイダ）のサービスを利用して、サーバシステム１０８の基本的なコンピューティングリソース及び／又はインフラストラクチャリソースを提供する。

いくつかの実施例では、ユーザデバイス１０４は、ＤＡサーバ１０６と、第２のユーザデバイス１２２を介して通信する。第２のユーザデバイス１２２は、ユーザデバイス１０４と同様又は同一である。例えば、第２のユーザデバイス１２２は、図２Ａ、図４、及び図６Ａ〜図６Ｂを参照して以下に説明する、デバイス２００、デバイス４００、又はデバイス６００と同様である。ユーザデバイス１０４は、第２のユーザデバイス１２２に、直接通信接続、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、ＢＴＬＥ等を介して、又は、有線ネットワーク若しくは無線ネットワーク、例えば、ローカルＷｉ−Ｆｉネットワーク、を介して通信可能に連結するよう構成される。いくつかの実施例では、第２のユーザデバイス１２２は、ユーザデバイス１０４とＤＡサーバ１０６との間のプロキシとして動作するよう構成される。例えば、ユーザデバイス１０４のＤＡクライアント１０２は、情報（例えば、ユーザデバイス１０４にて受信したユーザの要求）を、ＤＡサーバ１０６に、第２のユーザデバイス１２２を介して送信するよう構成される。ＤＡサーバ１０６は情報を処理し、関連データ（例えば、ユーザの要求に応じてのデータコンテンツ）を、ユーザデバイス１０４に、第２のユーザデバイス１２２を介して返す。

いくつかの実施例では、ユーザデバイス１０４は、データに対する省略された要求を、第２のユーザデバイス１２２に通信し、ユーザデバイス１０４から送信する情報量を減らすよう構成される。第２のユーザデバイス１２２は、追加情報を決定し、省略された要求に加えて完全な要求を生成し、ＤＡサーバ１０６に送信するよう構成される。このシステムアーキテクチャは、限られた通信能力及び／又は限られたバッテリ電力を有するユーザデバイス１０４（例えば、携帯時計又は同様のコンパクト電子デバイス）を、ＤＡサーバ１０６が提供するサービスに、より強い通信能力及び／又はより大きなバッテリ電力を有する第２のユーザデバイス１２２（例えば、携帯電話、ラップトップコンピュータ、タブレットコンピュータ等）を、ＤＡサーバ１０６へのプロキシとして使用して、好適にアクセス可能とし得る。図１では２つのユーザデバイス１０４及びユーザデバイス１２２のみが示されるが、システム１００は、いくつかの実施例では、ＤＡサーバシステム１０６と通信するよう、このプロキシ構成に構成された任意の数及び種類のユーザデバイスを含むということを理解されたい。

図１に示されるデジタルアシスタントはクライアント側部分（例えば、ＤＡクライアント１０２）及びサーバ側部分（例えば、ＤＡサーバ１０６）の両方を含むが、いくつかの実施例では、デジタルアシスタントの機能は、ユーザデバイス上にインストールされる独立型アプリケーションとして実装される。加えて、デジタルアシスタントのクライアント部分とサーバ部分との間の機能の分配は実装によって異なり得る。例えば、いくつかの実施例では、ＤＡクライアントは、ユーザ対応入力及び出力処理機能のみを提供し、デジタルアシスタントのすべての他の機能をバックエンドサーバに委ねるシンクライアントである。
２．電子デバイス

ここで、デジタルアシスタントのクライアント側部分を実装するための電子デバイスの実施形態に注目する。図２Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム２１２を備えるポータブル多機能デバイス２００を示すブロック図である。タッチ感知ディスプレイ２１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、「タッチ感知ディスプレイシステム」として既知である場合又は呼ばれる場合もある。デバイス２００は、メモリ２０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ２２２、１つ以上の処理ユニット（ＣＰＵ）２２０、周辺機器インターフェース２１８、ＲＦ回路２０８、オーディオ回路２１０、スピーカ２１１、マイクロフォン２１３、入出力（Ｉ／Ｏ）サブシステム２０６、他の入力制御デバイス２１６、及び外部ポート２２４を含む。デバイス２００は、１つ以上の光センサ２６４を任意選択的に含む。デバイス２００は、デバイス２００（例えば、デバイス２００のタッチ感知ディスプレイシステム２１２等のタッチ感知面）上の接触の強度を検出するための、１つ以上の接触強度センサ２６５を任意選択的に含む。デバイス２００は、デバイス２００上に触知出力を生成する（例えば、デバイス２００のタッチ感知ディスプレイシステム２１２又はデバイス４００のタッチパッド４５５等の、タッチ感知面上に触知出力を生成する）ための、１つ以上の触知出力生成器２６７を、任意選択的に含む。これらの構成要素は、１つ以上の通信バス又は信号ライン２０３を介して任意選択的に通信する。

本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面上の接触の力若しくは圧力の代替物（代用物）を指す。接触の強度は、少なくとも４つの異なる値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）異なる値を含む、値範囲を有する。接触の強度は任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して判定（又は、測定）される。例えば、タッチ感知面の下に又はこれに隣接する１つ以上の力センサは任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。いくつかの実装において、複数の力センサの力測定値を組み合わせて（例えば、加重平均）、接触力の推定値を判定する。同様に、スタイラスの感圧性先端部を任意選択的に使用して、タッチ感知面上のスタイラスの圧力を判定する。あるいは、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。いくつかの実装では、接触の力又は圧力の代替的測定値は、強度閾値を超えているか否かを判定するために直接に用いられる（例えば、強度閾値は、代替的測定値に対応する単位で記述される）。いくつかの実装では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を用いて、強度閾値を超えているか否かを判定する（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するための、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタン等の物理的／機械的制御部を介して）受け取るための、面積が制限されている、低減されたサイズのデバイス上で、他の場合であればユーザによってアクセスすることが不可能であり得る、追加的なデバイス機能への、ユーザのアクセスが可能となる。

本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、デバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触感として、ユーザによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として任意選択的に解釈される。いくつかの場合、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」等の触感を感じる。別の実施例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるものではあるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。

デバイス２００は、ポータブル多機能デバイスの一実施例にすぎず、デバイス２００は任意選択的に、示されているものよりも多くの構成要素若しくは少ない構成要素を有し、任意選択的に、２つ以上の構成要素を組み合わせ、又は任意選択的に、構成要素の異なる構成若しくは配置を有することを理解されたい。図２Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの双方の組み合わせで実装される。

メモリ２０２は、１つ以上のコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体は、例えば、有形かつ非一時的である。メモリ２０２は高速ランダムアクセスメモリを含み、また、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイス等の、不揮発性メモリも含む。メモリコントローラ２２２は、デバイス２００の他の構成要素によるメモリ２０２へのアクセスを制御する。

いくつかの実施例では、メモリ２０２の非一時的コンピュータ可読記憶媒体は、（例えば、以下に説明するプロセスの態様を実行する）命令を、コンピュータベースのシステム、プロセッサを含むシステム、又は命令実行システム、装置、若しくはデバイスから命令を取ってくることができ、それらの命令を実行する他のシステム等の、命令実行システム、装置、若しくはデバイスによる使用、又はそれと関連した使用のために、記憶するために用いられる。他の実施例では、（例えば、以下で説明するプロセスの態様を実行する）命令は、サーバシステム１０８の非一時的コンピュータ可読記憶媒体（図示せず）上に記憶されるか、又はメモリ２０２の非一時的コンピュータ可読記憶媒体とサーバシステム１０８の非一時的コンピュータ可読記憶媒体との間で分配される。

周辺機器インターフェース２１８を使用して、デバイスの入力及び出力周辺機器を、ＣＰＵ２２０及びメモリ２０２に連結する。１つ以上のプロセッサ２２０は、デバイス２００のための様々な機能を実行し、データを処理するために、メモリ２０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させ、又は実行する。一部の実施形態では、周辺機器インターフェース２１８、ＣＰＵ２２０、及びメモリコントローラ２２２は、チップ２０４等の単一チップ上に実装される。一部の他の実施形態では、それらは、別々のチップ上で実装される。

ＲＦ（radio frequency）（無線周波数）回路２０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路２０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路２０８は任意選択的に、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（Subscriber Identity Module、ＳＩＭ）カード、メモリ等を含むがこれらに限定されない、それらの機能を実行するための周知の回路を含む。ＲＦ回路２０８は任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも称されるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（Metropolitan Area Network、ＭＡＮ）等の無線ネットワーク等のネットワークと、他のデバイスと無線通信によって通信する。ＲＦ回路２０８は、近距離通信無線等による近距離無線通信（Near Field Communication、ＮＦＣ）フィールドを検出するための周知の回路を任意選択的に含む。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを、任意選択的に使用する。これらとしては、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ（登録商標））、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（high−speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（high−speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ−Ｏｎｌｙ（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual−Cell HSPDA、ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、及び／又はＩＥＥＥ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and Presence Leveraging Extensions、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコル、が挙げられるが、これらに限定されない。

オーディオ回路２１０、スピーカ２１１、及びマイクロフォン２１３は、ユーザとデバイス２００との間のオーディオインターフェースを提供する。オーディオ回路２１０は、周辺機器インターフェース２１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ２１１に送信する。スピーカ２１１は、電気信号を人間の可聴音波に変換する。音声回路２１０はまた、マイクロフォン２１３により音波から変換された電気信号を受信する。音声回路２１０は、電気信号を音声データに変換し、音声データを処理のために周辺機器インターフェース２１８に送信する。オーディオデータは、周辺機器インターフェース２１８によって、メモリ２０２及び／若しくはＲＦ回路２０８から取得され、かつ／又はメモリ２０２及び／若しくはＲＦ回路２０８に送信される。一部の実施形態において、オーディオ回路２１０はヘッドセットジャック（例えば、図３の３１２）も含む。ヘッドセットジャックは、オーディオ回路２１０と、出力専用ヘッドホン又は出力（例えば、片耳又は両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の双方を有するヘッドセット等の、取り外し可能なオーディオ入出力周辺機器と、の間のインターフェースを提供する。

Ｉ／Ｏサブシステム２０６は、周辺機器インターフェース２１８に、タッチスクリーン２１２及び他の入力制御デバイス２１６等のデバイス２００の入出力周辺機器を接続する。Ｉ／Ｏサブシステム２０６は、任意選択的に、ディスプレイコントローラ２５６、光センサコントローラ２５８、強度センサコントローラ２５９、触覚フィードバックコントローラ２６１、及び他の入力又は制御デバイスのための１つ以上の入力コントローラ２６０を含む。１つ以上の入力コントローラ２６０は、他の入力制御デバイス２１６から／へ、電気信号を受信／送信する。他の入力制御デバイス２１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカーボタン等）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイール等を含む。一部の代替的実施形態では、入力コントローラ（単数又は複数）２６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウス等のポインタデバイスのうちのいずれかに接続される（又は、いずれにも接続されない）。１つ以上のボタン（例えば、図３の３０８）は、任意選択的に、スピーカ２１１及び／又はマイクロフォン２１３の音量調節のための、アップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図３の３０６）を含む。

２００５年１２月２３日に出願された、米国特許第７，６５７，８４９号である米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」に記載されているように、プッシュボタンの素早い押し下げにより、タッチスクリーン２１２のロックを解除するか、又はデバイスのロックを解除するためにタッチスクリーン上のジェスチャを用いる処理を開始する。この特許は、その全体が本明細書において参照により組み込まれる。プッシュボタン（例えば、３０６）をより長く押し下げることにより、デバイス２００の電源をオン又はオフする。ユーザは、１つ以上のボタンの機能をカスタマイズすることができる。タッチスクリーン２１２は、仮想又はソフトボタン、及び１つ以上のソフトキーボードを実装するために用いられる。

タッチ感知ディスプレイ２１２は、デバイスとユーザとの間の入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ２５６は、タッチスクリーン２１２から電気信号を受信し、かつ／又はタッチスクリーン２１２に電気信号を送信する。タッチスクリーン２１２は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（総称して「グラフィック」と称する）を含む。一部の実施形態では、視覚出力の一部又はすべては、ユーザインターフェースオブジェクトに対応する。

タッチスクリーン２１２は、触覚及び／又は触感の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有している。タッチスクリーン２１２及びディスプレイコントローラ２５６は（メモリ２０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン２１２上で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン２１２上に表示されたユーザインターフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン２１２とユーザとの間の接触点は、ユーザの指に対応する。

タッチスクリーン２１２は、ＬＣＤ（liquid crystal display、液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display、発光ポリマーディスプレイ）技術、又はＬＥＤ（light emitting diode、発光ダイオード）技術を用いるが、他の実施形態では、その他のディスプレイ技術を用いてもよい。タッチスクリーン２１２及びディスプレイコントローラ２５６は、現在既知の、又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触、及びその接触のあらゆる移動又は中断を検出し、これらの技術としては、静電容量技術、抵抗性技術、赤外線技術、及び表面弾性波技術、並びにタッチスクリーン２１２との１つ以上の接触点を判定するための他の近接センサアレイ又は他の要素が挙げられるが、これらに限定されない。例示的な実施形態では、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．によるｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）において見られるような、投影型相互静電容量感知技術が使用されている。

タッチスクリーン２１２のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、同第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／又は同第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、及び／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似する。これらの文献は、それぞれその全体が本明細書において参照により組み込まれている。ただし、タッチスクリーン２１２はデバイス２００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。

タッチスクリーン２１２の一部の実施形態におけるタッチ感知ディスプレイは、以下の出願で説明されている。（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の同第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の同第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の同第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の同第１１／０３８，５９０号、「Ｍｏｄｅ−Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の同第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の同第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の同第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ−Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の同第１１／３６７，７４９号、「Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ−Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願のすべては、全体が参照により本明細書に組み込まれている。

タッチスクリーン２１２は、例えば、１００ｄｐｉを超えるビデオ解像度を有する。一部の実施形態において、タッチスクリーンは約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス、指等の任意の好適な物体又は付属物を使用して、タッチスクリーン２１２と接触する。いくつかの実施形態において、ユーザインターフェースは、主として指を基準とした接触及びジェスチャで機能するように設計され、タッチスクリーン上の指の接触面積が広いためスタイラスを基準とした入力よりも精度が低いことがある。一部の実施形態では、デバイスは、指に基づく粗い入力を正確なポインタ／カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。

いくつかの実施形態では、タッチスクリーンに加えて、デバイス２００は、特定の機能をアクティブ化又は非アクティブ化させるためのタッチパッド（図示せず）を含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、タッチスクリーン２１２とは別個のタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。

デバイス２００はまた、様々な構成要素に電力を供給するための電力システム２６２を含む。電力システム２６２は、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイスにおける電力の生成、管理、及び分配に関連する任意の他の構成要素を含む。

デバイス２００はまた、１つ以上の光センサ２６４を含む。図２Ａでは、Ｉ／Ｏサブシステム２０６内の光センサコントローラ２５８に連結された光センサを示す。光センサ２６４は、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを含む。光センサ２６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表すデータに変換する。撮像モジュール２４３（カメラモジュールとも呼ばれる）と連携して、光センサ２６４は静止画像又はビデオをキャプチャする。いくつかの実施形態では、タッチスクリーンディスプレイが静止画像及び／又はビデオ画像取得のためのビューファインダとして使用されるように、デバイスの前面のタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面に光センサが配置されている。一部の実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見るのと同時に、そのユーザの画像をテレビ会議のために得るように、デバイスの前面に光センサが配置されている。一部の実施形態では、光センサ２６４の位置は、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができ、それにより、テレビ会議並びに静止画像及び／又はビデオ画像の取得の双方のために、単一の光センサ２６４を、タッチスクリーンディスプレイと共に使用する。

デバイス２００はまた任意選択的に、１つ以上の接触強度センサ２６５を含む。図２Ａでは、Ｉ／Ｏサブシステム２０６内の強度センサコントローラ２５９に連結された、接触強度センサを示す。接触強度センサ２６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）を、任意選択的に含む。接触強度センサ２６５は、環境から接触強度情報（例えば、圧力情報又は圧力情報のプロキシ）を受信する。一部の実施形態において、少なくとも１つの接触強度センサが、タッチ感知面（例えば、タッチ感知ディスプレイシステム２１２）に配置されているか、又は、それに近接している。一部の実施形態において、少なくとも１つの接触強度センサが、デバイス２００の前面に配置されたタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面に配置されている。

デバイス２００はまた、１つ以上の近接センサ２６６を含む。図２Ａでは、周辺機器インターフェース２１８と連結された近接センサ２６６を示す。あるいは、近接センサ２６６は、Ｉ／Ｏサブシステム２０６内の入力コントローラ２６０に連結される。近接センサ２６６は、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び、同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されているように実行され、これらの出願は、その全体が参照により本明細書に組み込まれる。一部の実施形態では、多機能デバイスがユーザの耳の近くに配置されるとき（例えば、ユーザが電話で通話しているとき）、近接センサは、タッチスクリーン２１２をオフにして無効化する。

デバイス２００はまた、任意選択的に、１つ以上の触知出力生成器２６７を含む。図２Ａでは、Ｉ／Ｏサブシステム２０６内の触覚フィードバックコントローラ２６１に連結された、触知出力生成器を示す。触知出力生成器２６７は、スピーカ若しくは他のオーディオ構成要素等の１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）等の、エネルギーを直線運動に変換する電気機械デバイスを、任意選択的に含む。接触強度センサ２６５は、触覚フィードバックモジュール２３３から触覚フィードバック生成命令を受信し、デバイス２００のユーザが感知できる触知出力をデバイス２００上で生成する。一部の実施形態において、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム２１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス２００の表面の内／外）に、又は横方向（例えば、デバイス２００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス２００の前面に配置されたタッチスクリーンディスプレイ２１２の反対側である、デバイス２００の背面に配置されている。

デバイス２００はまた、１つ以上の加速度計２６８も含む。図２Ａは、加速度計２６８を周辺機器インターフェース２１８に連結して示す。あるいは、加速度計２６８は、Ｉ／Ｏサブシステム２０６内の入力コントローラ２６０に、連結される。加速度計２６８は、米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ−ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び同第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」で説明されているように機能し、これらの文献の双方は、その全体が参照により本明細書に組み込まれる。一部の実施形態では、情報は、１つ以上の加速度計から受信されたデータの分析に基づいて、縦方向ビュー又は横方向ビュー内でタッチスクリーンディスプレイ上に表示される。デバイス２００は任意選択的に、加速度計（単数又は複数）２６８に加えて、磁気計（図示せず）並びにデバイス２００の位置及び方位（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機（図示せず）を含む。

いくつかの実施形態では、メモリ２０２に記憶されたソフトウェア構成要素は、オペレーティングシステム２２６、通信モジュール（又は命令セット）２２８、接触／動きモジュール（又は命令セット）２３０、グラフィックモジュール（又は命令セット）２３２、テキスト入力モジュール（又は命令セット）２３４、全地球測位システム（ＧＰＳ）モジュール（又は命令セット）２３５、デジタルアシスタントクライアントモジュール２２９、及びアプリケーション（又は命令セット）２３６を含む。更に、メモリ２０２は、データ及びモデル、例えば、ユーザデータ及びモデル２３１を記憶する。更に、いくつかの実施形態では、図２Ａ及び図４に示すように、メモリ２０２（図２Ａ）又はメモリ４７０（図４）は、デバイス／グローバル内部状態２５７を記憶する。デバイス／グローバル内部状態２５７は、現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ２１２の様々な領域を占領しているかを示す、表示状態、デバイスの様々なセンサ及び入力制御デバイス２１６から得られる情報を含む、センサ状態、並びに、デバイスの位置及び／又は姿勢に関する位置情報、のうちの１つ以上を含む。

オペレーティングシステム２２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ（登録商標）、ＯＳ Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ等の組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理等）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を促進する。

通信モジュール２２８は、１つ以上の外部ポート２２４を介して他のデバイスとの通信を容易にし、ＲＦ回路２０８及び／又は外部ポート２２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート２２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）等）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮ等）を通して間接的に、他のデバイスに連結するように適応している。一部の実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じマルチピン（例えば、３０ピン）コネクタか、又は同様の、及び／若しくは互換性のあるマルチピン（例えば、３０ピン）コネクタである。

接触／動きモジュール２３０は、任意選択的に、（ディスプレイコントローラ２５６と連携して）タッチスクリーン２１２との接触、及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール２３０は、接触が生じたか否かを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したか否かを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）等の、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール２３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向における変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。一部の実施形態では、接触／動きモジュール２３０及びディスプレイコントローラ２５６は、タッチパッド上の接触を検出する。

一部の実施形態において、接触／動きモジュール２３０は、ユーザによって動作が実行されたか否かを判定するための（例えば、ユーザがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。一部の実施形態では、少なくとも強度閾値のサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、デバイス２００の物理ハードウェアを変更することなく調節されてもよい）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の予め定義された閾値のうちのいずれかに設定されてもよい。加えて、一部の実装形態では、デバイスのユーザは、強度閾値の組のうちの１つ以上を調整するためのソフトウェア設定が提供される（例えば、個々の強度閾値を調整することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調整することによって）。

接触／動きモジュール２３０は任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、検出される接触の異なる動き、タイミング、及び／又は強度）を有する。よって、ジェスチャは任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、（例えば、アイコンの位置での）指を下ろすイベントを検出し、続いてその指を下ろすイベントと同じ位置（又は、実質的に同じ位置）で指を上げる（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、１つ以上の、指をドラッグするイベントを検出し、その後、続いて指を上げる（リフトオフ）イベントを検出することを含む。

グラフィックモジュール２３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含めた、タッチスクリーン２１２又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書にて使用されるとき、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、これらのオブジェクトとしては、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインターフェースオブジェクト等）、デジタル画像、ビデオ、アニメーション等が挙げられるが、これらに限定されない。

一部の実施形態では、グラフィックモジュール２３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックは任意選択的に、対応するコードが割り当てられる。グラフィックモジュール２３２は、アプリケーション等から、必要に応じて、座標データ及び他のグラフィック特性データと共に表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次いで、ディスプレイコントローラ２５６に出力するスクリーンの画像データを生成する。

触覚フィードバックモジュール２３３は、デバイス２００とのユーザ対話に応じて、デバイス２００上の１つ以上の位置で触知出力を生成するために、触知出力生成器（単数又は複数）２６７によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。

テキスト入力モジュール２３４は、いくつかの実施例では、グラフィックモジュール２３２の構成要素であり、様々なアプリケーション（例えば、連絡先２３７、電子メール２４０、ＩＭ２４１、ブラウザ２４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するための、ソフトキーボードを提供する。

ＧＰＳモジュール２３５はデバイスの位置を判定し、この情報を、様々なアプリケーションで使用するために提供する（例えば、位置に基づく電話にて使用するために電話２３８へ、写真／ビデオメタデータとしてカメラ２４３へ、及び、天気ウィジェット、ローカルイエローページウィジェット、及びマップ／ナビゲーションウィジェット等の、位置に基づくサービスを提供するアプリケーションへ）。

デジタルアシスタントクライアントモジュール２２９は様々なクライアント側デジタルアシスタント命令を含み、デジタルアシスタントのクライアント側機能を提供する。例えば、デジタルアシスタントクライアントモジュール２２９は、ポータブル多機能デバイス２００の様々なユーザインターフェース（例えば、マイクロフォン２１３、加速度計（単数又は複数）２６８、タッチ感知ディスプレイシステム２１２、光センサ（単数又は複数）２２９、他の入力制御デバイス２１６等）を通して、声の入力（例えば、音声入力）、テキスト入力、タッチ入力、及び／又はジェスチャ入力を受信できる。デジタルアシスタントクライアントモジュール２２９はまた、ポータブル多機能デバイス２００の様々な出力インターフェース（例えば、スピーカ２１１、タッチ感知ディスプレイシステム２１２、触知出力生成器（単数又は複数）２６７等）を通して、オーディオ（例えば、音声出力）、視覚、及び／又は触知の形態での出力を提供できる。例えば、出力は、音声、音響、警報、テキストメッセージ、メニュー、グラフィック、ビデオ、アニメーション、振動、及び／又は上記の２つ以上の組み合わせとして提供される。動作時、デジタルアシスタントクライアントモジュール２２９は、ＲＦ回路２０８を用いてＤＡサーバ１０６と通信する。

ユーザデータ及びモデル２３１は、ユーザに関連付けられた様々なデータ（例えば、ユーザ固有の語彙データ、ユーザ嗜好データ、ユーザ固有の名前の発音、ユーザの電子アドレス帳からのデータ、ｔｏ ｄｏリスト、買い物リスト等）を含み、デジタルアシスタントのクライアント側機能を提供する。更に、ユーザデータ及びモデル２３１は、ユーザ入力を処理してユーザの意図を判定するための様々なモデル（例えば、音声認識モデル、統計的言語モデル、自然言語処理モデル、オントロジ、タスクフローモデル、サービスモデル等）を含む。

いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９は、ポータブル多機能デバイス２００の様々なセンサ、サブシステム、及び周辺機器を使用して、ポータブル多機能デバイス２００の周囲環境から追加情報を収集し、ユーザ、現在のユーザ対話及び／又は現在のユーザ入力に関連付けられたコンテキストを確立する。いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９は、ユーザの意図の推測を助けるために、ユーザ入力と共にコンテキスト情報又はそのサブセットをＤＡサーバ１０６に提供する。いくつかの実施例では、デジタルアシスタントはまた、ユーザへの出力をどのように準備し、配信するかを決定するために、コンテキスト情報を用いる。コンテキスト情報は、コンテキストデータと呼ばれる。

いくつかの実施例では、ユーザ入力に伴うコンテキスト情報は、センサ情報、例えば、照明、周囲ノイズ、周囲温度、周囲環境の画像又は映像等を含む。いくつかの実施例では、コンテキスト情報は、デバイスの物理状態、例えば、デバイスの向き、デバイスの位置、デバイスの温度、電力レベル、速度、加速度、運動パターン、セルラー信号強度等をも含み得る。いくつかの実施例では、ＤＡサーバ１０６のソフトウェア状態、例えば、稼働中のプロセス、インストール済みのプログラム、過去と現在のネットワーク活動、バックグラウンドサービス、エラーログ、リソース使用量、等、及びポータブル多機能デバイス２００の、ソフトウェア状態に関係する情報が、ＤＡサーバ１０６に、ユーザ入力に関連付けられたコンテキスト情報として提供される。

いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９は、ＤＡサーバ１０６からの要求に応じて、ポータブル多機能デバイス２００上に記憶されている情報（例えば、ユーザデータ２３１）を選択的に提供する。いくつかの実施例では、デジタルアシスタントクライアントモジュール２２９はまた、ＤＡサーバ１０６による要求に応じて、自然言語ダイアログ又は他のユーザインターフェースを介してユーザから追加入力を引き出す。デジタルアシスタントクライアントモジュール２２９は、ユーザ要求内に表されているユーザの意図の意図推論及び／又は履行においてＤＡサーバ１０６を助けるために、追加入力をＤＡサーバ１０６に渡す。

デジタルアシスタントの更なる詳細を、図７Ａ〜図７Ｃを参照して以下に説明する。デジタルアシスタントクライアントモジュール２２９が、以下に説明するデジタルアシスタントモジュール７２６の任意の数のサブモジュールを含み得ることが認識されるべきである。

アプリケーション２３６は、以下のモジュール（又は、命令セット）、又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール２３７（ときには、アドレス帳又は連絡先リストとも呼ぶ）、
●電話モジュール２３８、
●テレビ会議モジュール２３９、
●電子メールクライアントモジュール２４０、
●インスタントメッセージング（ＩＭ）モジュール２４１、
●トレーニングサポートモジュール２４２、
●静止画像及び／又はビデオ画像用のカメラモジュール２４３、
●画像管理モジュール２４４、
●ビデオ再生モジュール、
●音楽再生モジュール、
●ブラウザモジュール２４７、
●カレンダモジュール２４８、
●天気ウィジェット２４９−１、株価ウィジェット２４９−２、計算機ウィジェット２４９−３、アラーム時計ウィジェット２４９−４、辞書ウィジェット２４９−５、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット２４９−６、のうちの１つ以上を一部の例において含む、ウィジェットモジュール２４９、
●ユーザ作成ウィジェット２４９−６を作成するためのウィジェットクリエータモジュール２５０、
●検索モジュール２５１、
●ビデオプレーヤモジュール及びミュージックプレーヤモジュールを統合した、ビデオ及びミュージックプレーヤモジュール２５２、
●メモモジュール２５３、
●マップモジュール２５４、及び／又は
●オンラインビデオモジュール２５５。

メモリ２０２内に記憶される他のアプリケーション２３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。

タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、連絡先モジュール２３７は、（例えば、メモリ２０２又はメモリ４７０内の連絡先モジュール２３７のアプリケーション内部状態２９２に記憶される）アドレス帳又は連絡先リストを管理するために用いられる。この管理することとしては、アドレス帳に名前（単数又は複数）を加えること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類及び並べ替えること、電話番号又は電子メールアドレスを提供して、電話２３８、テレビ会議モジュール２３９、電子メール２４０、若しくはＩＭ２４１による通信を開始する及び／又は容易にすること、等が含まれる。

ＲＦ回路２０８、オーディオ回路２１０、スピーカ２１１、マイクロフォン２１３、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、電話モジュール２３８は、電話番号に対応する一連の文字を入力し、連絡先モジュール２３７内の１つ以上の電話番号にアクセスし、入力された電話番号を修正し、対応する電話番号をダイヤルし、会話を行い、そして、会話が終了した際に接続を切るか又は電話を切るために、使用される。上述したように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。

ＲＦ回路２０８、オーディオ回路２１０、スピーカ２１１、マイクロフォン２１３、タッチスクリーン２１２、ディスプレイコントローラ２５６、光センサ２６４、光センサコントローラ２５８、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、連絡先モジュール２３７、及び電話モジュール２３８と連携して、テレビ会議モジュール２３９は、ユーザの命令に従って、ユーザと１人以上の他の参加者との間のテレビ会議を開始し、遂行し、終了するための、実行可能な命令を含む。

ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、電子メールクライアントモジュール２４０は、ユーザの命令に応答して、電子メールを作成し、送信し、受信し、かつ管理するための、実行可能な命令を含む。画像管理モジュール２４４と連携して、電子メールクライアントモジュール２４０は、カメラモジュール２４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。

ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、インスタントメッセージングモジュール２４１は、インスタントメッセージに対応する文字列を入力したり、入力済みの文字を修正したり、（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）対応するインスタントメッセージを送信したり、インスタントメッセージを受信したり、その受信したインスタントメッセージを表示したりするための、実行可能な命令を含む。一部の実施形態において、送信及び／又は受信されるインスタントメッセージは、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、オーディオファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書で使用するとき、「インスタントメッセージ」とは、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）の双方を示す。

ＲＦ回路２０８、タッチ画面２１２、ディスプレイコントローラ２５６、接触／動作モジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、ＧＰＳモジュール２３５、マップモジュール２５４、及びミュージックプレーヤモジュールと連携して、トレーニングサポートモジュール２４２は、（例えば、時間、距離、及び／又はカロリー消費目標を有する）トレーニングを生成することと、トレーニングセンサ（スポーツデバイス）と通信することと、トレーニングセンサデータを受信することと、トレーニングをモニタするために使用されるセンサを較正することと、トレーニングのための音楽を選択し、再生することと、トレーニングデータを表示し、記憶し、送信することとを実行するための実行可能な命令を含む。

タッチスクリーン２１２、ディスプレイコントローラ２５６、光センサ（単数又は複数）２６４、光センサコントローラ２５８、接触／動きモジュール２３０、グラフィックモジュール２３２、及び画像管理モジュール２４４と連携して、カメラモジュール２４３は、静止画像又は（ビデオストリームを含む）ビデオをキャプチャしてメモリ２０２にそれらを記憶する、静止画像又はビデオの特性を変更する、又はメモリ２０２から静止画像若しくはビデオを削除する、実行可能な命令を含む。

タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びカメラモジュール２４３と連携して、画像管理モジュール２４４は、静止画像及び／又はビデオ画像を配置する、修正し（例えば、編集し）又は別の方法で操作する、ラベルを付ける、削除する、（例えば、デジタルスライドショー又はアルバムにおいて）提示する、及び記憶したりする、実行可能な命令を含む。

ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、ブラウザモジュール２４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付け、受信し、表示することを含むユーザの命令に従い、インターネットをブラウズするための、実行可能な命令を含む。

ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、電子メールクライアントモジュール２４０、及びブラウザモジュール２４７と関連して、カレンダモジュール２４８は、ユーザの命令に従い、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ項目、ｔｏ ｄｏリスト等）を作成し、表示し、変更し、かつ記憶するための実行可能な命令を含む。

ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びブラウザモジュール２４７と連携して、ウィジェットモジュール２４９は、ユーザによってダウンロードされて、使用され得るミニアプリケーション（例えば、天気ウィジェット２４９−１、株価ウィジェット２４９−２、計算機ウィジェット２４９−３、アラーム時計ウィジェット２４９−４、及び辞書ウィジェット２４９−５）、又はユーザによって作成され得るミニアプリケーション（例えば、ユーザ作成ウィジェット２４９−６）である。一部の実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language）（ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets）（カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイルを含む。一部の実施形態では、ウィジェットは、ＸＭＬ（拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。

ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、及びブラウザモジュール２４７と連携して、ウィジェットクリエータモジュール２５０は、ウィジェットを作成する（例えば、ウェブページのユーザ指定箇所をウィジェットに変える）ために、ユーザによって使用される。

タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、検索モジュール２５１は、ユーザの命令に従って、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ２０２内のテキスト、音楽、音、画像、ビデオ、及び／又は他のファイルを検索するための、実行可能な命令を含む。

タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、オーディオ回路２１０、スピーカ２１１、ＲＦ回路２０８、及びブラウザモジュール２４７と連携して、ビデオ及びミュージックプレーヤモジュール２５２は、ＭＰ３又はＡＡＣファイル等の１つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（タッチスクリーン２１２上、又は外部ポート２２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生するための、実行可能な命令を含む。一部の実施形態では、デバイス２００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）等のＭＰ３プレーヤの機能を含む。

タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、及びテキスト入力モジュール２３４と連携して、メモモジュール２５３は、ユーザの命令に従って、メモ、ｔｏ ｄｏリスト等を作成及び管理するための、実行可能な命令を含む。

ＲＦ回路２０８、タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、テキスト入力モジュール２３４、ＧＰＳモジュール２３５、及びブラウザモジュール２４７と連携して、マップモジュール２５４は、ユーザの命令に従って、マップ、及びマップに関連付けられたデータ（例えば、運転方向、特定の場所又はその付近の店舗及び他の関心対象地点についてのデータ、並びに他の位置に基づくデータ）を受信し、表示し、修正し、かつ記憶するために使用される。

タッチスクリーン２１２、ディスプレイコントローラ２５６、接触／動きモジュール２３０、グラフィックモジュール２３２、オーディオ回路２１０、スピーカ２１１、ＲＦ回路２０８、テキスト入力モジュール２３４、電子メールクライアントモジュール２４０、及びブラウザモジュール２４７と連携して、オンラインビデオモジュール２５５は、ユーザがＨ．２６４等の１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えば、ストリーミング及び／又はダウンロードにより）受信し、（例えば、タッチスクリーン上で又は外部ポート２２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、かつ別の方法で管理することが可能となる命令を含む。一部の実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール２４０ではなく、インスタントメッセージングモジュール２４１が使用される。オンラインビデオアプリケーションの追加の説明は、２００７年６月２０日に出願された米国特許仮出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日に出願された米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」に見出すことができ、これらの出願の内容はその全体が本明細書において参照により組み込まれている。

上記で特定されたモジュール及びアプリケーションのそれぞれは、１つ以上の上記の機能を実行する実行可能な命令セット及び本出願に記載の方法（例えば、コンピュータにより実装される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（例えば、命令のセット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットが組み合わせられるか、又は他の方式で再編成され得る。例えば、ビデオプレーヤモジュールは、ミュージックプレーヤモジュールと組み合わせて、単一のモジュール（例えば、図２Ａのビデオ及びミュージックプレーヤモジュール２５２）にすることができる。一部の実施形態において、メモリ２０２は、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ２０２は、上述されていない追加のモジュール及びデータ構造を記憶する。

一部の実施形態では、デバイス２００は、デバイス上で予め定義された機能の組の動作がタッチスクリーン及び／又はタッチパッドを通じて排他的に実行されるデバイスである。デバイス２００の動作のための主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することによって、デバイス２００上の物理的な入力制御デバイス（プッシュボタン、ダイヤル等）の数が削減される。

タッチスクリーン及び／又はタッチパッドを通じて排他的に実行される予め定義された機能の組は任意選択的に、ユーザインターフェース間のナビゲーションを含む。一部の実施形態では、タッチパッドは、ユーザによってタッチされるとき、デバイス２００上で表示される任意のユーザインターフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス２００をナビゲートする。そのような実施形態では、「メニューボタン」はタッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理プッシュボタン又は他の物理入力制御デバイスである。

図２Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ２０２（図２Ａ）又はメモリ４７０（図４）は、イベントソート部２７０（例えば、オペレーティングシステム２２６内）及び対応するアプリケーション２３６−１（例えば、上述のアプリケーション２３７〜アプリケーション２５１、アプリケーション２５５、アプリケーション４８０〜アプリケーション４９０のうちのいずれか）を含む。

イベントソート部２７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション２３６−１及びアプリケーション２３６−１のアプリケーションビュー２９１を判定する。イベントソート部２７０は、イベントモニタ２７１及びイベントディスパッチャモジュール２７４を含む。いくつかの実施形態では、アプリケーション２３６−１は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイ２１２上に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態２９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態２５７は、いずれのアプリケーション（単数又は複数）が現在アクティブであるかを判定するために、イベントソート部２７０によって使用され、アプリケーション内部状態２９２は、イベント情報が配信されるアプリケーションビュー２９１を判定するために、イベントソート部２７０によって使用される。

一部の実施形態において、アプリケーション内部状態２９２は、アプリケーション２３６−１が実行を再開する際に使用される再開情報、アプリケーション２３６−１によって情報が表示されているか又は表示の準備が整っていることを示すユーザインターフェース状態情報、ユーザがアプリケーション２３６−１の以前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが以前に行ったアクションのリドゥ／アンドゥ待ち行列、のうちの１つ以上等の追加情報を含む。

イベントモニタ２７１は、周辺機器インターフェース２１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ２１２上でのユーザのタッチ）についての情報を含む。周辺機器インターフェース２１８は、Ｉ／Ｏサブシステム２０６、又は近接センサ２６６、加速度計（単数又は複数）２６８、及び／若しくは（オーディオ回路２１０を介する）マイクロフォン２１３等のセンサから受信する情報を送信する。周辺機器インターフェース２１８がＩ／Ｏサブシステム２０６から受信する情報には、タッチ感知ディスプレイ２１２又はタッチ感知面からの情報が含まれる。

一部の実施形態では、イベントモニタ２７１は、所定の間隔で周辺機器インターフェース２１８に要求を送信する。これに応じて、周辺機器インターフェース２１８はイベント情報を送信する。他の実施形態では、周辺機器インターフェース２１８は、重要なイベント（例えば、所定のノイズ閾値を上回り、かつ／又は所定の持続時間を超えた入力を受けること）が存在する場合にのみ、イベント情報を送信する。

いくつかの実施形態では、イベントソート部２７０はまた、ヒットビュー判定モジュール２７２及び／又はアクティブイベント認識部判定モジュール２７３も含む。

ヒットビュー判定モジュール２７２は、タッチ感知ディスプレイ２１２が２つ以上のビューを表示する場合に、サブイベントが１つ以上のビュー内のいずれの場所で発生したかを判定するための、ソフトウェア手順を提供する。ビューは、制御部及びユーザがディスプレイ上で見ることが可能な他の要素で構成される。

アプリケーションに関連付けられたユーザインターフェースの別の態様は、本明細書では、アプリケーションビュー又はユーザインターフェースウィンドウと呼ばれる場合があるビューのセットであり、それらの中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルのビューは、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントの組は、タッチに基づくジェスチャを開始する初期のタッチのヒットビューに少なくとも部分的に基づいて判定される。

ヒットビュー判定モジュール２７２は、タッチベースのジェスチャのサブイベントと関連する情報を受信する。アプリケーションが、階層として編成された複数のビューを有する場合、ヒットビュー判定モジュール２７２は、そのサブイベントを処理すべき階層内の最下位のビューとしての、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、最初のサブイベント（例えば、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュール２７２によって特定されると、ヒットビューは、典型的には、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連するすべてのサブイベントを受信する。

アクティブイベント認識部判定モジュール２７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール２７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール２７３は、サブイベントの物理位置を含むすべてのビューはアクティブに関わっているビューであると判定し、したがって、すべてのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューは、依然としてアクティブに関わっているビューであり続ける。

イベントディスパッチャモジュール２７４は、イベント情報をイベント認識部（例えば、イベント認識部２８０）に送信する。アクティブイベント認識部判定モジュール２７３を含む実施形態において、イベントディスパッチャモジュール２７４は、アクティブイベント認識部判定モジュール２７３により判定されたイベント認識部にイベント情報を配信する。一部の実施形態では、イベントディスパッチャモジュール２７４は、対応するイベント受信部２８２により取得されるイベント情報をイベント待ち行列に記憶する。

一部の実施形態では、オペレーティングシステム２２６は、イベントソート部２７０を含む。あるいは、アプリケーション２３６−１は、イベントソート部２７０を含む。更なる他の実施形態では、イベントソート部２７０は、スタンドアロンモジュール、又は接触／動きモジュール２３０等のメモリ２０２に記憶された別のモジュールの一部である。

一部の実施形態では、アプリケーション２３６−１は、各々がアプリケーションのユーザインターフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベントハンドラ２９０及び１つ以上のアプリケーションビュー２９１を含む。アプリケーション２３６−１の各アプリケーションビュー２９１は、１つ以上のイベント認識部２８０を含む。典型的には、それぞれのアプリケーションビュー２９１は、複数のイベント認識部２８０を含む。他の実施形態では、イベント認識部２８０のうちの１つ以上は、ユーザインターフェースキット（図示せず）、又はアプリケーション２３６−１がメソッド及び他の属性をそれから継承する上位レベルのオブジェクト等の、別々のモジュールの一部である。一部の実施形態では、それぞれのイベントハンドラ２９０は、データ更新部２７６、オブジェクト更新部２７７、ＧＵＩ更新部２７８、及び／又はイベントソート部２７０から受信されたイベントデータ２７９、のうちの１つ以上を含む。イベントハンドラ２９０は、アプリケーション内部状態２９２を更新するために、データ更新部２７６、オブジェクト更新部２７７、又はＧＵＩ更新部２７８を利用するか、又は呼び出す。あるいは、アプリケーションビュー２９１のうちの１つ以上は、１つ以上のそれぞれのイベントハンドラ２９０を含む。また、一部の実施形態では、データ更新部２７６、オブジェクト更新部２７７、及びＧＵＩ更新部２７８のうちの１つ以上は、それぞれのアプリケーションビュー２９１に含まれる。

それぞれのイベント認識部２８０は、イベントソート部２７０からイベント情報（例えば、イベントデータ２７９）を受信して、そのイベント情報からイベントを特定する。イベント認識部２８０は、イベント受信部２８２及びイベント比較部２８４を含む。いくつかの実施形態では、イベント認識部２８０は更に、メタデータ２８３及びイベント配信命令２８８（サブイベント配信命令を含む）の少なくともサブセットを含む。

イベント受信部２８２は、イベントソート部２７０からイベント情報を受信する。イベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに依存して、イベント情報はまた、サブイベントの位置等の追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、１つの方位から別の方位への（例えば、縦方位から横方位への、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の方位（デバイスの姿勢とも呼ばれる）についての対応する情報を含む。

イベント比較部２８４は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント若しくはサブイベントを判定する、又はイベント若しくはサブイベントの状態を判定若しくは更新する。いくつかの実施形態において、イベント比較部２８４は、イベント定義２８６を含む。イベント定義２８６は、例えば、イベント１（２８７−１）、イベント２（２８７−２）等の、イベントの定義（例えば、サブイベントの既定のシーケンス）を含む。一部の実施形態において、イベント（２８７）内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。ある実施例では、イベント１（２８７−１）の定義は、表示されたオブジェクト上のダブルタップである。このダブルタップは、例えば、所定の段階に関する表示オブジェクト上での第１のタッチ（タッチの開始）、所定の段階に関する第１のリフトオフ（タッチの終了）、所定の段階に関する表示オブジェクト上での第２のタッチ（タッチの開始）、及び所定の段階に関する第２のリフトオフ（タッチの終了）を含む。別の実施例では、イベント２（２８７−２）の定義は、表示されたオブジェクト上のドラッグ操作である。このドラッグ操作は、例えば、所定の段階に関する表示オブジェクト上でのタッチ（又は、接触）、タッチ感知ディスプレイ２１２を横断するタッチの移動、及びタッチのリフトオフ（タッチの終了）を含む。一部の実施形態において、イベントはまた、１つ以上の関連付けられたイベントハンドラ２９０に関する情報も含む。

一部の実施形態において、イベント定義２８７は、それぞれのユーザインターフェースオブジェクトに関するイベントの定義を含む。一部の実施形態において、イベント比較部２８４は、サブイベントに関連付けられたユーザインターフェースオブジェクトを判定するヒットテストを実行する。例えば、３つのユーザインターフェースオブジェクトがタッチ感知ディスプレイ２１２に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ２１２上でタッチが検出されると、イベント比較部２８４は、３つのユーザインターフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定するためのヒットテストを実行する。表示された各オブジェクトが、対応するイベントハンドラ２９０と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベントハンドラ２９０をアクティブ化すべきかを判定する。例えば、イベント比較部２８４は、サブイベント及びヒットテストのトリガとなるオブジェクトと関連付けられたイベントハンドラを選択する。

いくつかの実施形態では、それぞれのイベント（２８７）に関する定義はまた、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまでイベント情報の配信を遅延させる遅延動作をも含む。

それぞれのイベント認識部２８０が、一連のサブイベントがイベント定義２８６におけるイベントのいずれとも一致しないと判定するとき、それぞれのイベント認識部２８０は、イベント不可能、イベント失敗、又はイベント終了状態に入り、その後は、タッチに基づくジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューに対してアクティブのままである他のイベント認識部がある場合、そのイベント認識部は、進行中のタッチに基づくジェスチャのサブイベントを追跡及び処理し続ける。

一部の実施形態では、それぞれのイベント認識部２８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能な属性、フラグ、及び／又はリストを有するメタデータ２８３を含む。一部の実施形態では、メタデータ２８３は、イベント認識部が相互にどのように対話するか又は対話することが可能とされているかについて示す構成可能な属性、フラグ、及び／又はリストを含む。一部の実施形態では、メタデータ２８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能な属性、フラグ、及び／又はリストを含む。

一部の実施形態では、それぞれのイベント認識部２８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベントハンドラ２９０をアクティブ化する。一部の実施形態では、それぞれのイベント認識部２８０は、イベントと関連付けられたイベント情報をイベントハンドラ２９０に配信する。イベントハンドラ２９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。一部の実施形態では、イベント認識部２８０は、認識されたイベントと関連付けられたフラグを投入し、フラグと関連付けられたイベントハンドラ２９０は、フラグを捕らえ、予め定義された処理を実行する。

一部の実施形態では、イベント配信命令２８８は、イベントハンドラをアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベントハンドラに、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベントに又はアクティブに関与しているビューと関連付けられたイベントハンドラは、イベント情報を受信し、予め定義された処理を実行する。

一部の実施形態では、データ更新部２７６は、アプリケーション２３６−１で使用されるデータを作成及び更新する。例えば、データ更新部２７６は、連絡先モジュール２３７で使用される電話番号を更新したり、又はビデオ再生モジュールで使用されるビデオファイルを記憶したりする。一部の実施形態では、オブジェクト更新部２７７は、アプリケーション２３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部２７７は、新たなユーザインターフェースオブジェクトを作成するか、又はユーザインターフェースオブジェクトの位置を更新する。ＧＵＩ更新部２７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部２７８は、表示情報を作成し、タッチ感知ディスプレイ上で表示するためにそれをグラフィックモジュール２３２に送信する。

一部の実施形態では、イベントハンドラ（単数又は複数）２９０は、データ更新部２７６、オブジェクト更新部２７７、及びＧＵＩ更新部２７８を含むか、又はそれらへのアクセスを有する。一部の実施形態では、データ更新部２７６、オブジェクト更新部２７７、及びＧＵＩ更新部２７８は、それぞれのアプリケーション２３６−１又はアプリケーションビュー２９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。

タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の論考はまた、入力デバイスを使用して多機能デバイス２００を動作させるための他の形態のユーザ入力にも適用されるが、そのすべてがタッチスクリーン上で開始されるわけではないことが理解されよう。例えば、単一若しくは複数のキーボードの押圧若しくは保持に任意選択的に合わせたマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロール等の接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせは任意選択的に、認識されることになるイベントを定義するサブイベントに対応する入力として利用される。

図３は、一部の実施形態に係る、タッチスクリーン２１２を有するポータブル多機能デバイス２００を示す。タッチスクリーンは、ユーザインターフェース（user interface、ＵＩ）３００内に１つ以上のグラフィックを、任意選択的に表示する。本実施形態、並びに後述する実施形態において、ユーザは、例えば、１本以上の指３０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス３０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することができる。一部の実施形態では、ユーザが１つ以上のグラフィックとの接触を断った際に、その１つ以上のグラフィックの選択が生じる。いくつかの実施形態において、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ、及び／又は下方向へ）、及び／又はデバイス２００と接触した指のローリング（右から左へ、左から右へ、上方向へ、及び／又は下方向へ）を、任意選択的に、含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、グラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をスイープするスワイプジェスチャは任意選択的に、対応するアプリケーションを選択しない。

デバイス２００は、「ホーム」又はメニューボタン３０４等の、１つ以上の物理ボタンも含む。前で説明されたように、メニューボタン３０４は、デバイス２００上で実行される、アプリケーションの組における任意のアプリケーション２３６にナビゲートするために使用される。あるいは、一部の実施形態では、メニューボタンは、タッチスクリーン２１２に表示されたＧＵＩにおけるソフトキーとして実装されている。

一実施形態では、デバイス２００は、タッチスクリーン２１２、メニューボタン３０４、デバイスの電源をオン／オフし、デバイスをロックするためのプッシュボタン３０６、音量調節ボタン（単数又は複数）３０８、加入者識別モジュール（ＳＩＭ）カードスロット３１０、ヘッドセットジャック３１２、及びドッキング／充電用外部ポート２２４を含む。プッシュボタン３０６は任意選択的に、ボタンを押し下げ、予め定義された時間間隔の間にボタンを押し下げた状態で保持することによってデバイス上の電力をターンオン／オフし、ボタンを押し下げ予め定義された時間間隔が経過する前にボタンを解放することによってデバイスをロックし、及び／又はデバイスのロックを解除し若しくはロック解除処理を開始するために使用される。別の実施形態では、デバイス２００はまた、マイクロフォン２１３を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力を受ける。デバイス２００はまた、タッチスクリーン２１２上の接触の強度を検出するための１つ以上の接触強度センサ２６５、及び／又は、デバイス２００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器２６７をも、任意選択的に含む。

図４は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス４００は、ポータブル型である必要はない。一部の実施形態では、デバイス４００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具等）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス４００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）４１０、１つ以上のネットワーク又は他の通信インターフェース４６０、メモリ４７０、及びこれらの構成要素を相互接続するための１つ以上の通信バス４２０を含む。通信バス４２０は、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス４００は、典型的にはタッチスクリーンディスプレイであるディスプレイ４４０を備える入出力（Ｉ／Ｏ）インターフェース４３０を含む。Ｉ／Ｏインターフェース４３０はまた、キーボード及び／又はマウス（又は他のポインティングデバイス）４５０、並びにタッチパッド４５５、デバイス４００上に触知出力を生成するための（例えば、図２Ａを参照して上述した触知出力生成器２６７（単数又は複数）と同様の）触知出力生成器４５７、センサ４５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図２Ａを参照して上述した接触強度センサ（単数又は複数）２６５と同様の接触強度センサ）をも、任意選択的に含む。メモリ４７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイス等の、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体記憶デバイス等の、不揮発性メモリを含む。メモリ４７０は任意選択的に、ＣＰＵ（単数又は複数）４１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ４７０は、ポータブル多機能デバイス２００（図２Ａ）のメモリ２０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似する、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ４７０は、ポータブル多機能デバイス２００のメモリ２０２に存在しない追加のプログラム、モジュール、及びデータ構造を、任意選択的に記憶する。例えば、デバイス４００のメモリ４７０は、描画モジュール４８０、プレゼンテーションモジュール４８２、ワードプロセッシングモジュール４８４、ウェブサイト作成モジュール４８６、ディスクオーサリングモジュール４８８、及び／又はスプレッドシートモジュール４９０を任意選択的に記憶するが、ポータブル多機能デバイス２００（図２Ａ）のメモリ２０２はこれらのモジュールを任意選択的に記憶しない。

上記で特定された図４の要素のそれぞれは、いくつかの実施例では、前述のメモリデバイスのうち１つ以上に記憶される。上記で特定されたモジュールのうちのそれぞれは、上述した機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットを組み合わせるか、又は他の方式で再編成する。一部の実施形態では、メモリ４７０は、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ４７０は、上述されていない追加のモジュール及びデータ構造を記憶する。

ここで、例えば、ポータブル多機能デバイス２００上に実装され得るユーザインターフェースの実施形態に注意を向ける。

図５Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス２００上のアプリケーションのメニュー用の例示的なユーザインターフェースを示す。同様のユーザインターフェースは、デバイス４００上で実装される。一部の実施形態では、ユーザインターフェース５００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。

セルラー信号及びＷｉ−Ｆｉ信号等の無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）５０２、
●時刻５０４、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ５０５、
●バッテリ状態インジケータ５０６、
●下記等の、頻繁に利用されるアプリケーション用のアイコンを含むトレー５０８、
○不在着信又はボイスメールメッセージの数のインジケータ５１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール２３８用のアイコン５１６、
○未読電子メールの数のインジケータ５１０を任意選択的に含む、「メール」とラベル付けされる、電子メールクライアントモジュール２４０用のアイコン５１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール２４７用のアイコン５２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール２５２とも称されるビデオ及びミュージックプレーヤモジュール２５２用のアイコン５２２、及び
●下記等の、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール２４１用のアイコン５２４、
○「カレンダ」とラベル付けされた、カレンダモジュール２４８用のアイコン５２６、
○「写真」とラベル付けされた、画像管理モジュール２４４用のアイコン５２８、
○「カメラ」とラベル付けされた、カメラモジュール２４３用のアイコン５３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール２５５用のアイコン５３２、
○「株式」とラベル付けされた、株式ウィジェット２４９−２用のアイコン５３４、
○「マップ」とラベル付けされた、マップモジュール２５４用のアイコン５３６、
○「天気」とラベル付けされた、天気ウィジェット２４９−１用のアイコン５３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット２４９−４用のアイコン５４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール２４２用のアイコン５４２、
○「メモ」とラベル付けされる、メモモジュール２５３用のアイコン５４４、及び
○デバイス２００及びその様々なアプリケーション２３６に関する設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュール用のアイコン５４６。

図５Ａに示されているアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及びミュージックプレーヤモジュール２５２用のアイコン５２２は、任意選択的に、「ミュージック」又は「ミュージックプレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。

図５Ｂは、ディスプレイ５５０（例えば、タッチスクリーンディスプレイ２１２）とは別個のタッチ感知面５５１（例えば、図４のタブレット又はタッチパッド４５５）を備えるデバイス（例えば、図４のデバイス４００）上の、例示的なユーザインターフェースを示す。デバイス４００はまた、タッチ感知面５５１上の接触の強度を検出するための１つ以上の接触強度センサ（例えば、センサ４５７のうちの１つ以上）、及び／又はデバイス４００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器４５９を任意選択的に含む。

以下の実施例のうちのいくつかはタッチスクリーンディスプレイ２１２上での入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、いくつかの実施形態では、デバイスは、図５Ｂに示すように、ディスプレイとは別個のタッチ感知面上での入力を検出する。いくつかの実施形態では、このタッチ感知面（例えば、図５Ｂの５５１）は、ディスプレイ（例えば、５５０）上の主軸（例えば、図５Ｂの５５３）に対応する主軸（例えば、図５Ｂの５５２）を有する。これらの実施形態によれば、デバイスは、タッチ感知面５５１との接触（例えば、図５Ｂの５６０及び５６２）を、ディスプレイ上のそれぞれの場所に対応する場所（例えば、図５Ｂでは、５６０は５６８に対応し、５６２は５７０に対応する）にて検出する。このように、タッチ感知面がディスプレイとは別個のものである場合、タッチ感知面（例えば、図５Ｂの５５１）上でデバイスによって検出されたユーザ入力（例えば、接触５６０及び接触５６２、並びにそれらの移動）が、多機能デバイスのディスプレイ（例えば、図５Ｂでの５５０）上のユーザインターフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインターフェースに任意選択的に使用されることを理解されたい。

更に加えて、以下の実施例は主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ）を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力、又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは任意選択的に、マウスクリックと置き換えられ（例えば、接触の代わりに）、その後、スワイプの経路に沿ってカーソルの移動が行われる（例えば、接触の移動の代わりに）。別の例として、タップジェスチャは任意選択的に、カーソルがタップジェスチャの位置の上に位置する間のマウスクリックと置き換えられる（例えば、接触の検出、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスは任意選択的に同時に使用され、又はマウス及び指の接触が任意選択的に同時に使用されることを理解されたい。

図６Ａは、例示的なパーソナル電子デバイス６００を示す。デバイス６００は、本体６０２を含む。いくつかの実施形態では、デバイス６００は、デバイス２００及びデバイス４００（例えば、図２Ａ〜図４Ｂ）に関して記載した特徴のいくつか又はすべてを含む。一部の実施形態では、デバイス６００は、タッチ感知ディスプレイ画面６０４、以後、タッチスクリーン６０４を有する。タッチスクリーン６０４の代わりに、又はそれに追加して、デバイス６００は、ディスプレイ及びタッチ感知面を有する。デバイス２００及びデバイス４００と同様に、一部の実施形態において、タッチスクリーン６０４（又はタッチ感知面）は、加えられている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを有する。タッチスクリーン６０４（又は、タッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供する。デバイス６００のユーザインターフェースは、タッチの強度に基づいてタッチに応答し、これは、異なる強度のタッチは、デバイス６００上で異なるユーザインターフェース動作を呼び出し得ることを意味する。

タッチ強度を検出して処理するための技法は、例えば、関連出願である、２０１３年５月８日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」と題された国際出願ＰＣＴ／ＵＳ２０１３／０４００６１号、及び２０１３年１１月１１日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」と題された同ＰＣＴ／ＵＳ２０１３／０６９４８３号に記載されており、これらの文献のそれぞれは、全体が参照により本明細書に組み込まれる。

一部の実施形態において、デバイス６００は、１つ以上の入力機構６０６及び入力機構６０８を有する。入力機構６０６及び入力機構６０８は、含まれている場合、物理的なものである。物理入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。一部の実施形態では、デバイス６００は、１つ以上のアタッチメント機構を有する。かかるアタッチメント機構は、含まれる場合には、例えば、デバイス６００を、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計バンド、チェーン、ズボン、ベルト、靴、財布、バックパック等に、取り付けることを可能にする。これらのアタッチメント機構は、ユーザによってデバイス６００が着用されることを可能にし得る。

図６Ｂは、例示的なパーソナル電子デバイス６００を示す。いくつかの実施形態では、デバイス６００は、図２Ａ、図２Ｂ、及び図４に関連して記載した構成要素のいくつか又はすべてを含む。デバイス６００は、Ｉ／Ｏ部６１４を１つ以上のコンピュータプロセッサ６１６及びメモリ６１８に動作可能に接続するバス６１２を有する。Ｉ／Ｏ部６１４は、タッチ感知式構成要素６２２、及び、任意選択的に、タッチ強度感知構成要素６２４を有し得るディスプレイ６０４に接続される。更には、Ｉ／Ｏ部６１４は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（「ＮＦＣ」）、セルラー、及び／又は他の無線通信技法を使用して、アプリケーション及びオペレーティングシステムデータを受信するための、通信ユニット６３０と接続される。デバイス６００は、入力機構６０６及び／又は入力機構６０８を含む。入力機構６０６は、例えば、回転可能入力デバイス、又は押下可能かつ回転可能な入力デバイスである。入力機構６０８は、一部の実施例では、ボタンである。

入力機構６０８は、一部の実施例では、マイクロフォンである。パーソナル電子デバイス６００は、例えば、ＧＰＳセンサ６３２、加速度計６３４、方向センサ６４０（例えば、コンパス）、ジャイロスコープ６３６、動きセンサ６３８、及び／又はこれらの組み合わせ等の、様々なセンサを含み、それらのすべては、Ｉ／Ｏ部６１４に動作可能に接続される。

パーソナル電子デバイス６００のメモリ６１８は、コンピュータ実行可能な命令を記憶するための非一時的コンピュータ可読記憶媒体とすることができ、それらの命令は、１つ以上のコンピュータプロセッサ６１６によって実行されると、例えば、コンピュータプロセッサに、下で説明されている技法及び処理を実行させる。コンピュータ実行可能な命令はまた、例えば、コンピュータベースのシステム、プロセッサを含むシステム、又は、命令実行システム、装置、若しくはデバイスから命令をフェッチしてその命令を実行し得る他のシステム、等の、命令実行システム、装置、若しくはデバイス、によって、又はそれらと接続して使用される、任意の非一時的コンピュータ可読記憶媒体に記憶及び／又は伝送される。パーソナル電子デバイス６００は図６Ｂの構成要素及び構成に限定されるものではなく、他の構成要素又は追加的構成要素を、複数の構成で含み得る。

本明細書で使用する場合、用語「アフォーダンス」は、例えば、デバイス２００、４００、６００、８００、９００、１０００、及び／又は１１００（図２Ａ、図４、図６Ａ〜図６Ｂ、図８Ａ〜図８Ｂ、図９Ａ〜図９Ｂ、図１０Ａ〜図１０Ｂ、及び図１１）のディスプレイ画面上に表示されるユーザ対話式のグラフィカルユーザインターフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及びテキスト（例えば、ハイパーリンク）はそれぞれ、アフォーダンスを構成する。

本明細書にて使用されるとき、用語「フォーカスセレクタ」とは、ユーザが対話しているユーザインターフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含むいくつかの実装において、タッチ感知面（例えば、図４のタッチパッド４５５、又は図５Ｂのタッチ感知面５５１）上で入力（例えば、押圧入力）が検出された時に、カーソルが特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素）の上にあるとき、カーソルは「フォーカスセレクタ」として機能し、特定のユーザインターフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインターフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図２Ａのタッチ感知ディスプレイシステム２１２、又は図５Ａのタッチスクリーン２１２）を含むいくつかの実装では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」の役割を果たすため、入力（例えば、接触による押圧入力）がタッチスクリーンディスプレイ上の特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素）の場所で検出されると、その特定のユーザインターフェース要素は検出された入力に従って調節される。一部の実装では、（例えば、タブキー又は矢印キーを使ってフォーカスを１つのボタンから別のボタンに移動させることにより）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスが、ユーザインターフェースの１つの領域からユーザインターフェースの別の領域に移動される。それらの実装形態では、フォーカスセレクタは、ユーザインターフェースの異なる領域の間のフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは一般的に、ユーザの意図したユーザインターフェースとの対話を通信するために（例えば、ユーザが対話することを意図しているユーザインターフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインターフェース要素（又は、タッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出されたときに、対応するボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触又は選択ボックス）の位置は、（デバイスのディスプレイ上に示されている他のユーザインターフェース要素ではなく）対応するボタンをユーザがアクティブ化しようとしていることを示すものである。

本明細書及び特許請求の範囲で使用するとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。一部の実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は任意選択的に、予め定義された数の強度サンプル、又は予め定義されたイベントに対する（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終わりを検出する前、接触の強度における増大を検出する前若しくは後、及び／又は接触の強度における減少を検出する前若しくは後）予め定められた時間期間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルの組に基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値等、のうちの１つ以上に基づく。一部の実施形態では、接触の期間は、特性強度を判定する際に使用される（例えば、特性強度が経時的な接触の強度の平均にあるとき）。一部の実施形態では、特性強度は、操作がユーザによって実行されたかを判定するために１つ以上の強度閾値の組と比較される。例えば、１つ以上の強度閾値の組は、第１の強度閾値及び第２の強度閾値を含む。この実施例では、第１の閾値を越えない特性強度を有する接触の結果として第１の動作が実行され、第１の強度閾値を越え、第２の強度閾値を越えない特性強度を有する接触の結果として第２の動作が実行され、第２の閾値を越える特性強度を有する接触の結果として第３の動作が実行される。一部の実施形態では、特性強度と１つ以上の閾値との間の比較が、第１の動作又は第２の動作のいずれを実行するかを判定するために使用されるのではなく、１つ以上の動作を実行するかどうか（例えば、それぞれの動作を実行するのか、又はそれぞれの動作の実行を省略するのか）を判定するために使用される。

一部の実施形態では、特性強度を判定する目的で、ジェスチャの一部分が特定される。例えば、タッチ感知面は、開始位置から遷移して、接触の強度が増大する終了位置に到達する連続的なスワイプ接触を受信する。この実施例では、終了位置における接触の特性強度は、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、終了位置におけるスワイプ接触の部分のみ）に基づく。一部の実施形態では、平滑化アルゴリズムは、接触の特性強度を判定する前にスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。一部の状況では、それらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度における小幅な上昇又は低下を除去する。

タッチ感知面上の接触の強度は、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度閾値等の１つ以上の強度閾値に対して特徴付けする。一部の実施形態では、軽い押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることと典型的に関連付けられた操作をデバイスが実行する強度に対応する。一部の実施形態では、深い押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることと典型的に関連付けられた操作とは異なる操作をデバイスが実行する強度に対応する。一部の実施形態では、軽い押圧強度閾値を下回る（例えば、かつ、それを下回ると接触がもはや検出されないわずかな接触検出強度閾値を上回る）特性強度で接触が検出される場合、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従って、フォーカスセレクタを移動させる。全般的には、特に明記しない限り、これらの強度閾値は、ユーザインターフェース図の異なるセット間でも一貫している。

軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への接触の特性強度の増大は、「軽い押圧」入力と呼ばれる場合がある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への接触の特性強度の増大は、「深い押圧」入力と呼ばれる場合がある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれる場合がある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれる場合がある。一部の実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。

本明細書で説明される一部の実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（又は、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増大を検出したことに少なくとも部分的に基づいて検出される。一部の実施形態では、それぞれの動作は、押圧入力強度閾値を上回る、対応する接触の強度の増大（例えば、対応する押圧入力の「ダウンストローク」）の検出に応じて実行される。一部の実施形態では、押圧入力は、押圧入力強度閾値を上回る、対応する接触の強度の増大、及び後続の、押圧入力強度閾値を下回る接触の強度の減少を含み、対応する動作は、その後続の押圧入力閾値を下回る対応する接触の強度の減少（例えば、対応する押圧入力の「アップストローク」）の検出に応じて、実行される。

一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある不測の入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関連性を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもＸ強度単位低いか、又は、ヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。したがって、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回る対応する接触の強度の増大、及び後続の、押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、対応する動作は、そのヒステリシス強度閾値を下回る、後続の対応する接触の強度の減少（例えば、対応する押圧入力の「アップストローク」）の検出に応じて、実行される。同様に、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、ヒステリシス強度以下の強度への、後続の接触の強度の減少を検出する場合にのみ検出され、対応する動作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増大、又は接触の強度の減少）に応じて、実行される。

説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力に応じて、又はその押圧入力を含むジェスチャに応じて実行される動作の説明は、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じて、任意選択的にトリガされる。更に加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が実行されるとして説明される実施例では、その動作は、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る、接触の強度の減少を検出したことに応じて任意選択的に実行される。
３．デジタルアシスタントシステム

図７Ａは、様々な実施例に係る、デジタルアシスタントシステム７００のブロック図を示す。いくつかの実施例では、デジタルアシスタントシステム７００はスタンドアロンコンピュータシステム上に実装される。いくつかの実施例では、デジタルアシスタントシステム７００は複数のコンピュータにわたって分散される。いくつかの実施例では、デジタルアシスタントのモジュール及び機能のいくつかはサーバ部分及びクライアント部分に分割される。この場合には、クライアント部分は１つ以上のユーザデバイス（例えば、デバイス１０４、デバイス１２２、デバイス２００、デバイス４００、デバイス６００、デバイス８００、デバイス９００、デバイス１０００、又はデバイス１１００）上に常駐し、例えば、図１に示すように、１つ以上のネットワークを通してサーバ部分（例えば、サーバシステム１０８）と通信する。いくつかの実施例では、デジタルアシスタントシステム７００は、図１に示したサーバシステム１０８（及び／又はＤＡサーバ１０６）の一実装形態である。デジタルアシスタントシステム７００はデジタルアシスタントシステムの単なる一実施例にすぎず、デジタルアシスタントシステム７００は、図示されているよりも多数若しくは少数の構成要素を有することができ、２つ以上の構成要素を組み合わせることができ、又は構成要素の異なる構成若しくは配置を有することができることに留意されたい。図７Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／若しくは特定用途向け集積回路を含む、ハードウェア、１つ以上のプロセッサによって実行されるソフトウェア命令、ファームウェア、又はそれらの組み合わせの形態で実装される。

デジタルアシスタントシステム７００は、メモリ７０２、１つ以上のプロセッサ７０４、入出力（Ｉ／Ｏ）インターフェース７０６、及びネットワーク通信インターフェース７０８を含む。これらの構成要素は１本以上の通信バス又は信号線７１０を介して、互いに通信することができる。

いくつかの実施例では、メモリ７０２は、高速ランダムアクセスメモリ及び／又は不揮発性コンピュータ可読記憶媒体（例えば、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性固体メモリデバイス）等、非一時的コンピュータ可読媒体を含む。

いくつかの実施例では、Ｉ／Ｏインターフェース７０６は、ディスプレイ、キーボード、タッチスクリーン、及びマイクロフォン等の、デジタルアシスタントシステム７００の入出力デバイス７１６をユーザインターフェースモジュール７２２に連結する。Ｉ／Ｏインターフェース７０６は、ユーザインターフェースモジュール７２２と協働して、ユーザ入力（例えば、音声入力、キーボード入力、タッチ入力等）を受け取り、それらを適宜に処理する。いくつかの実施例では、例えば、デジタルアシスタントが独立型ユーザデバイス上に実装される場合には、デジタルアシスタントシステム７００は、図２Ａ、図４、図６Ａ〜図６Ｂ、図８Ａ〜図８Ｂ、図９Ａ〜図９Ｂ、図１０Ａ〜図１０Ｂ、及び図１１においてそれぞれデバイス２００、デバイス４００、デバイス６００、デバイス８００、デバイス９００、デバイス１０００、又はデバイス１１００に関連して説明されている構成要素及びＩ／Ｏ通信インターフェースの任意のものを含む。いくつかの実施例では、デジタルアシスタントシステム７００はデジタルアシスタントの実施形態のサーバ部分を表し、ユーザデバイス（例えば、デバイス１０４、デバイス２００、デバイス４００、デバイス６００、デバイス８００、デバイス９００、デバイス１０００、又はデバイス１１００）上に常駐するクライアント側部分を通してユーザと対話することができる。

いくつかの実施例では、ネットワーク通信インターフェース７０８は、有線通信ポート（単数又は複数）７１２及び／又は無線送受信回路７１４を含む。有線通信ポート（単数又は複数）は、１つ以上の有線インターフェース、例えば、イーサネット（登録商標）、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）等を介して通信信号を受信及び送信する。無線回路７１４は、通信ネットワーク及び他の通信デバイスを起点／終点として、ＲＦ信号及び／又は光信号を受信及び送信する。無線通信は、ＧＳＭ（登録商標）、ＥＤＧＥ、ＣＤＭＡ、ＴＤＭＡ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、ＶｏＩＰ、Ｗｉ−ＭＡＸ（登録商標）、あるいは任意のその他の好適な通信プロトコル等の、複数の通信規格、プロトコル及び技術のうちの任意のものを使用する。ネットワーク通信インターフェース７０８は、インターネット、イントラネット等のネットワーク、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）等の無線ネットワーク、及び／又はメトロポリタンエリアネットワーク（Metropolitan Area Network、ＭＡＮ）を用いた、デジタルアシスタントシステム７００と他のデバイスとの間の通信を可能にする。

いくつかの実施例では、メモリ７０２、又はメモリ７０２のコンピュータ可読記憶媒体は、オペレーティングシステム７１８、通信モジュール７２０、ユーザインターフェースモジュール７２２、１つ以上のアプリケーション７２４、及びデジタルアシスタントモジュール７２６のすべて又はサブセットを含むプログラム、モジュール、命令、及びデータ構造を記憶する。詳細には、メモリ７０２又はメモリ７０２のコンピュータ可読記憶媒体は、以下で説明するプロセスを実行する命令を記憶する。１つ以上のプロセッサ７０４はこれらのプログラム、モジュール、及び命令を実行し、データ構造から／への読み出し／書き込みを行う。

オペレーティングシステム７１８（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ｉＯＳ（登録商標）、ＯＳ Ｘ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ等の組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶装置制御、電力管理等）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、種々のハードウェア、ファームウェア、及びソフトウェア構成要素間の通信を可能にする。

通信モジュール７２０は、ネットワーク通信インターフェース７０８上でのデジタルアシスタントシステム７００と他のデバイスとの間の通信を可能にする。例えば、通信モジュール７２０は、図２Ａ、図４、図６Ａ〜図６Ｂにそれぞれ示すデバイス２００、デバイス４００、及びデバイス６００等の電子デバイスのＲＦ回路２０８と通信する。通信モジュール７２０はまた、無線回路機構７１４及び／又は有線通信ポート７１２によって受信されたデータを処理するための種々の構成要素も含む。

ユーザインターフェースモジュール７２２はＩ／Ｏインターフェース７０６を介して（例えば、キーボード、タッチスクリーン、ポインティングデバイス、コントローラ、及び／又はマイクロフォンから）ユーザからのコマンド及び／又は入力を受け取り、ディスプレイ上にユーザインターフェースオブジェクトを生成する。ユーザインターフェースモジュール７２２はまた、Ｉ／Ｏインターフェース７０６を介した（例えば、ディスプレイ、オーディオチャネル、スピーカ、タッチパッド等を通じて）ユーザへの出力（例えば、発語、音声、アニメーション、テキスト、アイコン、振動、触覚フィードバック、光等）も準備及び配信する。

アプリケーション７２４は、１つ以上のプロセッサ７０４により実行されるように構成されたプログラム及び／又はモジュールを含む。例えば、デジタルアシスタントシステムがスタンドアロンのユーザデバイス上に実装される場合には、アプリケーション７２４は、ゲーム、カレンダアプリケーション、ナビゲーションアプリケーション、又は電子メールアプリケーション等の、ユーザアプリケーションを含む。デジタルアシスタントシステム７００がサーバ上に実装される場合には、アプリケーション７２４は、例えば、リソース管理アプリケーション、診断アプリケーション、又はスケジューリングアプリケーションを含む。

メモリ７０２はまた、デジタルアシスタントモジュール７２６（又はデジタルアシスタントのサーバ部分）も記憶する。いくつかの実施例では、デジタルアシスタントモジュール７２６は、以下のサブモジュール、又はそれらのサブセット若しくはスーパーセットを含む：入出力処理モジュール７２８、音声テキスト化（Ｓpeech−Ｔo−Ｔext、ＳＴＴ）処理モジュール７３０、自然言語処理モジュール７３２、ダイアログフロー処理モジュール７３４、タスクフロー処理モジュール７３６、サービス処理モジュール７３８、及び音声合成モジュール７４０。これらのモジュールの各々は、デジタルアシスタントモジュール７２６の以下のシステム又はデータ及びモデルのうちの１つ以上、又はそれらのサブセット若しくはスーパーセットへのアクセスを有する：オントロジ７６０、語彙索引７４４、ユーザデータ７４８、タスクフローモデル７５４、サービスモデル７５６、及びＡＳＲシステム。

いくつかの実施例では、デジタルアシスタントモジュール７２６内に実装された処理モジュール、データ、及びモデルを用いて、デジタルアシスタントは以下のもののうちの少なくともいくつかを実行することができる：音声入力をテキストに変換すること、ユーザから受信した自然言語入力内に表現されているユーザの意図を特定すること、ユーザの意図を完全に推測するために必要な情報を（例えば、単語、ゲーム、意図等の曖昧さを除去することによって）能動的に引き出し、取得すること、推測された意図を満たすためのタスクフローを判定すること、及び、そのタスクフローを実行し、推測された意図を満たすこと。

いくつかの実施例では、図７Ｂに示すように、Ｉ／Ｏ処理モジュール７２８は、ユーザ入力（例えば、音声入力）を取得するため、及びユーザ入力への応答を（例えば、音声出力として）提供するために、図７ＡにおけるＩ／Ｏデバイス７１６を通してユーザと対話するか、又は、図７Ａにおけるネットワーク通信インターフェース７０８を通してユーザデバイス（例えば、デバイス１０４、デバイス２００、デバイス４００、又はデバイス６００）と対話する。Ｉ／Ｏ処理モジュール７２８は、ユーザ入力と共に、又はその受信の直後に、ユーザ入力に関連付けられるコンテキスト情報をユーザデバイスから任意選択的に取得する。コンテキスト情報は、ユーザ入力に関連するユーザ固有のデータ、語彙、及び／又は嗜好を含む。いくつかの実施例では、コンテキスト情報はまた、ユーザ要求が受信された時点におけるユーザデバイスのソフトウェア及びハードウェア状態、並びに／又はユーザ要求が受信された時点におけるユーザの周囲環境に関する情報も含む。いくつかの実施例では、Ｉ／Ｏ処理モジュール７２８はまた、ユーザ要求について、ユーザに補足質問を送信し、ユーザから回答を受信する。ユーザ要求がＩ／Ｏ処理モジュール７２８によって受信され、そのユーザ要求が音声入力を含んでいる場合、Ｉ／Ｏ処理モジュール７２８は、音声テキスト化変換のために、その音声入力をＳＴＴ処理モジュール７３０（又は音声レコナイザ）へ転送する。

ＳＴＴ処理モジュール７３０は１つ以上のＡＳＲシステムを含む。１つ以上のＡＳＲシステムは、Ｉ／Ｏ処理モジュール７２８を介して受信した音声入力を処理して、認識結果を生成することができる。各ＡＳＲシステムは、フロントエンド音声プリプロセッサを含む。フロントエンド音声プリプロセッサは、音声入力から代表的な特徴を抽出する。例えば、フロントエンド音声プリプロセッサは、音声入力を代表的な多次元ベクトルの列として特徴付けるスペクトルの特徴を抽出するために、音声入力に対してフーリエ変換を実行する。更に、各ＡＳＲシステムは、１つ以上の音声認識モデル（例えば、音響モデル及び／又は言語モデル）を含み、１つ以上の音声認識エンジンを実装する。音声認識モデルの実施例は、隠れマルコフモデル、混合ガウスモデル、ディープニューラルネットワークモデル、ｎグラム言語モデル、及び他の統計モデルを含む。音声認識エンジンの実施例は、動的時間伸縮ベースのエンジン及び重み付き有限状態トランスデューサ（Weighted Finite−State Transducers、ＷＦＳＴ）ベースのエンジンを含む。フロントエンド音声プリプロセッサの抽出された代表的な特徴を処理して、中間認識結果（例えば、音素、音素文字列及びサブワード）を生成し、最終的には、テキスト認識結果（例えば、単語、単語文字列、又はトークンの列）を生成するために、１つ以上の音声認識モデル及び１つ以上の音声認識エンジンが使用される。いくつかの実施例では、音声入力は、認識結果を生成するために、サードパーティサービスによって、又はユーザのデバイス（例えば、デバイス１０４、デバイス２００、デバイス４００、又はデバイス６００）上で少なくとも部分的に処理される。ＳＴＴ処理モジュール７３０が、テキスト文字列（例えば、単語、又は単語の列、又はトークンの列）を包含する認識結果を生成すると、認識結果は意図推論のために自然言語処理モジュール７３２に渡される。いくつかの例では、ＳＴＴ処理モジュール７３０は、音声入力の複数の候補テキスト表現を生成する。各候補テキスト表現は、音声入力に対応する単語又はトークンの列である。いくつかの例では、各候補テキスト表現は、音声認識信頼度スコアに関連付けられる。ＳＴＴ処理モジュール７３０は、音声認識信頼度スコアに基づいて、候補テキスト表現をランク付けし、最良のｎ個（例えば、最上位のｎ個）の候補テキスト表現（単数又は複数）を意図推論のために自然言語処理モジュール７３２に提供し、ｎはゼロより大きい既定の整数である。例えば、１つの例において、最上位の１個（ｎ＝１）の候補テキスト表現のみが、意図推論のために自然言語処理モジュール７３２に渡される。別の例では、最上位の５個（ｎ＝５）の候補テキスト表現が、意図推論のために自然言語処理モジュール７３２に渡される。

音声テキスト化処理についての更なる詳細が、２０１１年９月２０日に出願された、「Ｃｏｎｓｏｌｉｄａｔｉｎｇ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ Ｒｅｓｕｌｔｓ」についての米国実用特許出願第１３／２３６，９４２号に記載されている。同出願の開示全体は本明細書において参照により組み込まれている。

いくつかの実施例では、ＳＴＴ処理モジュール７３０は、認識可能な単語の語彙を含み、かつ／又は、音標アルファベット変換モジュール７３１を介してそれにアクセスする。各語彙語は、１つ以上の音声認識音標アルファベットで表される単語の発音候補と関連付けられる。詳細には、認識可能な単語の語彙は、複数の発音候補に関連付けられた単語を含む。例えば、語彙は、発音候補
に関連付けられた単語「トマト」を含む。更に、語彙語は、ユーザからの以前の音声入力に基づくカスタム発音候補に関連付けられる。そのようなカスタム発音候補は、ＳＴＴ処理モジュール７３０に記憶され、デバイス上のユーザのプロファイルを介して、特定のユーザに関連付けられる。いくつかの実施例では、単語の綴り並びに１つ以上の言語規則及び／又は音標規則に基づいて、単語の発音候補が判定される。いくつかの実施例では、例えば、既知の正規発音に基づいて、発音候補が手動で生成される。

いくつかの実施例では、発音候補の一般性に基づいて、発音候補がランク付けされる。例えば、発音候補
は、
よりも高くランク付けされるが、これは、発音候補
が（例えば、全ユーザのうち、特定の地理的領域のユーザについて、又は、任意の他の適切なユーザのサブセットについて）より一般的に使用される発音だからである。いくつかの実施例では、発音候補が、ユーザに関連付けられたカスタム発音候補であるかどうかに基づいて、その発音候補がランク付けされる。例えば、カスタム発音候補は、正規発音候補よりも高くランク付けされる。このことは、正規発音から逸脱して独特の発音を有する固有名詞を認識するために有用であり得る。いくつかの実施例では、発音候補は、出身地、国籍又は民族性等の１つ以上の音声特性と関連付けられる。例えば、発音候補
は米国と関連付けられるのに対し、発音候補
は英国と関連付けられる。更に、発音候補のランクは、デバイス上のユーザのプロファイルに記憶されたユーザの１つ以上の特性（例えば、出身地、国籍、民族等）に基づく。例えば、ユーザのプロファイルから、ユーザが米国に関連付けられていることを判定することができる。ユーザが米国に関連付けられていることに基づいて、（米国に関連付けられた）発音候補
が、（英国に関連付けられた）発音候補
よりも高くランク付けされる。いくつかの実施例では、ランク付けされた発音候補のうちの１つが、予測された発音（例えば、最も可能性が高い発音）として選択される。

音声入力が受信されると、ＳＴＴ処理モジュール７３０が、音声入力に対応する音素を（例えば、音響モデルを用いて）決定し、次に、音素に一致する単語を（例えば、言語モデルを用いて）決定することを試みるために使用される。例えば、ＳＴＴ処理モジュール７３０は、音声入力の一部分に対応する音素の列
を最初に特定した場合、語彙インデックス７４４に基づいて、この音素の列が単語「トマト」に対応すると判定することができる。

いくつかの実施例では、ＳＴＴ処理モジュール７３０は、近似マッチング技法を使用して、発言内の単語を判定する。したがって、例えば、ＳＴＴ処理モジュール７３０は、特定の音素の列が、単語「トマト」の候補音素の列のうちの１つではない場合でも、音素の列
が単語「トマト」に対応すると判定する。

デジタルアシスタントの自然言語処理モジュール７３２（「自然言語プロセッサ」）は、ＳＴＴ処理モジュール７３０によって生成された最良のｎ個の候補テキスト表現（単数又は複数）（「単語列（単数又は複数）」又は「トークン列（単数又は複数）」）を受け取り、各候補テキスト表現を、デジタルアシスタントにより認識される１つ以上の「実施可能な意図」に関連付けようと試みる。「実施可能な意図」（又は「ユーザの意図」）は、デジタルアシスタントにより実行することができるタスクを表し、タスクフローモデル７５４内に実装される、関連付けられたタスクフローを有することができる。関連付けられたタスクフローは、タスクを実行するためにデジタルアシスタントが取る一連のプログラムされたアクション及びステップである。デジタルアシスタントの能力の範囲は、タスクフローモデル７５４内に実装され、記憶されているタスクフローの数及び種類に依存し、又は、換言すれば、デジタルアシスタントが認識する「実施可能な意図」の数及び種類に依存する。しかし、デジタルアシスタントの有効性はまた、自然言語で表現されたユーザ要求から正しい「実施可能な意図（単数又は複数）」を推定するアシスタントの能力にも依存する。

いくつかの実施例では、ＳＴＴ処理モジュール７３０から取得される単語又はトークン列に加えて、自然言語処理モジュール７３２はまた、例えば、Ｉ／Ｏ処理モジュール７２８から、ユーザ要求に関連付けられるコンテキスト情報も受信する。自然言語処理モジュール７３２は、任意選択的に、コンテキスト情報を使用して、ＳＴＴ処理モジュール７３０から受信した候補テキスト表現内に包含されている情報を明らかにし、補完し、かつ／又は更に定義する。コンテキスト情報は、例えば、ユーザの嗜好、ユーザデバイスのハードウェア及び／又はソフトウェア状態、ユーザ要求の前、最中、又は直後に集められたセンサ情報、デジタルアシスタントとユーザとの間の以前の対話（例えば、ダイアログ）等を含む。本明細書で説明するように、コンテキスト情報は、いくつかの実施例では動的であり、かつ時間、場所、ダイアログの内容及び他の因子によって変化する。

いくつかの実施例では、自然言語処理は、例えばオントロジ７６０に基づく。オントロジ７６０は、多数のノードを包含する階層構造であり、各ノードは、「実施可能な意図群」又はその他の「属性群」のうちの１つ以上に関連する「実施可能な意図」又は「属性」のいずれかを表す。上述したように、「実施可能な意図」は、デジタルアシスタントが実行可能なタスク、すなわち、「実施可能」であるか、又はアクションを及ぼされ得るタスクを表す。「属性」は、実施可能な意図、又は別の属性の下位態様に関連付けられるパラメータを表す。オントロジ７６０内の実施可能な意図ノードと属性ノードとの間のリンクは、属性ノードによって表されるパラメータが、実施可能な意図ノードによって表されるタスクにどのように関連するのかを定義する。

いくつかの実施例では、オントロジ７６０は実施可能な意図ノード及び属性ノードで構成される。オントロジ７６０内において、それぞれの実施可能な意図ノードは１つ以上の属性ノードに直接又は１つ以上の中間属性ノードを介してリンクされる。同様に、それぞれの属性ノードは、１つ以上の実施可能な意図ノードに直接又は１つ以上の中間属性ノードを介してリンクされる。例えば、図７Ｃに示すように、オントロジ７６０は、「レストラン予約」ノード（すなわち、実施可能な意図ノード）を含む。属性ノードである「レストラン」、「日付／時間」（予約用）及び「参加人数」が、実施可能な意図ノード（すなわち、「レストラン予約」ノード）にそれぞれ直接に接続される。

更に、属性ノードである「料理」、「価格帯」、「電話番号」及び「ロケーション」は、属性ノード「レストラン」のサブノードであり、中間属性ノード「レストラン」を介して「レストラン予約」ノード（すなわち、実施可能な意図ノード）にそれぞれ接続される。別の例として、図７Ｃに示すように、オントロジ７６０は「リマインダ設定」ノード（すなわち、別の実施可能な意図ノード）も含む。属性ノード「日付／時間」（リマインダ設定用）及び「テーマ」（リマインダ用）は、「リマインダ設定」ノードにそれぞれリンクされる。属性ノード「日付／時間」は、レストラン予約をするタスク及びリマインダを設定するタスクの両方に関連しているため、属性ノード「日付／時間」はオントロジ７６０内において「レストラン予約」ノード及び「リマインダ設定」ノードの両方にリンクされる。

実施可能な意図ノードは、そのリンクされた属性ノードと共に、「ドメイン」として説明される。本説明では、各ドメインは、それぞれの実施可能な意図に関連付けられ、特定の実施可能な意図に関連付けられたノードのグループ（及びノード間の関係）を指す。例えば、図７Ｃに示すオントロジ７６０は、オントロジ７６０内のレストラン予約ドメイン７６２の例及びリマインダドメイン７６４の例を含む。レストラン予約ドメインは、実施可能な意図ノード「レストラン予約」、属性ノード「レストラン」、「日付／時間」、及び「参加人数」、並びに下位属性ノード「料理」、「価格帯」、「電話番号」及び「ロケーション」を含む。リマインダドメイン７６４には、実施可能な意図ノード「リマインダ設定」、及び属性ノード「テーマ」及び「日付／時間」が含まれている。いくつかの実施例では、オントロジ７６０は多くのドメインで構成される。各ドメインは、１つ以上の他のドメインと、１つ以上の属性ノードを共有する。例えば、「日付／時間」属性ノードは、レストラン予約ドメイン７６２及びリマインダドメイン７６４に加えて、多くの異なるドメイン（例えば、スケジューリングドメイン、旅行予約ドメイン、映画チケットドメイン等）に関連付けられる。

図７Ｃは、オントロジ７６０内に２つの例示的なドメインを示すが、他のドメインとして、例えば、「映画を探す」、「電話をかける」、「道順を探す」、「会議をスケジュールする」、「メッセージを送信する」、及び「質問の答えを提供する」、「リストを読み上げる」、「ナビゲーションの指示を提供する」、「タスクの手順を提供する」等が挙げられ得る。「メッセージを送信する」のドメインは、「メッセージを送信する」の実施可能な意図ノードに関連付けられ、「受信者（単数又は複数）」、「メッセージタイプ」、及び「メッセージ本文」等の属性ノードを更に含む。属性ノード「受信者」は、例えば、「受信者名」及び「メッセージアドレス」等の下位属性ノードによって更に定義される。

いくつかの実施例では、オントロジ７６０は、デジタルアシスタントが理解し、作用を及ぼすことができるすべてのドメイン（したがって実施可能な意図）を含む。いくつかの実施例では、オントロジ７６０は、ドメイン若しくはノード全体を追加若しくは除去すること、又はオントロジ７６０内のノード間の関係を変更すること等によって、修正される。

いくつかの実施例では、複数の関連する実施可能な意図に関連付けられるノードは、オントロジ７６０内の「上位ドメイン」の下にクラスタ化される。例えば、「旅行」上位ドメインは、旅行に関連する属性ノード及び実施可能な意図ノードのクラスタを含む。旅行に関連する実施可能な意図ノードは、「航空券予約」、「ホテル予約」、「カーレンタル」、「道順を知る」、「興味のある場所を探す」等を含む。同じ上位ドメイン（例えば、「旅行」上位ドメイン）の下の実施可能な意図ノードは、多くの属性ノードを共有する。例えば、「航空券予約」、「ホテル予約」、「カーレンタル」、「道順を知る」、及び「興味のある場所を探す」についての実施可能な意図ノードは、属性ノードである「出発場所」、「目的地」、「出発日／時間」、「到着日／時間」、及び「参加人数」のうちの１つ以上を共有する。

いくつかの実施例では、オントロジ７６０内の各ノードは、そのノードによって表される属性又は実施可能な意図に関連する単語及び／又はフレーズのセットに関連付けられる。各ノードに関連付けられる単語及び／又はフレーズのそれぞれのセットは、そのノードに関連付けられるいわゆる「語彙」である。各ノードに関連付けられる単語及び／又はフレーズのそれぞれのセットは、ノードによって表される属性又は実施可能な意図に関連して語彙索引７４４内に記憶される。例えば、図７Ｂに戻ると、「レストラン」の属性についてのノードに関連付けられる語彙は、「食べ物」、「飲み物」、「料理」、「空腹」、「食べる」、「ピザ」、「ファストフード」、「食事」等の単語を含む。別の例として、「通話を開始する（initiate a phone call）」という実施可能な意図のノードに関連付けられる語彙は、「電話する（call）」、「電話（phone）」、「ダイヤルする（dial）」、「電話をかける（ring）」、「この番号に電話する（call this number）」、「〜に電話をかける（make a call to）」等の単語及びフレーズを含む。語彙索引７４４は異なる言語の単語及びフレーズを任意選択的に含む。

自然言語処理モジュール７３２は、ＳＴＴ処理モジュール７３０から候補テキスト表現（例えば、テキスト列（単数又は複数）又はトークン列（単数又は複数））を受け取り、候補表現ごとに、候補テキスト表現内の単語にどのノードが関係しているかを決定する。いくつかの実施例では、候補テキスト表現内の単語又はフレーズが（語彙索引７４４を介して）オントロジ７６０内の１つ以上のノードに関連付けられていることがわかった場合、その単語又はフレーズが、それらのノードを「トリガ」又は「アクティブ化」する。アクティブ化されたノードの量及び／又は相対的重要度に基づき、自然言語処理モジュール７３２は、ユーザがデジタルアシスタントに実行させようと意図したタスクとして、実施可能な意図のうちの１つを選択する。いくつかの実施例では、最も多く「トリガされた」ノードを有するドメインが選択される。いくつかの実施例では、最も高い信頼値（例えば、その種々のトリガされたノードの相対的重要度に基づく）を有するドメインが選択される。いくつかの実施例では、ドメインは、トリガされたノードの数及び重要度の組み合わせに基づき選択される。いくつかの実施例では、ノードを選択する際には、デジタルアシスタントはユーザからの同様の要求を以前に正確に解釈したかどうか等の追加の因子も考慮される。

ユーザデータ７４８は、ユーザ固有語彙、ユーザの嗜好、ユーザアドレス、ユーザの既定言語及び第二言語、ユーザの連絡先リスト、並びに各ユーザに関するその他の短期的又は長期的情報等の、ユーザ固有の情報を含む。いくつかの実施例では、自然言語処理モジュール７３２は、ユーザ入力内に包含されている情報を補完してユーザ意図を更に明確にするために、ユーザ固有の情報を使用する。例えば、ユーザ要求「私の誕生日パーティに私の友人を招待してほしい」に対して、自然言語処理モジュール７３２は、誰が「友人」であり、いつ及びどこで「誕生日パーティ」が催されるのであろうかを判定するために、こうした情報をユーザの要求内で明示的に提供するようにユーザに要請する代わりに、ユーザデータ７４８にアクセスすることができる。

いくつかの実施例では、自然言語処理モジュール７３２が、１つ以上の機械学習機構（例えば、ニューラルネットワーク）を用いて実装されるということが認識されるべきである。具体的には、１つ以上の機械学習機構は、候補テキスト表現と、候補テキスト表現に関連付けられたコンテキスト情報とを受け取るように構成される。１つ以上の機械学習機構は、候補テキスト表現及び関連するコンテキスト情報に基づいて、実施可能な意図の候補のセットにわたる意図信頼度スコアを決定するように構成される。自然言語処理モジュール７３２は、決定された意図信頼度スコアに基づいて、実施可能な意図の候補のセットから１つ以上の実施可能な意図の候補を選択することができる。また、いくつかの実施例では、オントロジ（例えば、オントロジ７６０）が、１つ以上の実施可能な意図の候補を実施可能な意図の候補のセットから選択するために使用される。

トークン文字列に基づくオントロジ検索のその他の詳細が、２００８年１２月２２日出願の「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｓｅａｒｃｈｉｎｇ Ｕｓｉｎｇ ａｎ Ａｃｔｉｖｅ Ｏｎｔｏｌｏｇｙ」に対する米国実用特許出願第１２／３４１，７４３号に記載されている。同出願の開示全体は本明細書において参照により組み込まれている。

いくつかの実施例では、自然言語処理モジュール７３２が、ユーザ要求に基づいて、実施可能な意図（又はドメイン）を特定すると、自然言語処理モジュール７３２は、特定された実施可能な意図を表すように、構造化されたクエリを生成する。いくつかの実施例では、構造化されたクエリは、実施可能な意図のためのドメイン内の１つ以上のノードのためのパラメータを含み、パラメータの少なくとも一部には、ユーザ要求内で指定される特定の情報及び要求事項が入力される。例えば、ユーザが「私のために７時に寿司屋で夕食の予約を取ってください」と言うとする。この場合、自然言語処理モジュール７３２は、ユーザ入力に基づき、実施可能な意図を「レストラン予約」であると正確に特定することができる。オントロジによれば、「レストラン予約」ドメインのための構造化されたクエリは、｛料理｝、｛時間｝、｛日付｝、｛参加人数｝、及び同様のもの等のパラメータを含む。いくつかの実施例では、音声入力、及びＳＴＴ処理モジュール７３０を用いて音声入力から導き出されたテキストに基づいて、自然言語処理モジュール７３２は、レストラン予約ドメインのための部分的な構造化されたクエリを生成する。この場合、部分的な構造化されたクエリはパラメータ｛料理＝「寿司」｝及びパラメータ｛時間＝「午後７時」｝を含む。しかし、本例では、ユーザの発言は、ドメインに関連付けられる構造化されたクエリを完成するために十分な情報を包含していない。したがって、｛参加人数｝及び｛日付｝等のその他の必要パラメータは、現在利用可能な情報に基づいては、構造化されたクエリ内に指定されない。いくつかの実施では、自然言語処理モジュール７３２は、構造化されたクエリのいくつかのパラメータに、受信したコンテキスト情報を入力する。例えば、いくつかの実施例では、ユーザが「私の近くの」寿司レストランを要求した場合、自然言語処理モジュール７３２は、構造化されたクエリ内の｛ロケーション｝パラメータにユーザデバイスからのＧＰＳ座標を入力する。

いくつかの例では、自然言語処理モジュール７３２は、ＳＴＴ処理モジュール７３０から受信した候補テキスト表現ごとに、複数の実施可能な意図の候補を特定する。更にいくつかの例では、特定された実施可能な意図の候補ごとに、（部分的又は完全な）構造化されたクエリがそれぞれ生成される。自然言語処理モジュール７３２は、実施可能な意図の候補ごとに意図信頼度スコアを決定し、その意図信頼度スコアに基づいて実施可能な意図の候補をランク付けする。いくつかの実施例では、自然言語処理モジュール７３２は、任意の完成したパラメータを含む生成した構造化されたクエリ（単数又は複数）を、タスクフロー処理モジュール７３６（「タスクフロープロセッサ」）に渡す。いくつかの実施例では、最良のｍ個（例えば、最上位のｍ個）の実施可能な意図の候補のための構造化されたクエリ（単数又は複数）がタスクフロー処理モジュール７３６に提供され、ｍはゼロより大きい既定の整数である。いくつかの実施例では、最良のｍ個の実施可能な意図の候補のための構造化されたクエリ（単数又は複数）が、対応する候補テキスト表現（単数又は複数）と共に、タスクフロー処理モジュール７３６に提供される。

音声入力の複数の候補テキスト表現から決定された複数の実施可能な意図の候補に基づくユーザの意図の推測に関するその他の詳細は、２０１４年６月６日に出願された米国実用特許出願第１４／２９８，７２５号「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｆｅｒｒｉｎｇ Ｕｓｅｒ Ｉｎｔｅｎｔ Ｆｒｏｍ Ｓｐｅｅｃｈ Ｉｎｐｕｔｓ」に記載されており、同出願の開示全体は本明細書において参照により組み込まれている。

タスクフロー処理モジュール７３６は、自然言語処理モジュール７３２から、構造化されたクエリ（単数又は複数）を受信し、必要ならば、構造化されたクエリを完成させ、ユーザの最終的な要求を「完了する」ために必要とされるアクションを実行するように構成される。いくつかの実施例では、これらのタスクを完了させるために必要な様々な手順がタスクフローモデル７５４内で提供される。いくつかの実施例では、タスクフローモデル７５４は、ユーザから追加情報を取得するための手順、及び実施可能な意図に関連付けられるアクションを実行するためのタスクフローを含む。

上述したように、構造化されたクエリを完成させるために、タスクフロー処理モジュール７３６は、追加情報を取得し、かつ／又は潜在的に曖昧な発言の曖昧性を回避するために、ユーザとの追加のダイアログを開始することが必要になる。このような対話が必要となる場合には、タスクフロー処理モジュール７３６は、ユーザとのダイアログに携わるためにダイアログフロー処理モジュール７３４を呼び出す。いくつかの実施例では、ダイアログフロー処理モジュール７３４は、どのように（及び／又はいつ）ユーザに追加情報を求めるべきかを決定し、ユーザ応答を受信し、これらを処理する。Ｉ／Ｏ処理モジュール７２８を通じてユーザに質問が提供され、ユーザから回答が受け取られる。いくつかの実施例では、ダイアログフロー処理モジュール７３４は、音声及び／又は視覚出力を介してユーザにダイアログ出力を提示し、口頭の応答又は物理的な（例えば、クリック）応答を介してユーザから入力を受信する。上述の例を続けると、タスクフロー処理モジュール７３６が、ドメイン「レストラン予約」に関連付けられる構造化されたクエリについての「参加人数」及び「日付」情報を決定するためにダイアログフロー処理モジュール７３４を呼び出すと、ダイアログフロー処理モジュール７３４は、「何人分ですか？」及び「どの日にしますか？」等の質問を、ユーザに渡すために生成する。ユーザから回答が受信されると、次に、ダイアログフロー処理モジュール７３４は、構造化されたクエリに、欠けている情報を入力するか、又は構造化されたクエリから欠けている情報を完成させるために、その情報をタスクフロー処理モジュール７３６に渡す。

タスクフロー処理モジュール７３６が、実施可能な意図のための構造化されたクエリを完成すると、タスクフロー処理モジュール７３６は、実施可能な意図に関連付けられる最終的なタスクの実行に進む。それに応じて、タスクフロー処理モジュール７３６は、構造化されたクエリ内に包含されている具体的なパラメータに応じて、タスクフローモデル内のステップ及び命令を実行する。例えば、「レストラン予約」の実施可能な意図のためのタスクフローモデルは、レストランと連絡を取り、特定の時間に特定の参加人数のための予約を実際に希望するためのステップ及び命令を含む。例えば、｛レストラン予約、レストラン＝ＡＢＣ Ｃａｆｅ、日付＝３／１２／２０１２、時間＝午後７時、参加人数＝５｝、等の構造化されたクエリを用いて、タスクフロー処理モジュール７３６は、（１）ＡＢＣ Ｃａｆｅのサーバ、又はＯＰＥＮＴＡＢＬＥ（登録商標）等のレストラン予約システムにログオンするステップと、（２）ウェブサイト上のフォーム内に日付、時間、及び参加人数情報を入力するステップと、（３）フォームを送信するステップと、（４）ユーザのカレンダ内に予約のためのカレンダ項目を記入するステップと、を実行する。

いくつかの実施例では、タスクフロー処理モジュール７３６は、ユーザ入力で要求されたタスクを完了するために、又はユーザ入力で要求された情報の回答を提供するために、サービス処理モジュール７３８（「サービス処理モジュール」）の支援を採用する。例えば、サービス処理モジュール７３８は、電話をかけるため、カレンダ項目を設定するため、マップ検索を呼び出すため、ユーザデバイス上にインストールされているその他のユーザアプリケーションを呼び出すか又はそれと対話するため、及びサードパーティサービス（例えばレストラン予約ポータル、ソーシャルネットワーキングウェブサイト、バンキングポータル等）を呼び出すか又はそれと対話するために、タスクフロー処理モジュール７３６の代わりに動作する。いくつかの実施例では、各サービスによって必要とされるプロトコル及びアプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）は、サービスモデル７５６の中のそれぞれのサービスモデルによって指定される。サービス処理モジュール７３８は、サービスに適したサービスモデルにアクセスし、サービスモデルに従ってサービスによって必要とされるプロトコル及びＡＰＩに従ってサービスの要求を生成する。

例えば、レストランがオンライン予約サービスを可能にしている場合には、レストランは、予約を行うために必要なパラメータ、及び必要なパラメータの値をオンライン予約サービスへ伝達するためのＡＰＩを指定するサービスモデルを提出する。タスクフロー処理モジュール７３６によって要求されると、サービス処理モジュール７３８は、サービスモデルに記憶されているウェブアドレスを用いて、オンライン予約サービスとのネットワーク接続を確立し、必要な予約のパラメータ（例えば、時間、日付、参加人数）を、オンライン予約サービスのＡＰＩに従う形式でオンライン予約インターフェースへ送信する。

いくつかの実施例では、ユーザの意図を推定して明確にし、ユーザ意図を更に明らかにして絞り込むための情報を入手し、ユーザの意図を達成するべく応答（すなわち、ユーザへの出力又はタスクの完了）を最終的に生成するために、自然言語処理モジュール７３２、ダイアログフロー処理モジュール７３４、及びタスクフロー処理モジュール７３６が集合的かつ反復的に使用される。生成された応答は、ユーザの意図を少なくとも部分的に達成する、音声入力へのダイアログ応答になる。更に、いくつかの実施例では、生成された応答は、音声出力として出力される。これらの実施例では、生成された応答は、音声合成モジュール７４０（例えば、音声合成器）に送信され、そこで、生成された応答を処理して、音声形態のダイアログ応答を合成することができる。更に他の実施例では、生成された応答は、音声入力のユーザ要求を満たすことに関連するデータコンテンツになる。

タスクフロー処理モジュール７３６が自然言語処理モジュール７３２から複数の構造化されたクエリを受信する例において、タスクフロー処理モジュール７３６は、受信された構造化されたクエリのうちの第１の構造化されたクエリを最初に処理し、第１の構造化されたクエリを完成させようとするか、かつ／又は第１の構造化されたクエリによって表される１つ以上のタスク又はアクションを実行しようとする。いくつかの実施例では、第１の構造化されたクエリは、最上位の実施可能な意図に対応する。他の実施例では、第１の構造化されたクエリは、対応する音声認識信頼度スコアと対応する意図信頼度スコアとの組み合わせに基づいて、受信された構造化されたクエリから選択される。いくつかの実施例では、タスクフロー処理モジュール７３６で、（例えば、必要なパラメータを決定できないことにより）第１の構造化されたクエリ処理中にエラーが発生した場合、タスクフロー処理モジュール７３６は、下位の実施可能な意図に対応する、受信された構造化されたクエリのうちの第２の構造化されたクエリを選択して処理することができる。第２の構造化されたクエリは、例えば、対応する候補テキスト表現の音声認識信頼度スコア、対応する実施可能な意図の候補の意図信頼度スコア、第１の構造化されたクエリ内で欠落している必要なパラメータ、又はこれらの任意の組み合わせに基づいて選択される。

音声合成モジュール７４０は、ユーザに提示するために、音声出力を合成するように構成される。音声合成モジュール７４０は、デジタルアシスタントにより提供されたテキストに基づいて、音声出力を合成する。例えば、生成されたダイアログ応答は、テキスト文字列の形態である。音声合成モジュール７４０は、テキスト文字列を可聴の音声出力に変換する。音声合成モジュール７４０は、テキストから音声出力を生成するために、波形接続合成、単位選択合成、ダイフォン合成、分野限定合成、フォルマント合成、調音合成、隠れマルコフモデル（ＨＭＭ）ベースの合成、及びサイン波合成を含むが、これらには限定されない任意の適切な音声合成技法を使用する。いくつかの実施例では、音声合成モジュール７４０は、単語に対応する音素文字列に基づいて、個々の単語を合成するように構成される。例えば、音素文字列は、生成されたダイアログ応答中の単語に関連付けられる。音素文字列は、単語に関連付けられたメタデータ中に記憶される。音声合成モデル７４０は、単語を音声形式で合成するために、メタデータ内の音素文字列を直接処理するよう構成される。

いくつかの実施例では、音声合成モジュール７４０の使用の代わりに（又は、それに加えて）、リモートデバイス（例えば、サーバシステム１０８）上で音声合成が実行され、合成された音声が、ユーザへの出力のために、ユーザデバイスに送信される。例えば、これは、デジタルアシスタントのための出力がサーバシステムにおいて生成される、いくつかの実装形態で起こり得る。また、サーバシステムは概して、ユーザデバイスよりも多くの処理電力又はリソースを有するので、クライアント側合成を用いた実用的な出力よりも高い品質の音声出力を取得することが可能である。

デジタルアシスタントに関する追加の詳細は、その開示全体が参照により本明細書に組み込まれる、２０１１年１月１０日出願の「Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｏｍａｔｅｄ Ａｓｓｉｓｔａｎｔ」と題された米国実用特許出願第１２／９８７，９８２号、２０１１年９月３０日出願の「Ｇｅｎｅｒａｔｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ Ｔａｓｋ Ｉｔｅｍｓ Ｔｈａｔ Ｒｅｐｒｅｓｅｎｔ Ｔａｓｋｓ ｔｏ Ｐｅｒｆｏｒｍ」と題された米国実用特許出願第１３／２５１，０８８号に記載されている。
４．メディア探索のためにデジタルアシスタントの聴覚に基づくインターフェースを提供する例示的な技法

図８Ａ〜図８Ｂ、図９Ａ〜図９Ｂ、図１０Ａ〜図１０Ｂ、及び図１１は、いくつかの実施形態に係る、デジタルアシスタントを提供する例示的なユーザインターフェース（「ＵＩ」）を含む例示的な技法を示す。これらの図は、図１２〜図１５の各プロセス１２００、１３００、１４００、及び１５００を含む、以下で説明されるプロセスを例示するためにも使用される。

図８Ａは、電子デバイス８００を示す。電子デバイス８００は、いくつかの実施形態では、デバイス２００、デバイス４００、及びデバイス６００（図２Ａ、図４、図６Ａ〜図６Ｂ）の任意のものであってよい。示された実施例では、電子デバイス８００は、１つ以上のスピーカを備えた電子デバイスであるが、電子デバイスが、電話、ラップトップコンピュータ、デスクトップコンピュータ、タブレット、ウェアラブルデバイス（例えば、スマートウォッチ）、セットトップボックス、テレビ、スピーカ、又はこれらの任意組み合わせ若しくは部分的組み合わせ等の、任意の種類のデバイスであってよいということが理解されるであろう。

動作中に、電子デバイス８００は、ユーザとインテリジェント自動アシスタント（又はデジタルアシスタント）との間の自然言語音声の交換を提供する。いくつかの実施例では、交換は純粋に聴覚による。いくつかの実施例では、交換は、追加的に又は代替的に視覚（例えば、グラフィカルユーザインターフェース及び／又は１つ以上のライトインジケータによる）及び／又は触覚による。

図８Ａでは、電子デバイス８００は、電子デバイス８００のデジタルアシスタントへの要求を示す自然言語音声入力８１０を（例えば、マイクロフォンを介して）受信する。自然言語音声入力８１０は、デジタルアシスタントに向けられ得る任意の要求を含むことができる。いくつかの実施例では、自然言語音声入力は、既定のトリガフレーズ（例えば、「ヘイシリ」）を含む。いくつかの実施例では、自然言語音声入力は、メディアアイテムの要求（例えば、「Ｒｉｃｈ Ｒｕｂｉｎが作った音楽を再生する」、「ラップの曲を再生する」、「８０年代の曲を再生する」、「アップビートの曲を再生する」）を含む。図８Ａを参照すると、ユーザ８０２は、特定のアーチストのメディアアイテムに対するトリガフレーズ及び要求を含んでいる自然言語音声入力８１０「ヘイシリ、アデルによるあの新しい曲を再生する」を提供する。

いくつかの実施例では、電子デバイス８００は、自然言語音声入力８１０を処理して、１つ以上のタスクを実行する。いくつかの実施例では、このようにして自然言語音声入力８１０を処理することは、例えば、ＳＴＴ処理モジュール７３０を使用して、自然言語音声入力の１つ以上の候補テキスト表現（例えば、テキスト列）を提供することを含む。説明したように、各候補テキスト表現は音声認識信頼度スコアに関連付けられてよく、それに応じて候補テキスト表現がランク付けされてよい。他の実施例では、自然言語入力はテキスト入力（例えば、電子デバイス８００のタッチパッドを介して入力される）であり、ｎ＝１の場合の候補テキスト表現として提供される。このようにして候補テキスト表現として提供されるテキスト入力には、最大音声認識信頼度スコア、又は任意の他の音声認識信頼度スコアが割り当てられてよい。図８Ａを参照すると、デジタルアシスタントは、候補テキスト表現「ヘイシリ、アデルによるあの新しい曲を再生する」を含む１つ以上の候補テキスト表現を提供する。

いくつかの実施例では、電子デバイス８００は、例えば、自然言語処理モジュール７３２を使用して、最良のｎ個（例えば、最上位の）候補テキスト表現に基づいて１つ以上の候補意図を提供する。各候補意図は意図信頼度スコアに関連付けられてよく、それに応じて候補意図がランク付けされてよい。いくつかの実施例では、候補テキスト表現ごとに複数の候補意図が特定される。更に、いくつかの実施例では、１つ以上のパラメータを含む（部分的又は完全な）構造化されたクエリが、候補意図ごとに生成される。図８Ａを参照すると、電子デバイス８００のデジタルアシスタントは、候補テキスト表現「ヘイシリ、アデルによるあの新しい曲を再生する」に基づく「メディアアイテムの推奨を取得する」という候補意図を含む、１つ以上の候補意図を提供する。更に、電子デバイス８００のデジタルアシスタントは、｛メディアアイテムの推奨を取得する、アーチスト＝アデル、メディタイプ＝曲、期間＝新しい｝という複数のパラメータを含む構造化されたクエリを決定する。

その後、例えばタスクフロー処理モジュール７３６を使用して、最良のｍ個（例えば、最上位）の候補意図に基づいて、候補タスクが決定される。いくつかの実施例では、候補タスクは、最良のｍ個（例えば、最上位）の候補意図ごとに、構造化されたクエリに基づいて特定される。例として、説明したように、１つ以上のタスクフロー７５４等の１つ以上のタスクフローに従って、構造化されたクエリが実装されてよい。

いくつかの実施例では、電子デバイス８００は、特定されたパラメータに基づいて候補タスクを実行し、１つ以上の結果を得る。例えば、構造化されたクエリに基づいて、電子デバイス８００のタスクフロー処理モジュール（例えば、タスクフロー処理モジュール７３６）は、プログラム、メソッド、サービス、ＡＰＩ等を呼び出して、１つ以上の結果を取得する。結果としては、例えば、曲、オーディオブック、ポッドキャスト、ステーション、プレイリスト、又はこれらの任意の組み合わせを含むが、これらに限定されない、１つ以上のメディアアイテムに関する情報が挙げられる。図８Ａを参照すると、デジタルアシスタントは、構造化されたクエリ｛メディアアイテムの推奨を取得する、アーチスト＝アデル、メディタイプ＝曲、期間＝新しい｝に基づいて、検索パラメータ「アデル」、「曲」、及び「新しい」を使用して、メディア検索を実行し、「Ｈｅｌｌｏ」（以下では、「第１のメディアアイテム」と呼ぶ）というタイトルの曲を特定する。

その後、電子デバイス８００は、第１のメディアアイテムを提供する。図８Ａを参照すると、電子デバイス８００のデジタルアシスタントは、曲「Ｈｅｌｌｏ」を再生８１２している。図に示されているように、デジタルアシスタントは、第１のメディアアイテムを再生しながら、第１のメディアアイテムの説明（例えば、言葉による説明）（「これはアデルによるＨｅｌｌｏです」）を含む自然言語音声出力８１３も提供する。いくつかの実施例では、第１のメディアアイテムの再生及び第１のメディアアイテムの説明が同時に提供されてよい。

いくつかの実施例では、電子デバイス８００は、自然言語音声入力８１０に応答して、第１のメディアアイテムの一部を再生する。第１のメディアアイテムの一部は、メディアアイテムの代表サンプル（例えば、コーラス、最初の一節）であることができる。いくつかの実施例では、デジタルアシスタントは、第１のメディアアイテムに関連付けられた説明（例えば、「これはアデルによるＨｅｌｌｏです」）を示す音声出力を提供しながら、その部分（例えば、コーラス）を再生する。ユーザが肯定応答（例えば、自然言語応答）を音声出力に対して提供した場合（例えば、「わかった、これを再生する」）、電子デバイス８００は、第１のメディアアイテム全体を（例えば、最初から）再生する。本明細書では、層化オーディオ出力機構の詳細が更に説明される。

いくつかの実施例では、電子デバイス８００は、自然言語音声入力８１０に基づいて特定された複数のメディアアイテムの要約及び／又はリストを提供する（例えば、「このアーチストから多数の曲を取得しました。１０曲のうちの最初の３曲は、「Ｈｅｌｌｏ」、．．．」）。いくつかの実施例では、電子デバイス８００は、リストを提供する前に、１つ以上の提案（例えば、「何か好きな曲を聴く場合、又は次の５曲を聴く場合は、お知らせください」）を提供する。いくつかの実施例では、電子デバイスは、既定の回数の提案を提示した後に、提案を提供することを止める。例えば、電子デバイスは、同じメディアの要求に関して、「何か好きな曲を聴く場合は、お知らせください」という提案を３回提供した後に、この提案を提供することを止めることができる。メディアの推奨を提供することに関するその他の説明は、２０１６年９月２３日に出願された米国特許出願第６２／３９９，２３２号「ＩＮＴＥＬＬＩＧＥＮＴ ＡＵＴＯＭＡＴＥＤ ＡＳＳＩＳＴＡＮＴ」において提供されており、この出願は、その全体が本明細書において参照により組み込まれている。米国特許出願第６２／３９９，２３２号は、特に、メディアコンテンツを提示するための複数の形式（例えば、アルバム名、曲名等）を出力する例示的な技法について説明している。

電子デバイス８００は、メディアアイテムを再生しながら自然言語音声入力を受信することができる。図８Ａを参照すると、電子デバイス８００は、「Ｈｅｌｌｏ」という曲を再生しながら、自然言語音声入力８１４（「実は、「Ｉ’ｍ ｇｉｖｉｎｇ ｙｏｕ ｕｐ Ｉ’ｍ ｆｏｒｇｉｖｉｎｇ ｉｔ ａｌｌ」という歌詞の曲を再生する」）を受信している。いくつかの実施例では、電子デバイスは、自然言語音声入力８１４を受信することに応答して、第１のメディアアイテムの現在の再生が行われる方法（例えば、より低い音量又は速度で再生する）を調整する。オーディオ出力を調整することに関するその他の例示的記述は、２０１６年９月２３日に出願された米国特許出願第６２／３９９，２３２号「ＩＮＴＥＬＬＩＧＥＮＴ ＡＵＴＯＭＡＴＥＤ ＡＳＳＩＳＴＡＮＴ」において提供されており、この出願は、その全体が本明細書において参照により組み込まれている。米国特許出願第６２／３９９，２３２号は、特に、オーディオ出力の音量を増減すること、オーディオ出力を異なる速度で提供すること、及び／又はオーディオ入力を異なる言語で提供することを含む、オーディオ出力を調整するための例示的な技法について説明している。いくつかの実施例では、オーディオ出力は、オーディオ出力に関連付けられたユーザ入力に応答して調整される。

電子デバイス８００は、自然言語入力８１２に関して前述した内容と一致する方法で、自然言語入力８１４を処理する。具体的には、電子デバイス８００は、自然言語入力８１４に基づいて、１つ以上の候補テキスト表現、１つ以上の候補意図を提供し、最上位の候補意図に関連付けられたタスクを実行する。示された例では、自然言語音声入力８１４（「実は、「Ｉ’ｍ ｇｉｖｉｎｇ ｙｏｕ ｕｐ Ｉ’ｍ ｆｏｒｇｉｖｉｎｇ ｉｔ ａｌｌ」という歌詞の曲を再生する」）に対応する１つの候補意図が、メディアの要求を絞り込んでいる。いくつかの実施例では、候補意図は、最良のｍ個の候補意図のうちの１つである。

いくつかの実施例では、電子デバイス８００は、１つ以上の所定のフレーズ及びそれらの１つ以上のフレーズと等価の自然言語に基づいて、メディアの要求を絞り込むというユーザの意図を導き出す。所定のフレーズの例としては、「はい、しかし〜（yes,but）」、「〜はどうですか（what about）」、「〜はどうですか（how about）」、「だけ（only）」、「他に（else）」、「他の（other）」、「更に（more）」、「より少ない（less）」、「更に何か（something more）」、「より少ない何か（something less）」、「新しい曲（the new one）」、「古い曲（the old one）」、「〜という歌詞の曲（the one that goes）」、「〜のように聞こえる曲（the one that sounds like）」、「実は（actually）」、「待って（wait）」、「再生する（play）」、「いいえ（no）」、「別の（different）」、「スキップする（skip）」、及び「次へ（next）」が挙げられるが、これらに限定されない。このようにして、電子デバイス８００は、「いいえ、他に何かありますか？」、「更に何かアップビートの曲を再生する」、「他に何かを再生する」、「彼が８０年代に作った曲だけ」等の入力例を処理することができる。図８Ａを参照すると、電子デバイス８００は、自然言語音声入力８１４内の所定のフレーズ（例えば、「実は」、「再生する」、「〜という歌詞の曲」）に基づいて、メディアの要求を絞り込むというユーザの意図を導き出すことができる。自然言語入力８１４を処理する例示的な技法は、自然言語処理モジュール７３２に関して前述されている。例えば、電子デバイス８００は、自然言語入力８１４（テキスト文字列「実は、「Ｉ’ｍ ｇｉｖｉｎｇ ｙｏｕ ｕｐ Ｉ’ｍ ｆｏｒｇｉｖｉｎｇ ｉｔ ａｌｌ」という歌詞の曲を再生する」）の候補テキスト表現を（例えば、ＳＴＴ処理モジュール７３０から）受信し、候補テキスト表現内の単語に、デジタルアシスタントのオントロジ（例えば、オントロジ７６０）内のどのノードが関係しているかを決定することができる。アクティブ化されたノードの量及び／又は相対的重要度に基づいて、電子デバイス（更に具体的には、自然言語処理モジュール）は、ユーザがデジタルアシスタントに実行させようと意図したタスクとして、実施可能な意図のうちの１つを選択することができる。

いくつかの実施例では、電子デバイス８００は、コンテキスト情報に基づいて、メディアの要求を絞り込むというユーザの意図を導き出す。コンテキスト情報は、電子デバイスとの１つ以上の前回のユーザ対話（例えば、ユーザセッション）を含む。例えば、ユーザの以前の要求が、メディアの推奨（例えば、音声入力８１２）を取得するというユーザの意図に関連付けられている場合、及び／又はユーザの現在の入力が、メディア推奨ドメイン内の１つ以上の属性（例えば、属性ノード）に対応する場合、電子デバイス８００は、（例えば、１つ以上の指定された属性を使用して）以前のメディアの要求を絞り込むというユーザの意図を導き出すことができる。メディア推奨ドメイン内の属性は、アーチスト、ジャンル、歌詞、リリース日付、又は下に記載された検索パラメータのいずれかに対応することができる。図８Ａを参照すると、電子デバイス８００は、ユーザの以前の音声入力９１２及び／又は現在の音声入力（歌詞「Ｉ’ｍ ｇｉｖｉｎｇ ｙｏｕ ｕｐ Ｉ’ｍ ｆｏｒｇｉｖｉｎｇ ｉｔ ａｌｌ」）で指定された属性に基づいて、メディアの要求を絞り込むというユーザの意図を導き出すことができる。

いくつかの実施例では、電子デバイス８００は、自然言語音声入力８１４に基づいて、１つ以上の候補タスク及び対応するパラメータを特定する。図８Ａを参照すると、電子デバイス８００は、「以前のメディアの要求を絞り込む」という候補タスク、及び以前のメディアの要求を絞り込むための「Ｉ’ｍ ｇｉｖｉｎｇ ｙｏｕ ｕｐ Ｉ’ｍ ｆｏｒｇｉｖｉｎｇ ｉｔ ａｌｌ」というパラメータを特定する。

自然言語音声入力に基づいて特定されたパラメータは、メディアの要求を絞り込むために使用され得る。本明細書では、パラメータの例が提供される。いくつかの実施例では、パラメータは、メディアアイテムの歌詞の内容（例えば、「ヘイジュード」）、ジャンル（例えば、「ヒップホップ」）、曲又はアルバムのタイトル（例えば、「ホテルカリフォルニア」）、場面又は期間（例えば、季節、休日、その日の時間、１０年）、活動（例えば、トレーニング、運転、睡眠）、場所（例えば、海辺、職場、自宅、ハワイ）、雰囲気（例えば、アップビート）、アーチスト（例えば、歌手、プロデューサー）、又はこれらの任意の組み合わせに対応する。

いくつかの実施例では、パラメータは、既定のタイムフレーム内の日付（例えば、リリース日付）に対応する。例えば、電子デバイス８００は、フレーズ（及びそれらのフレーズと等価の自然言語）とタイムフレームとの間の相関関係を記憶する。例えば、電子デバイス８００は、「新しい」を１か月のタイムフレームに関連付け、「最近」を３か月のタイムフレームに関連付け、「発売された直後」及び「最新」を１週間のタイムフレームに関連付ける。

いくつかの実施例では、パラメータは、１人以上の人（例えば、対象とする視聴者）に対応する。例えば、自然言語音声入力８１４は、「私の友人は何を聴いていますか？」、「ジェーソンは何を再生していますか？」、「更に多くのエイミーの音楽を再生する」、「私の友人が好きな何かを再生する」等の、ユーザに関連付けられた人への参照を含むことができる。電子デバイス８００は、自然言語音声入力を処理して、ユーザ（例えば、「私（me）」、「私の（for me）」、「私（I）」、「私（my）」）、ユーザ以外の人（例えば、「エイミー（Amy）」）、又はこれらの任意の組み合わせ（例えば、「私たち（our）」、「私の友人及び私（my friends and me）」）を参照している単語又はフレーズを特定する。これらの単語又はフレーズに基づいて、電子デバイス８００は、１つ以上のソース（例えば、連絡先リスト、ソーシャルメディアサービス及びメディアサービス等のソフトウェアサービス）から識別情報を取得する。いくつかの実施例では、電子デバイス８００は、解釈の候補間の曖昧さをなくすようにユーザに促すこと（例えば、「Ｊｏｈｎ Ｓｍｉｔｈ又はＪｏｈｎ Ｄｏｅを意味していましたか？」）によって、識別情報を取得する。他のいくつかの実施例では、電子デバイス８００は、電子デバイスの近くの１人以上の人の物理的存在等のコンテキスト情報に基づいて、識別情報を取得する。以下では、１人以上の人の物理的存在を検出する技法について更に詳細に説明する。

いくつかの実施例では、パラメータは、メディアアイテムのソースに対応する。例えば、自然言語音声入力８１４は、メディアアイテムのコレクションへの参照を含むことができる（例えば、「私のライブラリ内には何がありますか？」、「私の週末の音楽リストから何かを再生する」）。別の実施例として、自然言語音声入力８１４は、メディアアイテムの所有者への参照を含むことができる（例えば、「ジェーソンのコレクションから何かを再生する」）。これに応答して、電子デバイス８００は、識別情報を取得し、更に、下で更に詳細に説明されるように、適切な許可設定で１つ以上のメディアアイテムを特定する。

いくつかの実施例では、電子デバイス８００は、コンテキスト情報に少なくとも部分的に基づいて、メディアの要求を絞り込むためのパラメータを特定する。前述したように、コンテキスト情報（context information）（又は、コンテキスト情報（contextual information））は、電子デバイス８００の環境に関連付けられた情報（例えば、照明、周囲ノイズ、周囲温度、周囲の環境の画像又は動画等）を含むことができる。いくつかの実施例では、コンテキスト情報は、電子デバイス８００の物理的状態（例えば、デバイスの向き、デバイスの位置、デバイスの温度、電力レベル、速度、加速度、運動パターン、セルラー信号強度等）を含む。デバイスの位置は、絶対的（例えば、ＧＰＳ座標に基づく）又は相対的（例えば、デバイスが、ユーザの居間、ガレージ、寝室内にある）であることができる。いくつかの実施例では、コンテキスト情報は電子デバイスでの現在の時刻を含む。いくつかの実施例では、コンテキスト情報は、デジタルアシスタントサーバ（例えば、ＤＡサーバ１０６）の状態に関する情報（例えば、実行中のプロセス、インストールされたプログラム、過去及び現在のネットワーク活動、バックグラウンドサービス、エラーログ、リソース使用量等）、及び電子デバイス８００の情報を含む。

いくつかの実施例では、コンテキスト情報は、電子デバイス８００へ物理的に近接している人の識別情報を含む。いくつかの実施例では、電子デバイス８００は、１つ以上のソースから情報を取得し、その情報を、１人以上のユーザに関する既知の情報と比較して、１人以上の特定を行うことによって、１人以上のユーザの物理的存在及び／又は識別情報を検出することができる。例えば、電子デバイス８００は、人の電子デバイスの接続情報（例えば、同じＷｉ−Ｆｉネットワーク上、Ｂｌｕｅｔｏｏｔｈ（登録商標）の範囲内、ＮＦＣの範囲内）等の、人に関連付けられた電子デバイスに関する情報に基づいて、その人の物理的存在を検出することができる。別の実施例として、電子デバイス８００は、（例えば、カメラ及びマイクロフォンを介してキャプチャされた）人の顔の特徴及び／又は声の特徴に基づいて、その人の物理的存在を検出することができる。別の実施例として、電子デバイス８００は、ローカルに利用可能な情報（カレンダの（現在の時刻に設定された）招待又は電子メールメッセージに示された連絡先等）に基づいて、人の物理的存在を検出することができる。更に別の実施例として、電子デバイス８００は、人が提供する認証情報（例えば、ユーザ名及びパスワード）に基づいて、人の物理的存在を検出することができる。いくつかの実施例では、電子デバイス８００は、人の物理的存在を検出した後に、曖昧さをなくすための入力（例えば、「私が聞いているのはジェーソンですか、それともジョンですか？」）及び／又は確認（例えば、「ジョンは今パーティに参加しましたか？」）を促す。

いくつかの実施例では、コンテキスト情報は、電子デバイス８００に物理的に近接している人に関する情報を含む。例えば、コンテキスト情報は、電子デバイスに物理的に近接していることが検出された各人々の嗜好、メディアコレクション、履歴を含むことができる。例えば、電子デバイス８００が、ユーザの友人エイミーが「私も好きな何かを再生する」と発言したと判定した場合、電子デバイスは、エイミーの嗜好（好きなジャンル、明示的な言語設定）を１つ以上のソースから特定し、その嗜好をメディアの要求を絞り込むための検索パラメータとして使用する。以下では、複数の人間のマージされた嗜好プロファイルの提供に関する追加情報について説明する。

いくつかの実施例では、コンテキスト情報は第１のメディアアイテムに関連する情報を含む。例えば、第１のメディアアイテムの推奨に応答してユーザが「これよりも新しい何かを再生する」と発言した場合、電子デバイス８００は、第１のメディアアイテムのリリース日付に基づいて、時間パラメータを導き出す。

メディアリクエストを絞り込むための前述のパラメータは、単なる例であると理解されるべきである。電子デバイスが元のメディアの要求を処理しているとき、及び／又は電子デバイスが元のメディアの要求に基づいて１つ以上のメディアアイテムを提供している（例えば、関連する情報を提供しているか、又は再生している）ときに、電子デバイスはいつでもメディアの要求を絞り込むためのユーザ要求を受信できるということが、更に理解されるべきである。メディアの要求を絞り込むための自然言語音声入力（例えば、自然言語音声入力８１４）の使用が単なる例であるということが、更に理解されるべきである。いくつかの実施例では、電子デバイス８００は、電子デバイスの１つ以上のセンサ（例えば、触知入力、ジェスチャ入力、ボタン押下）を介して入力を受信することに応答して、メディアの要求を絞り込む処理及び／又は追加のメディアアイテムを提供する処理を開始することができる。メディア検索を実行することに関するその他の例示的記述は、２０１６年６月８日に出願された米国特許出願第６２／３４７，４８０号「ＩＮＴＥＬＬＩＧＥＮＴ ＡＵＴＯＭＡＴＥＤ ＡＳＳＩＳＴＡＮＴ ＦＯＲ ＭＥＤＩＡ ＥＸＰＬＯＲＡＴＩＯＮ」において提供されており、この出願は、その全体が本明細書において参照により組み込まれている。米国特許出願第６２／３４７，４８０号は、特に、音声入力が、メディアアイテムの個別化された推奨を取得するというユーザの意図に対応しているかどうかを判定する例示的な技法を説明している。そのような判定に応じて、いくつかの実施例では、メディアアイテムのユーザ固有のコーパスから、少なくとも１つのメディアアイテムが取得される。コンテキスト情報を取得することに関するその他の例示的記述は、２０１７年５月１６日に出願された米国特許出願第６２／５０７，０５６号「ＰＲＯＶＩＤＩＮＧ ＡＮ ＡＵＤＩＴＯＲＹ−ＢＡＳＥＤ ＩＮＴＥＲＦＡＣＥ ＯＦ Ａ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ」において提供されており、この出願は、その全体が本明細書において参照により組み込まれている。米国特許出願第６２／５０７，０５６号は、特に、自然言語音声入力の受信前、受信中、又は受信後にコンテキスト情報を取得する例示的な技法を説明している。いくつかの実施例では、取得されたコンテキスト情報は、ユーザ固有の情報及び電子デバイスの物理的状態を含む。

電子デバイスは、自然言語音声入力８１４が以前のメディアの要求（例えば、最良のｍ個の候補意図のうちの１つ）を絞り込むというユーザの意図に対応していると判定した後に、第１のメディアアイテムとは異なる第２のメディアアイテムを特定する。第２のメディアアイテムは、曲、オーディオブック、ポッドキャスト、ステーション、プレイリスト、又はこれらの任意の組み合わせであることができる。図８Ａを参照すると、電子デバイス８００は、音声入力８１２内のパラメータ（「アデル」、「新しい」、「曲」）及び音声入力８１４内のパラメータ（「Ｉ’ｍ ｇｉｖｉｎｇ ｙｏｕ ｕｐ Ｉ’ｍ ｆｏｒｇｉｖｉｎｇ ｉｔ ａｌｌ」）に基づいて、第２のメディアアイテム（例えば、「Ｓｅｎｄ Ｍｙ Ｌｏｖｅ」）を特定している。

いくつかの実施例では、電子デバイス８００は、自然言語音声入力８１２（「ヘイシリ、アデルによるあの新しい曲を再生する」）に基づいて、メディアアイテムの第１のセット（例えば、過去３か月以内にリリースされたアデルによる曲のセット）を特定している。電子デバイスは、メディアアイテムの第１のセットから（例えば、人気ランキングに基づいて）曲「Ｈｅｌｌｏ」を選択し、ユーザに提供する。その後、電子デバイス８００は、その後の自然言語音声入力８１４に基づいて、自然言語音声入力８１４から導き出された指定パラメータに基づいて、メディアアイテムの第１のセットのサブセット（例えば、曲の第１のセットからの「Ｉ’ｍ ｇｉｖｉｎｇ ｙｏｕ ｕｐ Ｉ’ｍ ｆｏｒｇｉｖｉｎｇ ｉｔ ａｌｌ」という歌詞を含んでいる曲のみ）を特定する。いくつかの実施例では、メディアアイテムの第１のセットのサブセットを特定することが、第１のセットのメディアアイテムが、自然言語入力８１４内の指定されたパラメータに一致するコンテンツ（例えば、歌詞、スクリプト）又はメタデータ（ジャンル、リリース日付）に関連付けられているかどうかを判定することを含む。関連付けられている場合、電子デバイス８００は、サブセットから第２のメディアアイテム（「Ｓｅｎｄ Ｍｙ Ｌｏｖｅ」という曲）を選択して、ユーザに提供する。関連付けられていない場合、電子デバイス８００は、第２のメディアアイテムを選択してユーザに提供することを止める。

いくつかの実施例では、電子デバイスは、メディアアイテムのユーザ固有のコーパスから第１のメディアアイテム及び／又は第２のメディアアイテムを特定する。いくつかの実施例では、電子デバイス８００は、ユーザ入力に関連付けられた音響情報（例えば、自然言語音声入力８１４）に基づいて、ユーザ固有のコーパスを特定する。ユーザ固有のコーパスは、ユーザに関連付けられたデータ（例えば、嗜好、設定、以前の要求、以前の選択、以前の拒否、以前のユーザの購入、ユーザ固有のプレイリスト）に基づいて生成される。いくつかの実施例では、ユーザ固有のコーパスの少なくとも一部は、ソフトウェアサービス（例えば、メディアサービス又はソーシャルメディアサービス）に基づいて生成される。例えば、ユーザ固有のコーパスは、（例えば、ソフトウェアサービス上で）ユーザによって以前に拒否されたか若しくは嫌われたメディアアイテムを低いランキングに関連付けるか、又はそれらのメディアアイテムを含まない。別の実施例として、ユーザ固有のコーパスは、ソフトウェアサービス上でユーザによって所有／購入されたメディアアイテムに対応するデータを含む。更に別の実施例として、ユーザ固有のコーパスは、ソフトウェアサービス上でユーザによって作成されたメディアアイテム（例えば、プレイリスト）に対応するデータを含む。前述したように、電子デバイスは、ユーザ固有のコーパス内のメディアアイテムが、指定された検索パラメータに一致するメタデータ又はコンテンツに関連付けられているかどうかを判定することによって、メディアアイテムを特定することができる。いくつかの実施例では、ユーザ固有のコーパス内の少なくとも１つのメディアアイテムは、活動（例えば、トレーニング、睡眠）、雰囲気（例えば、アップビート、落ち着いている、悲しい）、場面（例えば、誕生日）、期間（例えば、８０年代）、場所、キュレータ（例えば、ローリングストーンズのリスト）、コレクション（例えば、夏のプレイリスト）、１つ以上の以前のユーザ入力（ユーザによる以前の拒否、ユーザによる以前の好み）、又はこれらの任意の組み合わせを示すメタデータを含む。ユーザ固有のコーパスに関するその他の例示的記述は、２０１６年６月８日に出願された米国特許出願第６２／３４７，４８０号「ＩＮＴＥＬＬＩＧＥＮＴ ＡＵＴＯＭＡＴＥＤ ＡＳＳＩＳＴＡＮＴ ＦＯＲ ＭＥＤＩＡ ＥＸＰＬＯＲＡＴＩＯＮ」において提供されており、この出願は、その全体が本明細書において参照により組み込まれている。

いくつかの実施例では、ユーザ固有のコーパス内の少なくとも１つのメディアアイテムは、メディアの要求を提供したユーザとは異なる人からの情報に基づくメタデータを含む。例えば、海辺に対応する場所でソフトウェアアプリケーション（例えば、ｉＴｕｎｅｓ等のメディアサービス）のすべてのユーザによって再生される頻度に基づいて、メディアアイテムを「海辺」の場所に関連付けることができる。別の実施例として、メディアアイテムを、ユーザの友人（すなわち、ソーシャルメディアサービス上でユーザに関連付けられた友人）によって、及び／又は同様の人口統計セグメントの人によって再生された回数に基づいて、活動（例えば、パーティ）に関連付けることができる。いくつかの実施例では、メタデータは、電子デバイス８００とは異なるリモートデバイス上で生成される。いくつかの実施例では、ユーザ固有のコーパス内の少なくとも１つのメディアアイテムは、更に詳細に説明されるように、ユーザがアクセスすることが許可されていない（例えば、購入していない）が、電子デバイス８００に物理的に近接している別の人がアクセスすることが許可されているメディアアイテムである。

その後、電子デバイス８００は、第２のメディアアイテムを提供する。いくつかの実施例では、第１のメディアアイテムに関して前述された内容と一致する方法で、第２のメディアアイテムが提供される。図８Ａを参照すると、電子デバイス８００のデジタルアシスタントは、曲「Ｓｅｎｄ Ｍｙ Ｌｏｖｅ」を再生８１６している。図に示されているように、デジタルアシスタントは、例えば第２のメディアアイテムを再生しながら、第２のメディアアイテムの説明（「これはＳｅｎｄ Ｍｙ Ｌｏｖｅです」）を含む自然言語音声出力８１７も提供する。いくつかの実施例（図示されていない）では、電子デバイス８００は、自然言語音声入力８１４に応答して第２のメディアアイテムの代表サンプルを再生し、第２のメディアアイテム全体を提供する前に、ユーザに確認を要求する。いくつかの実施例では、電子デバイス８００は、自然言語音声入力８１４に基づいて特定された複数のメディアアイテムの要約及び／又はリストを提供する（例えば、「それらの歌詞を含む２つの曲（「Ｓｅｎｄ Ｍｙ Ｌｏｖｅ」、「Ｓｅｎｄ Ｍｙ Ｌｏｖｅ Ａｃｏｕｓｔｉｃ Ｖｅｒｓｉｏｎ．．．」）を見つけました」）。

いくつかの実施例では、図８Ｂを参照すると、電子デバイス８００は、第３の自然言語音声入力８１８（「ヘイシリ、これを私のＳａｔｕｒｄａｙ Ｍｏｒｎｉｎｇプレイリストに追加する」）を受信している。電子デバイスは、第３の自然言語音声入力８１８に基づいて、メディアアイテムをメディアアイテムのコレクションに関連付けるというユーザの意図を決定する。電子デバイスは、コンテキスト情報（例えば、現在再生されている／以前に再生されたメディアアイテム）に基づいて、ユーザの意図を決定することができる。示されている例では、電子デバイス８００は、現在再生されている曲「Ｓｅｎｄ Ｍｙ Ｌｏｖｅ」を、「Ｓａｔｕｒｄａｙ Ｍｏｒｎｉｎｇ」という名前のプレイリストに関連付け、その関連付けを示す音声出力８２０（「完了しました」）を提供する。別の実施例（図示されていない）では、電子デバイスは、自然言語音声入力「最後の１０曲をＮｅｗ Ｆａｖｓという名前の新しいプレイリストに追加する」を受信することができる。それに応じて、電子デバイスは、「Ｎｅｗ Ｆａｖｓ」という名前のメディアアイテムのコレクションを作成し、以前に再生された１０曲をこの新しいコレクションに関連付けることができる。

いくつかの実施例では、電子デバイス８００は、「Ｓｅｎｄ Ｍｙ Ｌｏｖｅ」を再生しながら、第４の自然言語音声入力８２２（「アデルはツアー中ですか？」）を受信する。第４の自然言語音声入力８２２に基づいて、電子デバイスは、特定のメディアアイテムに関連する情報（例えば、アーチスト、リリース日付、関連するインタビュー、生い立ち、歌詞の意味、ツアー情報、ユーザのどの友人がこのメディアアイテムを聴いたことがあるか）を取得するというユーザの意図を決定する。いくつかの実施例では、特定のメディアアイテムは、コンテキスト情報（再生中の曲、以前に再生された曲）に基づいて特定される。示されている例では、電子デバイス８００は、アデル（現在再生されている曲の歌手）に関連するツアー情報を取得するというユーザの意図を決定し、その情報を示す音声出力８２４（「はい、アデルは来月あなたの市にいることになっています。チケットを購入しますか？」）を提供する。示されている例では、ユーザは、否定応答８２６（「今は購入しません」）を提供する。別の実施例（図示されていない）では、ユーザは肯定応答を提供することができ、電子デバイス８００はコンサートチケットを購入するためのプロセスを開始することができる。いくつかの実施例では、電子デバイス８００は、第４の自然言語音声入力８２２なしで、情報を自動的に提供する。

いくつかの実施例では、電子デバイス８００は、メディアアイテムを再生しながら、別のメディアアイテムを示す音声出力を提供してよい。例として、電子デバイス８００は、第２のメディアアイテム（「Ｓｅｎｄ Ｍｙ Ｌｏｖｅ」）を提供しながら、再生される第３のメディアアイテムを示す音声出力８２８（「次の曲は、アデルによるＳｏｍｅｏｎｅ Ｌｉｋｅ Ｙｏｕです」）を提供する。電子デバイス８００は、第２のメディアアイテムを提供した後に、第３のメディアアイテムを提供する。いくつかの実施例では、電子デバイス８００は、メディアアイテムを再生しながら、場所を示す自然言語音声入力（例えば、「これをガレージ内で再生する」）を受信してよい。それに応じて、電子デバイス８００は、指定された場所に基づいて別の電子デバイス（例えば、ユーザのガレージに関連付けられたスピーカ、ユーザのガレージ内に物理的に配置された電話）を特定し、特定された電子デバイスにメディアアイテムを再生させる。いくつかの実施例では、電子デバイス８００は、再生に関連する情報（例えば、メディアアイテムの識別情報、再生の進行、音量等の再生設定）を、特定された電子デバイスに（例えば、直接又はリモートデバイスを介して）送信することができる。場所を示す自然言語音声入力の処理及びそれに応じたメディアの要求の処理に関するその他の説明は、例えば、２０１４年９月３０日に出願された米国実用特許出願第１４／５０３，１０５号「Ｉｎｔｅｌｌｉｇｅｎｔ Ａｓｓｉｓｔａｎｔ ｆｏｒ Ｈｏｍｅ Ａｕｔｏｍａｔｉｏｎ」（弁護士整理番号１０６８４２１０８２００（Ｐ２３０１３ＵＳ１））、２０１６年６月９日に出願された米国特許仮出願第６２／３４８，０１５号「Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｏｍａｔｅｄ Ａｓｓｉｓｔａｎｔ ｉｎ ａ Ｈｏｍｅ Ｅｎｖｉｒｏｎｍｅｎｔ」（弁護士整理番号７７０００３０００１００（Ｐ３０３３１ＵＳＰ１））、及び２０１６年６月１１日に出願された米国特許仮出願第６２／３４８，８９６号「Ｉｎｔｅｌｌｉｇｅｎｔ Ｄｅｖｉｃｅ Ａｒｂｉｔｒａｔｉｏｎ ａｎｄ Ｃｏｎｔｒｏｌ」（弁護士整理番号７７０００３００１４００（Ｐ３０５８５ＵＳＰ１）に記載されており、これらの出願の開示全体は、本明細書において参照により組み込まれている。米国実用特許出願第１４／５０３，１０５号は、特に、仮想アシスタントを使用して電子デバイス（例えば、ドアロック、サーモスタット等）を制御する例示的な技法を説明している。米国特許仮出願第６２／３４８，０１５号は、特に、ユーザ入力が、確立された場所のデバイスを使用してタスクを実行し、確立された場所のデバイスのセットを表すデータ構造を取得するという意図に対応するかどうかを判定する例示的な技法を説明している。米国特許仮出願第６２／３４８，８９６号は、特に、口頭入力に基づいてブロードキャストされる値を使用して、多くのデバイスのうちのどのデバイスが口頭入力に応答するべきかを決定する例示的な技法を説明している。

図９Ａ〜図９Ｂは、電子デバイス９００を示している。電子デバイス９００は、いくつかの実施形態では、デバイス２００、デバイス４００、デバイス６００、及びデバイス８００（図２Ａ、図４、図６Ａ〜図６Ｂ、及び図８Ａ〜図８Ｂ）の任意のものであってよい。示された実施例では、電子デバイス９００は、１つ以上のスピーカを備えた電子デバイスであるが、電子デバイスが、電話、ラップトップコンピュータ、デスクトップコンピュータ、タブレット、ウェアラブルデバイス（例えば、スマートウォッチ）、セットトップボックス、テレビ、スピーカ、又はこれらの任意の組み合わせ若しくは部分的組み合わせ等の、任意の種類のデバイスであってよいということが理解されるであろう。

図９Ａを参照すると、電子デバイス９００は、電子デバイス９００のデジタルアシスタントへの要求を示す自然言語音声入力９１０を（例えば、マイクロフォンを介して）受信する。自然言語音声入力９１０は、デジタルアシスタントに向けられ得る任意の要求を含むことができる。いくつかの実施例では、自然言語音声入力は、既定のトリガフレーズ（例えば、「ヘイシリ」）を含む。図９Ａに示されている例では、ユーザ９０２は、トリガフレーズ及びメディアアイテムの要求を含む自然言語音声入力９１０「ヘイシリ、今日は、私向けにどんな音楽がありますか？」を提供している。

電子デバイス９００は、電子デバイス８００に関して前述した内容と一致する方法で、自然言語音声入力を処理する。例えば、電子デバイス９００は、自然言語音声入力９１０を処理して、１つ以上の候補テキスト表現（例えば、テキスト表現「ヘイシリ、今日は、私向けにどんな音楽がありますか？」）及び１つ以上の候補意図（例えば、「メディアの推奨を取得する」というユーザの意図）を提供する。

電子デバイス９００は、自然言語音声入力９１０に基づいてタスクを特定する。いくつかの実施例では、電子デバイス９００は、前述したように、１つ以上の候補意図（１つ以上の候補テキスト表現に基づいて順番に特定される）に基づいて、１つ以上の候補タスクを特定する。更に電子デバイスは、１つ以上の結果を取得するために、候補タスクを実行する。１つ以上の結果は、曲、オーディオブック、ポッドキャスト、ステーション、プレイリスト、またこれらの組み合わせ等の、メディアアイテムに関連する情報を含むことができる。図９Ａに示された例では、電子デバイス９００は、自然言語音声入力９１０に基づいて、パラメータ「私の」及び「音楽」を含む「メディアアイテムを提供する」という候補タスクを特定する。更に、電子デバイス９００は、特定されたタスクを実行して、プレイリスト「Ｔｒａｎｓｇｒｅｓｓｉｖｅ Ｎｅｗ Ｒｅｌｅａｓｅｓ」に関連する情報を取得する。

図９Ａを参照すると、電子デバイス９００は、特定されたタスクに関連付けられた音声応答を示す音声出力９１４を提供している。具体的には、電子デバイス９００は、特定されたプレイリストの言葉による説明（「プレイリストＴｒａｎｓｇｒｅｓｓｉｖｅ Ｎｅｗ Ｒｅｌｅａｓｅｓを取得しました」）を提供する。いくつかの実施例では、ユーザに提供される言葉による説明は、特定されたメディアアイテムに対応する情報（例えば、メタデータ）、ユーザ要求から特定されたパラメータ、又はこれらの組み合わせを含む。例えば、電子デバイス９００は、ユーザ要求「私のお気に入りのアーチストの何かの曲を再生する」に応答して、音声出力「これは、あなたのお気に入りの歌手の１人であるアデルによる、先週リリースされた曲です」を提供することができる。電子デバイス９００は、ユーザ固有のコーパスのメタデータに基づいて、ユーザのお気に入りの歌手を決定することができる。図８を参照して説明したように、いくつかの実施例では、ユーザ固有のコーパス内の少なくとも１つのメディアアイテムは、（ユーザによって以前に拒否された、ユーザによって以前に好まれた、ユーザによって以前に検索された）１つ以上の以前のユーザ入力を示すメタデータを含む。あるいは、いくつかの他の実施例では、電子デバイス９００は、ユーザの嗜好データ（例えば、ユーザデータ及びモデル２３１）に基づいて、ユーザのお気に入りの歌手を決定することができる。

いくつかの実施例では、電子デバイス９００は、１つ以上のテキスト発語化モードに従って、音声出力９１４を提供する。例えば、音声出力９１４は、デジタルアシスタントの音声、メディアアイテムに関連付けられた音声（例えば、アーチスト、ＤＪ）、又はこれらの組み合わせで提供され得る。様々なテキスト発語化モードの使用に関するその他の例示的記述は、２０１７年５月１６日に出願された米国特許出願第６２／５０７，０５６号「ＰＲＯＶＩＤＩＮＧ ＡＮ ＡＵＤＩＴＯＲＹ−ＢＡＳＥＤ ＩＮＴＥＲＦＡＣＥ ＯＦ Ａ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ」（弁護士整理番号７７０００３０１５７００（Ｐ３４１８３ＵＳＰ１））において提供されており、この出願は、その全体が本明細書において参照により組み込まれている。米国特許出願第６２／５０７，０５６号は、特に、自然言語音声入力において指定される情報等のコンテキスト情報に基づいて様々なテキスト発語化モードを使用する例示的な技法を説明している。

電子デバイス９００は、音声応答を示す音声出力（例えば、音声出力９１４）を提供しながら、その音声応答に対応するメディアアイテムの再生であるオーディオ出力９１２を同時に提供する。いくつかの実施例では、再生されるメディアアイテムは、特定されたメディアアイテムの一部（例えば、代表サンプル）である。例えば、特定されたメディアアイテムが単一の曲である場合、再生は、曲のコーラス又は最初の一節を含むことができる。別の実施例として、特定されたメディアアイテムがプレイリストである場合、再生は、プレイリスト内の各曲の５秒間の断片を含むことができる。

いくつかの実施例では、電子デバイス９００は、音声出力とは異なる（例えば、低い）音量で再生する。いくつかの実施例では、電子デバイス９００は、音声出力とは異なる（例えば、低い）忠実性で再生する。いくつかの実施例では、電子デバイス９００は、音声出力９１４を提供する前に、オーディオ出力９１２の提供を開始する。他の実施例では、電子デバイス９００は、オーディオ出力９１２及び音声出力９１４の提供を同時に開始する。更に他の実施例では、電子デバイス９００は、オーディオ出力９１２を提供する前に、音声出力９１４の提供を開始する。再生時のオーディオを調整することに関するその他の説明は、２０１６年９月２３日に出願された米国特許出願第６２／３９９，２３２号「ＩＮＴＥＬＬＩＧＥＮＴ ＡＵＴＯＭＡＴＥＤ ＡＳＳＩＳＴＡＮＴ」（弁護士整理番号７７０００３００１３００（Ｐ３０５８４ＵＳＰ１）において提供されており、この出願は、その全体が本明細書において参照により組み込まれている。

いくつかの実施例では、電子デバイスは、再生しながら（９１２）、自然言語音声入力９１６（「それを再生する」）を受信する。電子デバイス９００は、自然言語音声入力９１６の受信に応答して、特定されたメディアアイテムの再生であるオーディオ出力９１８を全体として（例えば、最初から）提供する。いくつかの実施例では、再生９１８は、再生９１２とは異なる音量及び／又は忠実性で提供される。

いくつかの実施例では、電子デバイス８００は、再生しながら（９１８）、メディアアイテムに関連する情報を示す音声出力（図示されていない）を提供する。この情報は、例えば、曲の雑学的知識（「これは先週リリースされました」）、アーチストのツアー情報（「このアーチストは、来月カリフォルニアに来ます。チケットを購入しますか？」）、又はニュース（「このアーチストは、最近婚約しました。これについて更に知りたいかどうか、教えてください。」）に対応することができる。このメディアアイテムは、電子デバイス９００によって再生されているメディアアイテム、以前に再生されたメディアアイテム、又は再生されることになるメディアアイテムであることができる。

いくつかの実施例では、電子デバイス９００は、オーディオの２つの層（例えば、特定されたメディアアイテムの言葉による説明及び代表サンプル）を同時に提供する代わりに、代表サンプルを再生せずに、特定されたメディアアイテムの説明を提供する。いくつかの実施例では、ユーザ９０２は、代表サンプルを聴くための補足要求（例えば、「それはどのように聞こえますか？」、「プレイリストにはどんな種類の曲がありますか？」）を提供することができる。それに応じて、電子デバイス９００は、代表サンプルを再生し（例えば、「これを聴いてください。＜３０秒間の要約＞」）、場合によっては、追加の入力をユーザに促す（「これを再生しますか？」）。

オーディオの複数の層を提供する前述の技法は、単なる例であると理解されるべきである。通常、電子デバイス９００は、層化及び／又は調整されたオーディオ情報を、デジタルアシスタントとユーザとの間のいずれかの対話の一部として提供することができる。例えば、図９Ｂを参照すると、電子デバイス９００は、自然言語音声入力９１８（「ヘイシリ、私のチームはどうだった？」）を受信している。電子デバイス９００は、その入力に基づいて、タスク（例えば、「スポーツイベントのスコアを取得する」という候補タスク）及び１つ以上のパラメータ（例えば、「ジャイアンツ」）を特定し、そのタスクを実行して１つ以上の結果（例えば、スコア）を取得する。いくつかの他の実施例では、電子デバイス９００は、ユーザの嗜好データ（例えば、ユーザデータ及びモデル２３１）に基づいて、１つ以上のパラメータを決定することができる。電子デバイス９００は、特定されたタスクに関連付けられた音声応答を示す音声出力９２２を提供している。示された例では、音声出力９２２は、取得された結果の言葉による説明（「昨日、ジャイアンツは勝ちました。スコアは．．．でした。」）を示す。

電子デバイス９００は、音声出力９２２を提供しながら、音声応答に対応するメディアアイテムも再生する（９２０）。示された例では、メディアアイテムは、勝利のスコアに対応する音響効果（例えば、群衆の歓声）である。いくつかの実施例では、音響効果は、予め記録されたオーディオ（例えば、一般的な音響効果、関連するスポーツイベントで記録されたオーディオ）又はライブストリーム（例えば、電子デバイスの現在位置での雨の音）である。いくつかの実施例では、音声出力９２２は、再生９２０とは異なる（例えば、高い）音量及び／又は（例えば、高い）忠実性で提供される。

電子デバイス９００のデジタルアシスタントは、様々なテキスト発語化モード、音声、及びシーケンでユーザと対話する（例えば、情報を提供する）ことができると理解されるべきである。通常、デジタルアシスタントは、オーディオ出力の様々な層（例えば、バックグラウンドオーディオ、フォアグラウンドオーディオ）と様々なタイプ（例えば、音響効果、音声、音楽）との間で調整し、直感的でリッチ、かつ自然なユーザインターフェースを提供することができる。例えば、電子デバイスは、フォアグラウンドオーディオのタイミング、音量、忠実性、及び内容に基づいて、バックグラウンドオーディオのタイミング、音量、忠実性、及び内容を調整することができる。

図１０Ａ〜図１０Ｂは、電子デバイス１０００を示している。電子デバイス１０００は、いくつかの実施形態では、デバイス２００、デバイス４００、デバイス６００、デバイス８００、及びデバイス９００（図２Ａ、図４、図６Ａ〜図６Ｂ、図８Ａ〜図８Ｂ、及び図９Ａ〜９Ｂ）の任意のものであってよい。示された実施例では、電子デバイス１０００は、１つ以上のスピーカを備えた電子デバイスであるが、電子デバイスが、電話、ラップトップコンピュータ、デスクトップコンピュータ、タブレット、ウェアラブルデバイス（例えば、スマートウォッチ）、セットトップボックス、テレビ、スピーカ、又はこれらの任意の組み合わせ若しくは部分的組み合わせ等の、任意の種類のデバイスであってよいということが理解されるであろう。

図１０Ａを参照すると、電子デバイス１０００は、電子デバイス１０００のデジタルアシスタントへのメディアの要求を示す自然言語音声入力１０１０（「ヘイシリ、私は何を聴くべきですか？」）を（例えば、マイクロフォンを介して）受信する。電子デバイス１０００は、電子デバイス８００及び９００に関して前述した内容と一致する方法で、自然言語音声入力を処理する。例えば、電子デバイス１０００は、自然言語音声入力１０１０を処理して、１つ以上の候補テキスト表現（例えば、テキスト表現「ヘイシリ、私は何を聴くべきですか？」）及び１つ以上の候補意図（例えば、「メディアの推奨を取得する」というユーザの意図）を提供する。

電子デバイス１０００は、自然言語音声入力１０１０に基づいてタスクを特定する。いくつかの実施例では、電子デバイス１０００は、前述したように、１つ以上の候補意図に基づいて１つ以上の候補タスクを特定し、最上位の候補タスクを実行して、１つ以上の結果を取得する。いくつかの実施例では、１つ以上の結果は、曲、オーディオブック、ポッドキャスト、ステーション、プレイリスト、又はこれらの組み合わせに関連する情報を含む。図１０Ａに示された例では、電子デバイス１０００は、パラメータ「私の」を含む「メディアアイテムを提供する」という候補タスクを特定し、このタスクを実行して第１のメディアアイテム（バンクスによる「Ｔｈｅ Ａｌｔａｒ」）を取得する。

電子デバイス１０００は、音声入力１０１０の受信に応答して、第１のメディアアイテムの提案を示すオーディオ出力１０１２（「オルタナティヴを聴きたい気分でしたら、バンクスによる「Ｔｈｅ Ａｌｔａｒ」を取得しています」）を提供する。いくつかの実施例では、第１のメディアアイテムの提案は、メディアアイテムのメタデータ（例えば、ジャンル、アーチスト）、及びこのメディアアイテムが推奨された理由（単数又は複数）（例えば、「オルタナティヴを聴きたい気分でしたら．．．」）等の、メディアの推奨をコンテキスト化するための追加情報を含む。いくつかの実施例では、電子デバイス１０００は、推奨されたメディアアイテムの一部を同時に再生する。

いくつかの実施例では、電子デバイス１０００は、オーディオ出力１０１２を提供した後に、音声入力１０１４（「いいえ」）を受信する。電子デバイスは、音声入力１０１４が、メディアの要求に対応する非肯定応答（例えば、「いいえ」、「次へ」、「好きではない」、「嫌い」、「更に２つ」、及び拒否を示す任意のフレーズと等価の自然言語）を示しているかどうかを判定する。電子デバイスは、音声入力１０１４が非肯定応答を示しているという決定に従って、この要求に対応する連続する非肯定応答の数を更新する。一方、電子デバイスは、音声入力１０１４が非肯定応答を示していないという決定に従って、この数の更新を止める。示された例では、電子デバイスは、音声入力１０１４に基づいて、この数を０から１に更新する。

図１０Ａを参照すると、いくつかの実施例では、電子デバイス１０００は、第２のメディアアイテムの提案を示す別のオーディオ出力１０１６（「プレイリストＷｈｅｎ Ｈｉｐ−Ｈｏｐ Ｇｏｅｓ Ｌｅｆｔはどうですか？」）を提供している。いくつかの実施例では、電子デバイス９００は、第１のメディアアイテム及び第２のメディアアイテムを単一の検索の一部として特定し、第１のメディアアイテムが、第２のメディアアイテムよりも高い信頼度スコアを有しているため、電子デバイスによって最初に提案される。いくつかの実施例では、電子デバイスは、第１のメディアアイテム及び第２のメディアアイテムをそれぞれ特定するために２つの別々の検索を実行し、ユーザが第１のメディアアイテムの提案に対する非肯定応答（例えば、オーディオ入力１０１４）を提供した後に、第２の検索が実行される。

電子デバイス１０００は、第２のメディアアイテムの提案を提供した後に、音声入力１０１８（「次へ」）を受信する。電子デバイスは、音声入力１０１４に関して説明された内容と一致する方法で、音声入力１０１８がメディアの要求に対応する非肯定応答を示しているかどうかを判定する。示された例では、電子デバイスは、音声入力１０１８が非肯定応答を示していることを決定し、この数を１から２に更新する。

図１０Ａを参照すると、いくつかの実施例では、電子デバイス１０００は、第３のメディアアイテムの提案を示す更に別のオーディオ出力１０２０（「プレイリスト「Ｉｆ Ｙｏｕ Ｌｉｋｅ Ａｌａｂａｍａ Ｓｈａｋｅｓ」も取得しています」）を提供している。電子デバイス９００は、単一の検索又は異なる検索で（例えば、異なる検索パラメータ及び／又はコンテキスト情報を使用して）、第１のメディアアイテム、第２のメディアアイテム、及び第３のメディアアイテムを特定することができる。

電子デバイス１０００は、第３のメディアアイテムの提案を提供した後に、ユーザからの入力を（例えば、マイクロフォンを介して）サンプリングする。いくつかの実施例では、電子デバイスは、既定の期間（例えば、５秒）内に応答が受信されないということを決定する。電子デバイスは、この判定に従って、この要求に対応する連続する非肯定応答の数を更新する。示された例では、電子デバイスは、既定の期間内に応答が受信されない（例えば、沈黙している）ことを決定し、この数を２から３に更新する。

電子デバイス１０００は、メディアの要求に対応する連続する非肯定応答の数が閾値を満たしているかどうかを判定する。いくつかの実施例では、電子デバイスは、各オーディオ出力１０１２、１０１６、及び１０２０を提供した後に、判定を行う。電子デバイスは、連続する非肯定応答の数が閾値を満たしていないという決定に従って、別のメディアアイテムの提案を示すオーディオ出力を提供する。例えば、電子デバイスは、オーディオ出力１０１８（「次へ」）を受信した後に、連続する非肯定応答の数（２）が所定の閾値（例えば、３）に等しくないということを決定する。それに応じて、電子デバイスは、提案されたものとは異なる別のメディアアイテムを提案するために、音声出力１０２０を提供する。

電子デバイスは、連続する非肯定応答の数が閾値を満たすという決定に従って、別のメディアアイテムの提案を提供することを止め、代わりに、ユーザ入力の要求を示すオーディオ出力を提供する。例えば、電子デバイスは、非肯定応答１０２２（例えば、所定の時間の間の沈黙）を受信した後に、連続する非肯定応答の数（３）が所定の閾値（例えば、３）に等しいということを決定する。図１０Ｂを参照すると、それに応じて電子デバイスは、音声出力１０２４（「わかりました。あなたが最近楽しんだアーチストの名前を挙げてください」）を提供している。

いくつかの実施例では、音声出力１０２４は、メディアの要求に関する１つ以上のパラメータの提供を促すことを示す。示された例において、電子デバイス１０００は、アーチストのパラメータの提供をユーザに促し（「あなたが最近楽しんだアーチストの名前を挙げてください」）、音声入力１０２６（「えーと、Ｆｌｕｍｅ」）を受信している。音声入力１０２６は、メディアの要求に関するパラメータ（アーチスト＝Ｆｌｕｍｅ）を示す。電子デバイス１０００は、受信されたパラメータに基づいて、以前に推奨されたメディアアイテムとは異なる別のメディアアイテムを特定する。それに応じて、電子デバイス１０００は、特定されたメディアアイテムを音声出力１０２８（「わかりました。これは、プレイリスト「Ｉｆ Ｙｏｕ Ｌｉｋｅ Ｆｌｕｍｅ」です。」）を介して提供する。いくつかの実施例では、電子デバイスは、受信されたパラメータに基づいて、適切に、ユーザの嗜好データ（例えば、ユーザデータ及びモデル２３１）及び／又はユーザ固有のコーパスを更新する。

いくつかの実施例では、電子デバイス１０００は、音声出力１０２４を提供する代わりに、又は追加として、以前に提案された複数のメディアアイテムからのユーザの選択を促すことを示す音声出力（例えば、「これらのうち、どれが良さそうですか？」）を提供する。いくつかの実施例では、電子デバイスは、ユーザの選択を示す音声入力（例えば、「うん、２番目の曲」、「ヒップホップの曲」、「アデルによる曲」）を受信し、コンテキスト情報に基づいて、この音声入力を解釈する。コンテキスト情報は、電子デバイスによって以前に提案された複数のメディアアイテムを含むことができる。

図１１は、電子デバイス１１００を示している。電子デバイス１１００は、いくつかの実施形態では、デバイス２００、デバイス４００、デバイス６００、デバイス８００、デバイス９００、及びデバイス１０００（図２Ａ、図４、図６Ａ〜図６Ｂ、図８Ａ〜図８Ｂ、図９Ａ〜９Ｂ、及び図１０）の任意のものであってよい。示された実施例では、電子デバイス１１００は、１つ以上のスピーカを備えた電子デバイスであるが、電子デバイスが、電話、ラップトップコンピュータ、デスクトップコンピュータ、タブレット、ウェアラブルデバイス（例えば、スマートウォッチ）、セットトップボックス、テレビ、スピーカ、又はこれらの任意の組み合わせ若しくは部分的組み合わせ等の、任意の種類のデバイスであってよいということが理解されるであろう。

動作中に、電子デバイス１１００は、ユーザ１１０２によって発言された、電子デバイス１１００のデジタルアシスタントへのメディアの要求を示す自然言語音声入力１１１０（「ヘイシリ、何かを再生する」）を（例えば、マイクロフォンを介して）受信する。示された例では、電子デバイス１１００は、ユーザ１１０２に関連付けられている。電子デバイス１１００は、電子デバイス８００、９００、及び１０００に関して前述した内容と一致する方法で、自然言語音声入力を処理する。例えば、電子デバイス１１００は、自然言語音声入力１１１０を処理して、１つ以上の候補テキスト表現（例えば、テキスト表現「ヘイシリ、何かを再生する」）及び１つ以上の候補意図（例えば、「メディアの推奨を取得する」というユーザの意図）を提供する。

電子デバイス１１００は、電子デバイスに近接している複数のユーザの物理的存在を検出する。いくつかの実施例では、電子デバイス１１００は、人の電子デバイスの接続状態（例えば、同じＷｉ−Ｆｉネットワーク上、Ｂｌｕｅｔｏｏｔｈ（登録商標）の範囲内、ＮＦＣの範囲内）等の、人に関連付けられた電子デバイスに関連する情報、人の電子デバイスに関する情報等に基づいて、その人の物理的存在を検出することができる。例えば、ユーザの姉妹も電子デバイス１１００に物理的に近接していて、自分の電話を持っている場合、電子デバイス１１００は、この姉妹の電話に対応する情報を受信することができる。例えば、電子デバイス１１００は、（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続を介して）この姉妹のデバイスから識別情報（例えば、電話番号、ユーザ名）を受信することができる。別の実施例として、電子デバイス１１００は、ルーティングデバイス（例えば、電子デバイス１１００と姉妹のデバイスの両方が接続されている無線ルータ）から識別情報を受信することができる。

いくつかの実施例では、電子デバイス１１００は、（例えば、カメラ及びマイクロフォンを介してキャプチャされた）人の顔の特徴及び／又は声の特徴に基づいて、その人の物理的存在を検出することができる。他の実施例では、電子デバイス８００は、ローカルに利用可能な情報（カレンダの招待又は電子メールメッセージに示された連絡先等）に基づいて、人の物理的存在を検出することができる。更にいくつかの他の実施例では、電子デバイス８００は、人が提供する認証情報（例えば、ユーザ名及びパスワード）に基づいて、人の物理的存在を検出することができる。いくつかの実施例では、電子デバイス１１００は、人の物理的存在を検出した後に、曖昧さをなくすための入力（例えば、「私が聞いているのはジェーソンですか、それともジョンですか？」）及び／又は確認入力（例えば、「ジョンは今パーティに参加しましたか？」）を促す。

複数のユーザ（例えば、家族、訪問者）の物理的存在を検出することに応答して、電子デバイス１１００は、複数のユーザに対応する複数の嗜好プロファイルを取得する。いくつかの実施例では、電子デバイス１１００は、リモートデバイス（例えば、サーバデバイス）から、ユーザ１１０２以外の人（例えば、ユーザの姉妹）に対応する嗜好プロファイルを受信する。いくつかの実施例では、電子デバイス１１００は、ユーザ１１０２以外の人（例えば、ユーザ１１０２の姉妹）に対応する嗜好プロファイルを、その人の電子デバイス（例えば、姉妹の電話）から直接受信する。いくつかの実施例では、電子デバイス１１００は、ユーザ１１０２以外の人の嗜好プロファイルをローカルに記憶する。例えば、ユーザ１１０２は、嗜好をローカルに記憶するように、デジタルアシスタントにすでに頼んでおいてよい（例えば、「ヘイシリ、私の姉妹がビートルズが好きだということを覚えておいて」）。

電子デバイス１１００は、複数の嗜好プロファイルに基づいて、マージされた嗜好プロファイルを提供する。いくつかの実施例では、マージされた嗜好プロファイルを提供することが、複数の嗜好プロファイルそれぞれによって共有された１つ以上の嗜好を特定することを含む。示された例では、電子装置１１００は、ユーザの嗜好プロファイル及び姉妹の嗜好プロファイルに基づいて、マージされた嗜好プロファイルを提供する。ユーザと姉妹の両方がビートルズに対する嗜好を有しているため、マージされた嗜好プロファイルはビートルズに対する嗜好を含む。一方、バンクスに対する嗜好をユーザのみが有しており、姉妹が有していないため、いくつかの実施例では、マージされた嗜好プロファイルは、バンクスに対する嗜好を含まなくてよい。

電子デバイス１１００は、マージされた嗜好プロファイルに基づいて、メディアアイテムを特定する。特定されたメディアアイテムは、曲、オーディオブック、ポッドキャスト、ステーション、プレイリスト、又はこれらの任意の組み合わせであることができる。例えば、電子デバイス１１００は、曲のメタデータ（例えば、アーチスト）が、マージされたプロファイルの１つ以上の嗜好（例えば、ビートルズ）と一致するため、曲「ヘイジュード」を特定する。それに応じて、電子デバイス１１００は、オーディオ出力１１１２（「これは、あなた達が両方とも好むかもしれないビートルズの曲です」）を提供する。オーディオ出力１１１２は、特定されたメディアアイテムの説明（「ビートルズの」）を含み、マージされたプロファイルを参照する（例えば、「あなた達が両方とも好むかもしれない曲」）。電子デバイス１１００は、特定されたメディアを含むオーディオ出力１１１３（曲「ヘイジュード」の再生）も提供する。

いくつかの実施例では、マージされた嗜好プロファイルに基づいてメディアアイテムを特定することは、複数のメディアアイテムからメディアアイテムを特定することを含む。いくつかの実施例では、複数のメディアアイテムは、第１のユーザに関連付けられた（例えば、第１のユーザがアクセスすることを許可された）メディアアイテムの第１のセット、及び第２のユーザに関連付けられた（例えば、第２のユーザがアクセスすることを許可された）メディアアイテムの第２のセットを含む。示された例において、特定されたメディアアイテムは、メディアアイテムの第１のセットの一部ではなく、メディアアイテムの第２のセットの一部である（すなわち、ユーザは曲「ヘイジュード」にアクセスできないが、ユーザの姉妹はこの曲にアクセスできる）。

いくつかの実施例では、電子デバイス１１００は、第２のユーザ（例えば、姉妹）を含む複数のユーザの物理的存在を検出した後に、第２のユーザの不在を検出する。電子デバイス１１００は、第２のユーザの存在を検出する技法と同様の技法を使用して、第２のユーザの不在を検出することができる。例えば、電子デバイス１１００は、第２のユーザの電子デバイスに関連する情報（例えば、姉妹のデバイスが無線ネットワークにまだ接続されているかどうか）を取得することによって、不在を検出することができる。この情報は、第２のユーザのデバイスから直接、又はネットワークルータから、取得され得る。電子デバイス１１００は、第２のユーザの不在を検出した後に、マージされた嗜好プロファイル及び／又は検索される複数のメディアアイテムを更新する。例えば、電子デバイス１１００がユーザの姉妹の不在を検出した場合、電子デバイス１１００は、姉妹のみがアクセスできるメディアアイテム（例えば、姉妹のビートルズコレクション）を、検索される複数のメディアアイテムから削除する。

いくつかの実施例では、電子デバイス１１００は、ユーザ以外の人の嗜好及び／又は活動に基づいて、メディアの要求を示す自然言語音声入力１１１４を受信する。図１１に示された例では、ユーザ１１０２は、オーディオ出力１１１４（「私の友人は何を聴いていますか？」）を提供する。それに応じて、電子デバイス１１００は、（例えば、連絡先リスト、ソーシャルメディアサービス及びメディアサービス等のソフトウェアサービス、並びにその他のユーザ固有のデータを介して）１人以上の人を特定する。電子デバイスは更に、１つ以上のソース（例えば、ソーシャルメディアサービス及びメディアサービス等のソフトウェアサービス）から、１人以上の人の嗜好（例えば、好みのジャンル、好みのアーチスト）及び／又は活動（最近再生された曲）に関連する情報を取得する。例えば、電子デバイス１１００は、ソフトウェアサービス上でユーザに関連付けられた１人以上の人を特定することができ、これらの人の一部又は全部がソフトウェアサービスを利用して再生したメディアアイテムを特定する。あるいは、電子デバイス１１００は、データベース（例えば、前述したユーザ固有のコーパス）内の適切なメタデータ（例えば、友人タグ）を使用してメディアアイテムを検索することによって、メディアアイテムを特定する。示された例では、電子デバイス１１００は、オーディオ出力１１１６（「これは、アデルによるＨｅｌｌｏです」）を提供して、特定されたメディアアイテムを提供する。

いくつかの実施例では、電子デバイスは、情報の要求を示す自然言語音声入力１１１８（「誰がこれを聴いていますか？」）を受信する。それに応じて、電子デバイス１１００は、（例えば、関連するソフトウェアサービスを使用し、ユーザ固有のコーパスを使用して）メディアアイテムに関連付けられた１人以上の人の識別情報を提供する。識別情報は、ローカルに、及び／又は１つ以上のリモートデバイスから、取得され得る。示された例では、電子デバイス１１００は、オーディオ出力１１２０（「あなたの友人のジョン及びジェーンです」）を提供して、識別情報を提供する。
４．メディア探索のためにデジタルアシスタントの聴覚に基づくインターフェースを提供するプロセス

図１２は、様々な実施例に係る、デジタルアシスタントの聴覚に基づくインターフェースを提供するプロセス１２００を示している。プロセス１２００は、例えば、デジタルアシスタントを実装する１つ以上の電子デバイスを使用して実行される。いくつかの実施例では、プロセス１２００は、クライアントサーバシステム（例えばシステム１００）を使用して実行され、プロセス１２００のブロックは、サーバ（例えば、ＤＡサーバ１０６）とクライアントデバイスとの間で任意の方法で分割される。他の実施例では、プロセス１２００のブロックは、サーバと複数のクライアントデバイス（例えば、携帯電話及びスマートウォッチ）との間で分割される。したがって、本明細書では、プロセス１２００の一部がクライアントサーバシステムの特定のデバイスによって実行されるように説明されているが、プロセス１２００がそのように限定されないということが理解されるであろう。他の実施例では、プロセス１２００は、１つのクライアントデバイス（例えば、ユーザデバイス１０４）のみ又は複数のクライアントデバイスのみを使用して実行される。プロセス１２００では、いくつかのブロックは任意選択的に組み合わされ、いくつかのブロックの順序は任意選択的に変更され、いくつかのブロックは任意選択的に省略される。いくつかの実施例では、プロセス１２００と組み合わせて、追加のステップが実行されてよい。

ブロック１２０２で、電子デバイスは、メディアの要求を示す第１の自然言語音声入力を受信する。第１の自然言語音声入力は、第１の検索パラメータを含む。いくつかの実施例では、電子デバイスは、第１の自然言語音声入力に基づいてテキスト文字列を取得する。また、電子デバイスは、このテキスト文字列に基づいて、メディアアイテムの推奨を取得するというユーザの意図の表現を決定する。更に、電子デバイスは、ユーザの意図の表現に基づいて、タスク及びタスクを実行するための１つ以上のパラメータ（第１の検索パラメータを含む）を決定する。

ブロック１２０４で、電子デバイス（又は電子デバイスのデジタルアシスタント）は、第１のメディアアイテムを提供する。第１のメディアアイテムは、第１の検索パラメータに基づいて特定される。いくつかの実施例では、第１のメディアアイテムは、曲、オーディオブック、ポッドキャスト、ステーション、プレイリスト、又はこれらの任意の組み合わせである。

いくつかの実施例では、第１のメディアアイテムを提供することは、デジタルアシスタントによって、第１のメディアアイテムに関連付けられた音声応答を示す音声出力を提供することを含む。第１のメディアアイテムを提供することは、音声応答を示す音声出力を提供しながら、デジタルアシスタントによって、第１のメディアアイテムの一部を再生することを更に含む。いくつかの他の実施例では、第１のメディアアイテムを提供することは、デジタルアシスタントによって、第１のメディアアイテムを再生することを含む。いくつかの他の実施例では、第１のメディアアイテムを提供することは、デジタルアシスタントによって、第１のメディアアイテムを含む複数のメディアアイテムを提供することを含む。

ブロック１２０６で、電子デバイスは、第１のメディアアイテムを提供しながら、第２の自然言語音声入力を受信する。いくつかの実施例では、電子デバイスは、第２の自然言語音声入力を受信することに応答して、第１のメディアアイテムが提供される方法を調整する。

ブロック１２０８で、電子デバイスは、第２の自然言語音声入力が、メディアの要求を絞り込むというユーザの意図に対応するかどうかを判定する。いくつかの実施例では、第２の自然言語音声入力がメディアの要求を絞り込むというユーザの意図に対応しているかどうかを判定することは、１つ以上の所定のフレーズ及び１つ以上のフレーズと等価の自然言語に基づいて、メディアの要求を絞り込むというユーザの意図の表現を導き出すことを含む。いくつかの実施例では、第２の自然言語音声入力がメディアの要求を絞り込むというユーザの意図に対応しているかどうかを判定することは、コンテキスト情報に基づいて、メディアの要求を絞り込むというユーザの意図の表現を導き出すことを含む。

いくつかの実施例では、電子デバイスは、第２の自然言語音声入力に基づいて、メディアの要求を絞り込むための１つ以上のパラメータを取得する。いくつかの実施例では、１つ以上のパラメータのパラメータは、メディアアイテムの歌詞の内容、場面又は期間、活動、場所、雰囲気、既定のタイムフレーム内のリリース日付、対象とする視聴者、メディアアイテムのコレクション、又はこれらの任意の組み合わせに対応する。いくつかの実施例では、第２の自然言語音声入力が第１のユーザに関連付けられ、１つ以上のパラメータのパラメータが、第１のユーザとは異なる第２のユーザに対応する。

いくつかの実施例では、メディアの要求を絞り込むための１つ以上のパラメータを取得することは、コンテキスト情報に基づいて１つ以上のパラメータを決定することを含む。いくつかの実施例では、コンテキスト情報は第１のメディアアイテムに関連する情報を含む。

いくつかの実施例では、電子デバイスが１人以上のユーザの物理的存在を検出し、コンテキスト情報が、１人以上のユーザに関連する情報を含む。いくつかの実施例では、コンテキスト情報は、電子デバイスの１人以上のユーザに関連付けられた設定を含む。

ブロック１２１０で、電子デバイス（又はデジタルアシスタント）が、第２の自然言語音声入力がメディアの要求を絞り込むというユーザの意図に対応するという決定に従って、第１のパラメータ及び第２の自然言語音声入力に基づいて、第１のメディアアイテムとは異なる第２のメディアアイテムを特定し、第２のメディアアイテムを提供する。第２のメディアアイテムは、曲、オーディオブック、ポッドキャスト、ステーション、プレイリスト、又はこれらの任意の組み合わせであることができる。

いくつかの実施例では、電子デバイスは、第１の自然言語音声入力に基づいて、メディアアイテムの第１のセットを取得し、このメディアアイテムの第１のセットから第１のメディアアイテムを選択する。更に、電子デバイスは、第２の自然言語音声入力に基づいて、メディアアイテムの第１のセットのサブセットであるメディアアイテムの第２のセットを取得し、このメディアアイテムの第２のセットから第２のメディアアイテムを選択する。いくつかの実施例では、メディアアイテムの第２のセットを取得することは、メディアの要求を絞り込むための１つ以上のパラメータに基づいて、メディアアイテムの第１のセットから１つ以上のメディアアイテムを選択するこ