(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2021108187
(43)【公開日】20210729
(54)【発明の名称】スマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体
(51)【国際特許分類】
   G06F 3/0484 20130101AFI20210702BHJP
   B60R 1/12 20060101ALI20210702BHJP
【FI】
   !G06F3/0484
   !B60R1/12 Z
【審査請求】有
【請求項の数】25
【出願形態】OL
【公開請求】
【全頁数】27
(21)【出願番号】2021065849
(22)【出願日】20210408
(31)【優先権主張番号】202010474596.4
(32)【優先日】20200529
(33)【優先権主張国】CN
(71)【出願人】
【識別番号】520095692
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】BEIJING BAIDU NETCOM SCIENCE TECHNOLOGY CO., LTD.
【住所又は居所】中華人民共和国 ペキン ハイディアン ディストリクト, シャンディ テンス ストリート, 10番, バイドゥ キャンパス 2階
【住所又は居所原語表記】2/F Baidu Campus, No. 10, Shangdi 10th Street, Haidian District, Beijing, China
(74)【代理人】
【識別番号】110002952
【氏名又は名称】特許業務法人鷲田国際特許事務所
(72)【発明者】
【氏名】チェン チアンチョー
【住所又は居所】中華人民共和国 ペキン ハイディアン ディストリクト, シャンディ テンス ストリート, 10番, バイドゥ キャンパス 2階
(72)【発明者】
【氏名】オウヤン ネンジュン
【住所又は居所】中華人民共和国 ペキン ハイディアン ディストリクト, シャンディ テンス ストリート, 10番, バイドゥ キャンパス 2階
(72)【発明者】
【氏名】チェン シンチアン
【住所又は居所】中華人民共和国 ペキン ハイディアン ディストリクト, シャンディ テンス ストリート, 10番, バイドゥ キャンパス 2階
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA11
5E555AA74
5E555BA23
5E555BB04
5E555BB23
5E555BC04
5E555CA13
5E555CB12
5E555FA00
(57)【要約】      (修正有)
【課題】ユーザが投影される外部機器でスマートバックミラーでの投影されたインターフェースを制御することを実現でき、操作が便利で、ユーザの運転セキュリティを確保できるスマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体を提供する。
【解決手段】方法は、スマートバックミラーのインターフェース表示情報を取得するステップS201と、インターフェース表示情報を外部機器へ送信するステップS202と、少なくとも1つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御することであって、ユーザ操作情報が少なくとも1つの外部機器に対するユーザの操作を記述するためのものであるステップS206と、を含む。
【選択図】図2
【特許請求の範囲】
【請求項1】
スマートバックミラーを制御するための方法であって、
スマートバックミラーのインターフェース表示情報を取得するステップと、
前記インターフェース表示情報を前記スマートバックミラーと通信可能に接続された少なくとも1つの外部機器へ送信するステップと、
前記少なくとも1つの外部機器からのユーザ操作情報に応答し、前記スマートバックミラーが相応の操作を実行するように制御するステップであって、前記ユーザ操作情報は、前記少なくとも1つの外部機器に対するユーザの操作を記述するためのものであるステップと、を含むことを特徴とするスマートバックミラーを制御するための方法。
【請求項2】
前記スマートバックミラーのインターフェース表示情報は、前記スマートバックミラーでのアプリケーションプログラムのインターフェース表示情報であり、前記スマートバックミラーが相応の操作を実行するように制御する前記ステップは、
前記ユーザ操作情報に基づいて、前記スマートバックミラーでの前記アプリケーションプログラムが相応の操作を実行するように制御するステップを含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記ユーザ操作情報に基づいて、前記スマートバックミラーでの前記アプリケーションプログラムが相応の操作を実行するように制御する前記ステップは、
前記アプリケーションプログラムのインターフェースレイアウトと前記ユーザ操作情報に基づいて、トリガーイベントを生成し、前記トリガーイベントにより、前記アプリケーションプログラムが相応の操作を実行するように指示するステップと、
前記トリガーイベントに基づいて、前記スマートバックミラーでの前記アプリケーションプログラムが相応の操作を実行するように制御するステップと、を含むことを特徴とする請求項2に記載の方法。
【請求項4】
前記ユーザ操作情報は、第1の外部機器の現在インターフェースでの前記ユーザの操作の座標位置を含み、前記第1の外部機器は、前記少なくとも1つの外部機器のいずれかの機器であり、
前記アプリケーションプログラムのインターフェースレイアウトと前記ユーザ操作情報に基づいて、トリガーイベントを生成する前記ステップは、
前記第1の外部機器の現在インターフェースでの前記ユーザの操作の座標位置を前記スマートバックミラーの現在インターフェースでの座標位置に変換するステップと、
前記アプリケーションプログラムのインターフェースレイアウト、および前記スマートバックミラーの現在インターフェースでの座標位置に基づいて、前記トリガーイベントを生成するステップと、を含むことを特徴とする請求項3に記載の方法。
【請求項5】
前記アプリケーションプログラムのインターフェースレイアウト、および前記スマートバックミラーの現在インターフェースでの座標位置に基づいて、前記トリガーイベントを生成する前記ステップは、
前記アプリケーションプログラムのインターフェースレイアウトに基づいて、前記スマートバックミラーの現在インターフェースでの座標位置に対応する操作コントロールを決定するステップと、
前記操作コントロールに基づいて、前記トリガーイベントを生成するステップと、を含むことを特徴とする請求項4に記載の方法。
【請求項6】
前記ユーザ操作情報はまた、前記ユーザの操作動作を含み、前記アプリケーションプログラムのインターフェースレイアウト、および前記スマートバックミラーの現在インターフェースでの座標位置に基づいて、前記トリガーイベントを生成する前記ステップは、
前記アプリケーションプログラムのインターフェースレイアウト、前記スマートバックミラーの現在インターフェースでの座標位置、および前記ユーザの操作動作に基づいて、前記トリガーイベントを生成するステップを含むことを特徴とする請求項4に記載の方法。
【請求項7】
前記第1の外部機器の現在インターフェースでの前記ユーザの操作の座標位置を前記スマートバックミラーの現在インターフェースでの座標位置に変換する前記ステップは、
前記第1の外部機器の現在インターフェースでの前記ユーザの作の座標位置、および前記第1の外部機器に表示された前記アプリケーションプログラムのインターフェースのサイズに基づいて、前記第1の外部機器に表示されたアプリケーションプログラムのインターフェースでの前記ユーザの操作の相対位置を確定するステップと、
前記相対位置、および前記スマートバックミラーに表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、前記スマートバックミラーの現在インターフェースでの座標位置を確定するステップと、を含むことを特徴とする請求項4〜請求項6のいずれか1項に記載の方法。
【請求項8】
前記第1の外部機器に表示されたアプリケーションプログラムのインターフェースでの前記ユーザの操作の相対位置を確定する前記ステップは、
前記第1の外部機器の現在インターフェースでの前記ユーザの操作の座標位置、および前記第1の外部機器に表示された前記アプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、前記第1の外部機器に表示されたアプリケーションプログラムのインターフェースでの前記ユーザの操作の相対位置を確定するステップを含み、
相応して、前記スマートバックミラーの現在インターフェースでの座標位置を確定する前記ステップは、
前記相対位置、および前記スマートバックミラーに表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、前記スマートバックミラーの現在インターフェースでの座標位置を確定するステップを含むことを特徴とする請求項7に記載の方法。
【請求項9】
前記アプリケーションプログラムは、複数であり、前記アプリケーションプログラムのインターフェースレイアウトと前記ユーザ操作情報に基づいて、トリガーイベントを生成する前記ステップは、
第1の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを確定するステップと、
前記ターゲットアプリケーションプログラムのインターフェースレイアウトと前記ユーザ操作情報に基づいて、前記トリガーイベントを生成するステップと、を含むことを特徴とする請求項3〜請求項8のいずれか1項に記載の方法。
【請求項10】
第1の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを確定する前記ステップは、
前記スマートバックミラーの現在インターフェースに表示されたアプリケーションプログラムを前記ターゲットアプリケーションプログラムとするステップを含むことを特徴とする請求項9に記載の方法。
【請求項11】
前記第1の外部機器の現在インターフェースにまた、切り替えコントロールが表示され、前記切り替えコントロールは、前記第1の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示し、相応して、前記ユーザ操作情報は、前記第1の外部機器の現在インターフェースでの前記切り替えコントロールの座標位置と切り替えられたアプリケーションプログラムの標識を含み、前記トリガーイベントは、前記ターゲットアプリケーションプログラムから前記切り替えられたアプリケーションプログラムに切り替えるように指示し、
前記トリガーイベントに基づいて、前記スマートバックミラーでの前記アプリケーションプログラムが相応の操作を実行するように制御する前記ステップは、
前記トリガーイベントに基づいて、前記スマートバックミラーでの前記ターゲットアプリケーションプログラムを前記切り替えられたアプリケーションプログラムに切り替えるように制御するステップを含むことを特徴とする請求項9又は請求項10に記載の方法。
【請求項12】
スマートバックミラーのインターフェース表示情報を取得する前記ステップの前に、また、
前記アプリケーションプログラムの投影プロセスを作成するステップを含むことを特徴とする請求項2〜請求項8のいずれか1項に記載の方法。
【請求項13】
スマートバックミラーのインターフェース表示情報を取得する前記ステップの前に、さらに、
ユーザによって出力された投影指示を受信するステップを含み、
前記アプリケーションプログラムのインターフェース表示情報は、前記アプリケーションプログラムの投影対象のビデオを録画することであり、スマートバックミラーのインターフェース表示情報を取得する前記ステップは、
前記スマートバックミラーでのアプリケーションプログラムのインターフェースを録画し、前記投影対象のビデオを得るステップを含むことを特徴とする請求項12に記載の方法。
【請求項14】
前記スマートバックミラーでのアプリケーションプログラムのインターフェースを録画する前記ステップの前に、また、
前記アプリケーションプログラムの状態を投影状態として保存するステップを含み、
前記方法はまた、
前記アプリケーションプログラムの投影終了時に、前記アプリケーションプログラムの投影状態を終了状態に修正して、前記アプリケーションプログラムの投影プロセスを終了させるステップを含むことを特徴とする請求項13に記載の方法。
【請求項15】
スマートバックミラーを制御するための方法であって、
投影制御機器からのインターフェース表示情報を受信するステップと、
前記インターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示するステップと、
前記インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するステップと、
前記ユーザ操作情報を前記投影制御機器へ送信するステップと、を含むことを特徴とするスマートバックミラーを制御するための方法。
【請求項16】
前記スマートバックミラーのインターフェース表示情報は、前記スマートバックミラーでのアプリケーションプログラムのインターフェース表示情報であることを特徴とする請求項15に記載の方法。
【請求項17】
前記インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成する前記ステップは、
第1の外部機器の現在インターフェースでの前記ユーザの操作の座標位置を検出し、前記ユーザ操作情報を生成するステップを含むことを特徴とする請求項15又は請求項16に記載の方法。
【請求項18】
前記インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成する前記ステップは、
第1の外部機器の現在インターフェースでの前記ユーザの操作の座標位置と操作動作を検出し、前記ユーザ操作情報を生成するステップを含むことを特徴とする請求項15又は請求項16に記載の方法。
【請求項19】
前記アプリケーションプログラムは、複数であり、第1の外部機器の現在インターフェースにまた、切り替えコントロールが表示され、前記切り替えコントロールは、前記第1の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示し、前記ユーザ操作情報は、前記第1の外部機器の現在インターフェースでの前記切り替えコントロールの座標位置および切り替えられたアプリケーションプログラムの標識を含むことを特徴とする請求項16に記載の方法。
【請求項20】
前記方法はまた、
前記投影制御機器と接続された後に、前記投影制御機器からの投影対象のビデオを受信するステップであって、前記投影対象のビデオは前記アプリケーションプログラムのインターフェースを録画して得られたビデオであるステップと、
前記投影対象のビデオに基づいて、前記スマートバックミラーでのアプリケーションプログラムのインターフェースを表示するステップと、を含むことを特徴とする請求項16に記載の方法。
【請求項21】
スマートバックミラーを制御するための装置であって、
スマートバックミラーのインターフェース表示情報を取得するための処理モジュールと、
前記インターフェース表示情報を前記スマートバックミラーと通信可能に接続された少なくとも1つの外部機器へ送信するための送受信モジュールと、を含み、
前記処理モジュールはまた、前記少なくとも1つの外部機器からのユーザ操作情報に応答し、前記スマートバックミラーが相応の操作を実行するように制御するために使用され、前記ユーザ操作情報は、前記少なくとも1つの外部機器に対するユーザの操作を記述するためのものであることを特徴とするスマートバックミラーを制御するための装置。
【請求項22】
スマートバックミラーを制御するための装置であって、
投影制御機器からのインターフェース表示情報を受信するための送受信モジュールと、
前記インターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示するための表示モジュールと、
前記インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するための処理モジュールと、を含み、
前記送受信モジュールは、前記ユーザ操作情報を前記投影制御機器へ送信するために使用されることを特徴とするスマートバックミラーを制御するための装置。
【請求項23】
電子機器であって、
少なくとも1つのプロセッサ、および
前記少なくとも1つのプロセッサと通信可能に接続されたメモリ、および
出力装置を含み、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも1つのプロセッサによって実行されることにより、前記電子機器に請求項1〜請求項20のいずれか1項に記載の方法を実行させることができ、前記出力装置は、前記電子機器のインターフェースを表示するためのものであることを特徴とする電子機器。
【請求項24】
コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項1〜請求項20のいずれか1項に記載の方法を実行させるためのものであることを特徴とする非一時的なコンピュータ可読記憶媒体。
【請求項25】
コンピュータプログラムであって、前記コンピュータプログラムはプロセッサで実行されるとき、コンピュータに請求項1〜請求項20のいずれか1項に記載の方法を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、データ処理分野に関し、特に、車両ネットワーキング技術におけるスマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体に関する。
【背景技術】
【0002】
インテリジェント車両の発展に伴い、車載電子機器も徐々に増加してきた。バックミラーは、最初のリアビュー機能から、補助反転機能を備えたスマートバックミラーへと発展し、従来のスマートバックミラーにアプリケーションプログラムを設置してもよく、音楽再生、マップナビゲーションなどの数多くの機能を実現するようにする。しかしながら、
運転中に、ユーザはスマートバックミラーを操作及び観察する場合、頭のてっぺんに注意力を移す必要があり、操作が不便で、ユーザの運転セキュリティに危害が及ぶ。
【0003】
上記の問題を解決するために、従来技術には、スマートバックミラーのインターフェースを車載インフォテインメント端末に投影するという技術的解決手段を提供しており、ユーザは、車載インフォテインメント端末を見ることでスマートバックミラーに表示した内容を取得することができるようになり、ユーザがスマートバックミラーを見ることによる運転セキュリティへの影響という問題を回避する。スマートバックミラーは、スクリーンショットを撮り続け、つまり、画面記録であり、投影する必要がある内容をビデオとして録画して、ビデオをビデオストリームにエンコードして車載インフォテインメント端末に伝送し、これにより、車載インフォテインメント端末は、ビデオストリームをデコードしてスマートバックミラーのインターフェースを表示し、ひいては、スマートバックミラーのインターフェースが車載インフォテインメント端末に投影されるという解決手段を実現するようにする。
【0004】
しかしながら、従来技術において、ユーザは、スマートバックミラーのインターフェースを車載インフォテインメント端末に投影した後に、投影されたインターフェースを操作する必要がある場合、スマートバックミラーでしか操作できないから、操作が不便で、ユーザの運転セキュリティに危害が及ぶという問題が同様に存在する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願は、スマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体を提供し、ユーザがスマートバックミラーに投影されたアプリケーションプログラムを外部機器で制御することを実現することができる。
【課題を解決するための手段】
【0006】
第1の態様では、本願は、スマートバックミラーを制御するための方法を提供し、スマートバックミラーのインターフェース表示情報を取得するステップと、前記インターフェース表示情報を前記スマートバックミラーと通信可能に接続された少なくとも1つの外部機器へ送信するステップと、前記少なくとも1つの外部機器からのユーザ操作情報に応答し、前記スマートバックミラーが相応の操作を実行するように制御するステップであって、前記ユーザ操作情報が、前記少なくとも1つの外部機器に対する前記ユーザの操作を記述することに使用されるステップと、を含む。
【0007】
第2の態様では、本願は、スマートバックミラーを制御するための方法を提供し、投影制御機器からのインターフェース表示情報を受信するステップと、前記インターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示するステップと、前記インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するステップと、前記ユーザ操作情報を前記投影制御機器へ送信するステップと、を含む。
【0008】
第3の態様では、本願は、スマートバックミラーを制御するための装置を提供し、
スマートバックミラーのインターフェース表示情報を取得するための処理モジュールと、
前記インターフェース表示情報を前記スマートバックミラーと通信可能に接続された少なくとも1つの外部機器へ送信するための送受信モジュールと、を含み、
前記処理モジュールはまた、前記少なくとも1つの外部機器からのユーザ操作情報に応答し、前記スマートバックミラーが相応の操作を実行するように制御するために用いられ、前記ユーザ操作情報が、前記少なくとも1つの外部機器に対する前記ユーザの操作を記述することに使用される。
【0009】
第4の態様では、本願は、スマートバックミラーを制御するための装置を提供し、
投影制御機器からのインターフェース表示情報を受信するための送受信モジュールと、
前記インターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示するための表示モジュールと、
前記インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するための処理モジュールと、
前記ユーザ操作情報を前記投影制御機器へ送信するための前記送受信モジュールと、を含む。
【0010】
第5の態様では、本願は、電子機器を提供し、少なくとも1つのプロセッサ、前記少なくとも1つのプロセッサに通信接続されたメモリを含み、前記メモリは、コンピュータ実行命令を記憶し、前記少なくとも1つのプロセッサは、前記メモリに記憶されたコンピュータ実行命令を実行し、その結果、前記電子機器は、上記の第1の態様と第2の態様によるスマートバックミラーを制御するための方法を実行し、前記出力装置は、前記電子機器のインターフェースを表示するためのものである。
【0011】
第6の態様では、本願は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、コンピュータ実行命令が記憶されており、前記コンピュータ実行命令がプロセッサによって実行されるとき、上記の第1の態様と第2の態様によるスマートバックミラーを制御するための方法が実現される。
【0012】
第7の態様では、本願は、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも1つのプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも1つのプロセッサは、前記コンピュータプログラムを実行することによって、前記電子機器に上記の第1の態様と第2の態様によるスマートバックミラーを制御するための方法を実行させる。
【発明の効果】
【0013】
上記の各態様の有益な効果について、具体的に、下記の具体的な実施形態に記述した有益な効果を参照することができる。
【0014】
本願に係るスマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体により、具体的な実現手段は、スマートバックミラーのインターフェース表示情報を取得すること、インターフェース表示情報をスマートバックミラーと通信可能に接続された少なくとも1つの外部機器へ送信すること、及び少なくとも1つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御し、ユーザ操作情報が少なくとも1つの外部機器に対するユーザの操作を記述するためのものであること、を含む。本願で開示される技術的解決手段において、ユーザが投影される外部機器でスマートバックミラーでの投影されたインターフェースを制御することを実現でき、操作が便利で、ユーザの運転セキュリティを確保できる。
【図面の簡単な説明】
【0015】
図面は、本解決手段をよりよく理解するために使用されるものであり、本願に対する限定を構成しない。
【図1】本願の実施例に係るスマートバックミラーを制御するための方法の一例示的なシステムアーキテクチャ図である。
【図2】本願に係るスマートバックミラーを制御するための方法のフローチャートである。
【図3】本願に係るスマートバックミラーのインターフェース変化の概略図1である。
【図4】本願に係る第1の外部機器のインターフェース変化の概略図2である。
【図5】本願に係るスマートバックミラーのインターフェース変化の概略図2である。
【図6】本願に係る第1の外部機器のインターフェース変化の概略図2である。
【図7】本願に係る第1の外部機器のインターフェースの概略図である。
【図8】本願に係るスマートバックミラーのインターフェースの概略図である。
【図9】本願に係る第1の外部機器のインターフェース変化の概略図3である。
【図10】本願に係るスマートバックミラーを制御するための方法が適用するシーンの概略図である。
【図11】本願に係るスマートバックミラーを制御するための装置の構造概略図1である。
【図12】本願に係るスマートバックミラーを制御するための装置の構造概略図2である。
【図13】本願に係る電子機器の構造概略図である。
【発明を実施するための形態】
【0016】
以下、本願の示範的な実施例を図面に合わせて説明する。理解に寄与するための本願の実施例の様々な詳細が含まれるが、これらは、示範的なものにすぎないと考えられるべきである。よって、当業者は、ここに記述した実施例に対する様々な変化や修正が可能であり、本願の範囲や趣旨から逸脱しないと認識すべきである。同様に、明確且つ簡潔のため、以下の記述では、周知の機能や構造に関する説明を省略するようにする。
【0017】
図1は、本願の実施例に係るスマートバックミラーを制御するための方法の一例示的なシステムアーキテクチャ図である。図1に示すように、該方法は、スマートバックミラーと少なくとも1つの外部機器に関する。本実施例におけるスマートバックミラーが車両内に設置され、スマートバックミラーが車両内部のフロントガラスの中央に近い位置などに取り付けられることができ、本実施例におけるスマートバックミラーは、リアビュー機能のみを備えるバックミラー、または、補助反転機能を備えたスマートバックミラー、または、ナビゲーション、音楽再生などの他の機能を備えたスマートバックミラーであってもよいが、これらに限定されないと理解すべきである。
【0018】
本実施例における外部機器は、車両における車載インフォテインメント端末か、または、車両におけるユーザの端末機器であってもよい。本実施例における車載インフォテインメント端末は、車両のセンターコンソール内に取り付けられることができ、車載インフォテインメント端末のスクリーンは、センターコンソールの表面に設置されて様々な情報をユーザに表示する。スマートバックミラーと車載インフォテインメント端末との間は、有線接続、例えばユニバーサルシリアルバス(Universal Serial Bus、USBと略称)によって車載インフォテインメント端末と接続されるか、または、無線接続、例えばブルートゥース(登録商標)によって接続されるか、または、ワイヤレス・フィディリティー(Wireless Fidelity、Wi−Fiと略称)によって接続されてもよい。本実施例におけるスマートバックミラーにより、車両の反転を補助でき、スマートバックミラーにまた、アプリケーションプログラムを設置してもよく、音楽再生、マップナビゲーションなどの数多くの機能を実現するようにする。本実施例におけるユーザの端末機器は、携帯電話、パーソナルデジタルアシスタント(Personal Digital Assistant、PDAと略称)、タブレットコンピュータ、ポータブル機器(例えば、ポータブルコンピュータ、ポケットコンピュータ又はハンドヘルドコンピュータ)などであってもよいが、これらに限定されない。図1には、車載インフォテインメント端末である1つの外部機器を例として説明すると理解すべきである。
【0019】
図1に示すように、スマートバックミラーが車両内部のフロントガラス中央に近い位置に設置されることは多いため、ユーザがスマートバックミラーのインターフェースを操作して見るとき、頭の上に注意力を移す必要があり、操作が不便で、ユーザの運転セキュリティに危害が及ぶ。従来技術において、該問題を解決するために、スマートバックミラーのインターフェースを外部機器に投影する技術的解決手段を提供し、外部機器は、例えば車載インフォテインメント端末であり、その結果、ユーザは、車載インフォテインメント端末を見ることでスマートバックミラーに表示した内容を取得することができ、ユーザがスマートバックミラーを見ることによる運転セキュリティへの影響という問題を回避する。
【0020】
しかし、従来技術において、ユーザは、スマートバックミラーのインターフェースを車載インフォテインメント端末に投影した後に、投影されたインターフェースを操作する必要がある場合、スマートバックミラーでしか操作できないから、スマートバックミラーでのインターフェースに対する制御を車載インフォテインメント端末で実現できないため、従来のスマートバックミラーのインターフェースを車載インフォテインメント端末に投影した後に、操作が不便で、ユーザの運転セキュリティに危害が及ぶという問題が同様に存在する。
【0021】
上記の問題を解決するために、本願は、スマートバックミラーを制御するための方法を提供し、該方法において、ユーザは、スマートバックミラーのインターフェースを外部機器に投影した後に、外部機器に投影されたインターフェースを操作することにより、スマートバックミラーのインターフェースに対する制御を実現でき、操作が便利で、ユーザの運転セキュリティを確保できる。
【0022】
以下、本願に係るスマートバックミラーを制御するための方法について具体的な実施例に合わせながら説明する。図2は、本願に係るスマートバックミラーを制御するための方法のフローチャートである。図2に示すような方法フローの実行主体は、スマートバックミラーを制御するための装置であってもよく、該スマートバックミラーを制御するための装置は、スマートバックミラー又はスマートバックミラーにおける投影制御機器であってもよく、該投影制御機器は、プロセッサまたはチップなどであってもよく、該投影制御機器は、任意のソフトウェア及び/又はハードウェアによって実現することができると理解すべきであり、以下、スマートバックミラーの制御装置が投影制御機器である場合について説明する。
【0023】
図2に示すように、本実施例に係るスマートバックミラーを制御するための方法は、以下のステップを含み、
S201、投影制御機器がスマートバックミラーのインターフェース表示情報を取得し、
S202、投影制御機器がインターフェース表示情報をスマートバックミラーと通信可能に接続された少なくとも1つの外部機器へ送信し、
S203、第1の外部機器がインターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示し、
S204、第1の外部機器がインターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成し、
S205、第1の外部機器がユーザ操作情報を投影制御機器へ送信し、
S206、投影制御機器が少なくとも1つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御し、ユーザ操作情報が少なくとも1つの外部機器に対するユーザの操作を記述するためのものである。
【0024】
上記のS201で、投影制御機器は、スマートバックミラーのインターフェースが投影されたとき、スマートバックミラーのインターフェース表示情報を取得することができる。本実施例において、投影制御機器は、スマートバックミラーに表示されたインターフェースに対して画面記録して、ひいては、スマートバックミラーのインターフェース表示情報を得ることができる。または、投影制御機器はまた、スマートバックミラーの現在インターフェースの表示情報を取得し、該現在インターフェースの表示情報をインターフェース表示情報とすることができ、このような方式で、インターフェース表示情報は、インターフェースの構造化されたレイアウト、およびインターフェースに表示された情報などであってもよい。
【0025】
上記のS202で、本実施例における少なくとも1つの外部機器は、上記した関連記述を参照することができ、ここで繰り返して説明しない。スマートバックミラーが少なくとも1つの外部機器に投影されたとき、スマートバックミラーのインターフェース表示情報を該少なくとも1つの外部機器に送信し、個々の外部機器は、いずれもスマートバックミラーのインターフェース表示情報に基づいて、スマートバックミラーでのインターフェースを確定し、ひいては、外部機器でスマートバックミラーでの投影されたインターフェースを表示することができるようにする。
【0026】
上記のS203で、本実施例において、第1の外部機器は、上記の少なくとも1つの外部機器のいずれかの機器で、以下、第1の外部機器を例として、該少なくとも1つの外部機器内の個々の外部機器の操作プロセスを説明する。個々の外部機器の操作プロセスは、該第1の外部機器の操作プロセスと同じであると理解すべきである。
【0027】
本実施例において、第1の外部機器は、投影制御機器からのインターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示することができる。スマートバックミラーのインターフェース表示情報は、スマートバックミラーのメインインターフェース表示情報であるか、または、スマートバックミラーでのアプリケーションプログラムのインターフェース表示情報であってもよい。スマートバックミラーのメインインターフェースは、アプリケーションプログラムに入る前のスマートバックミラーのインターフェースであってもよいと理解すべきである。
【0028】
選択的に、本実施例におけるスマートバックミラーのインターフェースに、投影コントロールが表示でき、ユーザは、該投影コントロールを選択した後に、投影制御機器により、スマートバックミラーのインターフェースが少なくとも1つの外部機器に投影されるように制御する。
【0029】
例示的に、図3は、本願に係るスマートバックミラーのインターフェース変化の概略図1である。図3におけるインターフェース301に示すように、該インターフェース301は、スマートバックミラーのメインインターフェースであり、該メインインターフェースに、スマートバックミラーでのアプリケーションプログラムのアイコン、日時、設定などの情報が表示されている。該インターフェース301にまた、投影コントロールが表示されており、ユーザが該投影コントロールをクリックすると、インターフェース301は、インターフェース302にジャンプし、該インターフェース302に、投影される外部機器の標識、例えば「外部機器1」が表示されており、インターフェース301における情報も表示されている。選択的に、該インターフェース302に、インターフェース301における情報が表示されず、表示投影される外部機器の標識、例えば「外部機器1」、および「メインインターフェースが外部機器に投影され済みです」などの文字注意情報が表示されてもよい。スマートバックミラーのインターフェースを外部機器に投影する前に、スマートバックミラーは、外部機器と有線接続、または無線接続を確立しておると理解すべきである。
【0030】
投影制御機器がスマートバックミラーのインターフェースを外部機器に投影するように制御した後に、外部機器に、スマートバックミラーでの投影されたインターフェースを対応させて表示できる。
【0031】
例示的に、図4は、本願に係る第1の外部機器のインターフェース変化の概略図2である。図4におけるインターフェース401に示すように、該インターフェース401は、第1の外部機器に投影されない前のインターフェースで、該インターフェースは、第1の外部機器のメインインターフェースであってもよく、例えば該インターフェース401に、日時、設定などの情報が表示されてもよい。スマートバックミラーのインターフェースが第1の外部機器に投影されるように制御した後に、該第1の外部機器では、インターフェース401はインターフェース402にジャンプし、該インターフェース402が上記の図3におけるインターフェース301と同じであってもよいが、該インターフェース402に投影コントロールが表示されない。
【0032】
上記のS204と上記のS205で、第1の外部機器は、第1の外部機器に表示された投影のインターフェースに対するユーザの操作を検出し、ユーザ操作情報を生成することができる。ユーザ操作情報が第1の外部機器に対するユーザの操作情報を記述するためのものであると理解すべきである。ユーザ操作情報が、第1の外部機器に設置された機械コントロールに対するユーザの操作、または、第1の外部機器に表示された投影のインターフェースに対するユーザの操作を記述できる。なお、本実施例において、第1の外部機器はまた、ユーザ操作情報を投影制御機器へ送信し、ユーザの操作情報は、投影制御機器がスマートバックミラーを制御するように指示し、その結果、投影制御機器は、スマートバックミラーが相応の操作を実行するように制御する。
【0033】
例示的に、インターフェース402に、ユーザが設定コントロールをクリックしたら、第1の外部機器は、該インターフェース402に対するユーザの操作を検出し、ユーザ操作情報を生成することができ、該ユーザ操作情報は、ユーザが設定コントロールをクリックしたことを記述するためのものである。
【0034】
上記のS206で、投影制御機器は、ユーザ操作情報を受信した後に、外部機器の投影インターフェースでのユーザ操作を確定することができる。つまり、本実施例における投影制御機器は、少なくとも1つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御することができる。
【0035】
例示的に、ユーザ操作情報は、ユーザが設定コントロールをクリックしたことを記述するためのものである場合、投影制御機器は、スマートバックミラーが設定インターフェースに入る操作を実行するように制御し、対応して、上記のスマートバックミラーのインターフェース302は、インターフェース303にジャンプし、該インターフェース303がスマートバックミラーの設定インターフェースである。例えば、該インターフェース303に接続方式、例えばブルートゥース接続、より多くの接続などの設定、およびインターフェースの明るさや壁紙などの設定が表示されてもよい。スマートバックミラーのインターフェースが該第1の外部機器に投影されたため、相応して、外部機器のインターフェース402はインターフェース403にジャンプし、該インターフェース403が上記のインターフェース303と同じである。
【0036】
本実施例に係るスマートバックミラーを制御するための方法は、スマートバックミラーのインターフェース表示情報を取得するステップと、インターフェース表示情報をスマートバックミラーと通信可能に接続された少なくとも1つの外部機器へ送信するステップと、少なくとも1つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御ステップであって、ユーザ操作情報が少なくとも1つの外部機器に対するユーザの操作を記述するためのものであるステップと、を含む。本実施例において、外部機器は、外部機器に投影されたインターフェースに対するユーザの操作を検出し、ひいては、ユーザの操作情報をスマートバックミラーの投影制御機器へ送信することができ、スマートバックミラーによるインターフェース制御を実現するようにし、つまり、本実施例において、ユーザは、外部機器でスマートバックミラー投影のインターフェースに対する制御を実現することができ、操作が便利で、ユーザの運転セキュリティを確保する。
【0037】
上記の実施例に基づいて、下記の実施例において、スマートバックミラーでのアプリケーションプログラムの投影制御プロセスについて説明し、下記の実施例におけるスマートバックミラーを制御するための方法は、上記の実施例にも適用すると理解すべきである。上記したスマートバックミラーのインターフェースはスマートバックミラーでのアプリケーションプログラムのインターフェースであり、スマートバックミラーでのアプリケーションプログラムが例えば上記のインターフェース301に示すような音楽アプリケーションプログラム、ナビゲーションアプリケーションプログラム又は天気アプリケーションプログラムなどであってもよい。相応して、外部機器に投影されたインターフェースに対するユーザの操作は、即ち、外部機器に投影されたアプリケーションプログラムのインターフェースに対する操作であり、投影制御機器は、ユーザ操作情報に基づいて、スマートバックミラーでのアプリケーションプログラムが相応の操作を実行するように制御することができる。
【0038】
以下、本願に係るスマートバックミラーを制御するための方法について図4に合わせながらさらに詳細に説明する。図4は、本願に係るスマートバックミラーを制御するための方法の実施例2のフローチャートである。図4に示すように、本実施例に係るスマートバックミラーを制御するための方法は、以下のステップを含み、
S401、投影制御機器がユーザによって出力された投影指示を受信して、スマートバックミラーでのアプリケーションプログラムのインターフェースを録画し、投影対象のビデオを得て、投影指示が、アプリケーションプログラムのインターフェースを少なくとも1つの外部機器に投影するように指示するためのものであり、
S402、投影制御機器が投影対象のビデオを少なくとも1つの外部機器へ送信し、
S403、第1の外部機器が投影対象のビデオに基づいて、スマートバックミラーでのアプリケーションプログラムのインターフェースを表示し、
S404、第1の外部機器がインターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成し、
S405、第1の外部機器がユーザ操作情報を投影制御機器へ送信
S406、投影制御機器がアプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成し、トリガーイベントは、アプリケーションプログラムが相応の操作を実行するように指示し、
S407、トリガーイベントに基づいて、スマートバックミラーでのアプリケーションプログラムが相応の操作を実行するように制御する。
【0039】
上記のS401で、スマートバックミラーのインターフェースがスマートバックミラーでのアプリケーションプログラムのインターフェースであるとき、アプリケーションプログラムのインターフェースに、投影コントロールが表示でき、ユーザが該投影コントロールをクリックすると、投影指示をスマートバックミラーにおける投影制御機器へ入力するようにトリガーすることができる。本実施例において、ユーザはまた、音声命令又は動作命令を用いて投影指示を入力することができると理解すべきである。
【0040】
例示的に、図5は、本願に係るスマートバックミラーのインターフェース変化の概略図2である。図5におけるインターフェース501に示すように、該インターフェース501に表示されたのは、少なくとも1つの外部機器に投影されたスマートバックミラーの音楽アプリケーションプログラムのインターフェースであり、該インターフェースに現在、歌曲再生のインターフェースを表示している。
【0041】
本実施例において、アプリケーションプログラムのインターフェースを投影する方式は、投影制御機器がスマートバックミラーでのアプリケーションプログラムのインターフェースを録画し、投影対象のビデオを得て、ひいては、該投影対象のビデオを少なくとも1つの外部機器へ送信し、個々の外部機器はアプリケーションプログラムのインターフェースを投影するようにすることである。
【0042】
上記のS402で、投影制御機器は、該投影対象のビデオを得た後に、該投影対象のビデオをエンコードし、エンコードされた投影対象のビデオを少なくとも1つの外部機器へ送信することができる。
【0043】
相応して、上記のS403で、第1の外部機器は、投影制御機器からの投影対象のビデオを受信した後に、該投影対象のビデオをデコードして、該アプリケーションプログラムのインターフェースを第1の外部機器に表示することができる。例示的に、図6は、本願に係る第1の外部機器のインターフェース変化の概略図2である。図6におけるインターフェース601に示すように、該インターフェース601に表示されたのは、スマートバックミラー内の音楽アプリケーションプログラムのインターフェースであり、該インターフェースに現在、歌曲再生のインターフェースを表示している。
【0044】
上記のS404で、例えば、ユーザは、該インターフェース601で曲を切ったり、音量を調節したり、早送りしたりなどの操作を行うことができ、ユーザは、異なるアプリケーションプログラムに対して、インターフェースに対する操作が異なってもよいと理解すべきである。第1の外部機器はインターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成する。ユーザの操作情報は、ユーザが第1の外部機器に現在表示されているインターフェースでのユーザ操作の座標位置を含むことができる。インターフェース601に示すように、仮に第1の外部機器のA位置を原点として、横方向、縦方向をそれぞれX軸、Y軸とすると、第1の外部機器に現在表示されているインターフェースでのユーザ操作の座標位置は、該座標系での位置であると理解すべきである。選択的に、ユーザの操作情報はまた、ユーザの操作動作を含むことができる。ユーザの操作動作は例えば、シングルクリック、ダブルクリック、スライドなどの動作であってもよい。
【0045】
例示的に、本実施例において、ユーザが該インターフェース601で一時停止コントロールをクリックすると、該ユーザの操作情報は、ユーザがクリックした座標位置、およびシングルクリックという操作動作を含むことができる。
【0046】
上記のS406で、投影制御機器は、第1の外部機器からのユーザ操作情報を受信した後に、アプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成することができる。トリガーイベントは、アプリケーションプログラムが相応の操作を実行するように指示する。
【0047】
以下、本実施例において、トリガーイベントを生成する可能な実施形態について説明する。
【0048】
第1種方法、本実施例におけるユーザ操作情報は、第1の外部機器の現在インターフェースでのユーザ操作の座標位置を含む。投影制御機器は、第1の外部機器の現在インターフェースでのユーザ操作の座標位置をスマートバックミラーの現在インターフェースでの座標位置に変換することができる。
【0049】
このような方法では、上記のインターフェース601に示すように、第1の外部機器のインターフェースの全部で投影されたアプリケーションプログラムのインターフェースが表示された場合、上記のインターフェース501に示すように、スマートバックミラーのインターフェースの全部で投影されたアプリケーションプログラムのインターフェースが表示された場合、本実施例において、第1の外部機器の現在インターフェースでのユーザ操作の座標位置、および第1の外部機器に表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、第1の外部機器に表示されたアプリケーションプログラムのインターフェースでのユーザ操作の相対位置を確定することができる。
【0050】
例示的に、ユーザがインターフェース601で一時停止コントロールをクリックすると、該ユーザの操作情報は、ユーザがクリックした座標位置を含むことができる。本実施例において、該座標位置、および第1の外部機器に表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、該アプリケーションプログラムのインターフェースに対する該座標位置の相対位置を確定する。例えば該座標位置が該アプリケーションプログラムのインターフェースの左下のある位置にある。
【0051】
本実施例において、上記のような相対位置、およびスマートバックミラーに表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、スマートバックミラーの現在インターフェースでの座標位置を確定することができる。例示的に、該座標位置が該アプリケーションプログラムのインターフェースの左下のある位置にあると、スマートバックミラーでのアプリケーションプログラムのインターフェースのサイズに基づいて、ユーザがクリックした位置は該スマートバックミラーでのアプリケーションプログラムのインターフェースの左下のある位置にあると確定することができる。
【0052】
このような方法では、図7に示すように、第1の外部機器のインターフェースの一部で投影されたアプリケーションプログラムのインターフェースが表示された場合、他の部分で時間などの情報が表示され、図8に示すように、スマートバックミラーのインターフェースの一部で投影されたアプリケーションプログラムのインターフェースが表示された場合、他の部分で時間などの情報が表示される。図7は、本願に係る第1の外部機器のインターフェースの概略図である。図8は、本願に係るスマートバックミラーのインターフェースの概略図である。本実施例において、第1の外部機器の現在インターフェースでのユーザ操作の座標位置、および第1の外部機器に表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、第1の外部機器に表示されたアプリケーションプログラムのインターフェースでのユーザ操作の相対位置を確定することができる。第1の外部機器のインターフェースの全部でアプリケーションプログラムのインターフェースに表示されないため、第1の外部機器に表示されたアプリケーションプログラムのインターフェースでのユーザ操作の相対位置を確定するとき、第1の外部機器に表示されたアプリケーションプログラムのインターフェースの座標位置を確定する必要があると理解すべきである。図7の第1の外部機器左側の座標位置のように、第1の外部機器に表示されたアプリケーションプログラムのインターフェースの座標位置とは、第1の外部機器のインターフェースでのアプリケーションプログラムのインターフェースの位置のセットであると理解すべきである。
【0053】
例示的に、ユーザがインターフェース601で一時停止コントロールをクリックすると、該ユーザの操作情報は、ユーザがクリックした座標位置を含むことができる。本実施例において、該座標位置、および第1の外部機器に表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、該アプリケーションプログラムのインターフェースに対する該座標位置の相対位置を確定することができる。例えば該座標位置が該アプリケーションプログラムのインターフェースの左下のある位置にある。
【0054】
相応して、投影制御機器は、相対位置、およびスマートバックミラーに表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、スマートバックミラーの現在インターフェースでの座標位置を確定することができる。例示的に、該座標位置が該アプリケーションプログラムのインターフェースの左下のある位置にあると、スマートバックミラーでのアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、ユーザがクリックした位置が該スマートバックミラーでのアプリケーションプログラムのインターフェースの左下のある位置にあると確定することができる。第1の外部機器の現在インターフェースでのユーザ操作の座標位置をスマートバックミラーの現在インターフェースでの座標位置に変換する上記のような2種類の方法は、組み合わせて使用することができると理解すべきである。
【0055】
本実施例において、投影制御機器は、外部機器の現在インターフェースでのユーザ操作の座標位置をスマートバックミラーの現在インターフェースでの座標位置に変換した後に、アプリケーションプログラムのインターフェースレイアウト、およびスマートバックミラーの現在インターフェースでの座標位置に基づいて、トリガーイベントを生成することができる。
【0056】
アプリケーションプログラムのインターフェースレイアウトに基づいて、スマートバックミラーの現在インターフェースでの座標位置に対応する操作コントロールを確定し、ひいては、操作コントロールに基づいて、トリガーイベントを生成することができる。例示的に、アプリケーションプログラムのインターフェースレイアウトに基づいて、スマートバックミラーの現在インターフェースでの座標位置に対応する操作コントロールは一時停止コントロールであると確定すると、該一時停止コントロールに基づいてトリガーイベントを生成し、該トリガーイベントは、音楽アプリケーションプログラムに再生を一時停止するように指示する。
【0057】
第2種方法、ユーザ操作の情報は、第1の外部機器の現在インターフェースでのユーザ操作の座標位置とユーザの操作動作を含む。本実施例において、アプリケーションプログラムのインターフェースレイアウト、スマートバックミラーの現在インターフェースでの座標位置、およびユーザの操作動作に基づいて、トリガーイベントを生成することができる。
【0058】
本実施例において、第1の外部機器の現在インターフェースでのユーザ操作の座標位置をスマートバックミラーの現在インターフェースでの座標位置に変換する方法について、具体的に上記の第1種方法の関連記述を参照することができると理解すべきである。本実施例において、スマートバックミラーの現在インターフェースでの座標位置を確定した後に、アプリケーションプログラムのインターフェースレイアウトとスマートバックミラーの現在インターフェースでの座標位置に基づいて、アプリケーションプログラムにおけるユーザの操作位置を決定し、ひいては、ユーザの操作動作に基づいて、トリガーイベントを生成することができる。例えばユーザのシングルクリックは、再生を一時停止することを表徴し、ダブルクリックは、曲を切ることを表徴し、対応して、本実施例において、生成されたトリガーイベントは、音楽アプリケーションプログラムに再生を一時停止するように制御するか、または、音楽アプリケーションプログラムに曲を切るように制御するように指示する。
【0059】
相応して、上記のS407で、投影制御機器は、トリガーイベントに基づいて、スマートバックミラーでのアプリケーションプログラムが相応の操作を実行するように制御することができる。例示的に、ユーザが第1の外部機器で一時停止コントロールをクリックすると、投影制御機器は、音楽アプリケーションプログラムが再生を一時停止するように制御し、対応して、上記のスマートバックミラーのインターフェース501は、インターフェース502にジャンプし、該インターフェース502は、音楽アプリケーションプログラムが再生を一時停止するインターフェースであり、例えば、該インターフェース502に音楽の一時停止の標識が表示されることができる。スマートバックミラーのインターフェースが第1の外部機器に投影されるため、相応して、第1の外部機器のインターフェース601はインターフェース602にジャンプし、該インターフェース602が上記のインターフェース502と同じである。
【0060】
本実施例において、投影制御機器は、ユーザの操作情報における第1の外部機器の現在インターフェースでのユーザ操作の座標位置、およびユーザの操作動作に基づいて、ユーザ操作の意図を決定し、ひいては、対応するトリガーイベントを生成し、ひいては、スマートバックミラーでのアプリケーションプログラムに対する制御を実現することができる。
【0061】
上記の実施例において、スマートバックミラー内の1つのアプリケーションプログラムが第1の外部機器に投影されて逆制御を実現する(即ち、スマートバックミラーでのアプリケーションプログラムに対する制御を第1の外部機器で実現する)プロセスを説明した。本願におけるスマートバックミラーを制御するための方法は、マルチアプリケーションプログラムの同時投影を実現することができると注意すべきである。相応して、マルチアプリケーションプログラムのインターフェースが第1の外部機器に同時投影されたとき、第1の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを確定し、ひいては、ターゲットアプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成することができる。本実施例において、ターゲットアプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成する方法について、具体的に、上記の実施例2の「アプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成する」の関連記述を参照することができると理解すべきである。投影制御機器は、スマートバックミラーの現在インターフェースに表示されたアプリケーションプログラムを確定して、スマートバックミラーの現在インターフェースに表示されたアプリケーションプログラムをターゲットアプリケーションプログラムとすることができる。
【0062】
マルチアプリケーションプログラムのインターフェースが第1の外部機器に同時投影されたシーンで、第1の外部機器の現在インターフェースにまた、切り替えコントロールが表示され、切り替えコントロールは、第1の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示する。選択的に、該切り替えコントロールは、ターゲットアプリケーションプログラム以外の投影されているアプリケーションプログラムの標識であってもよい。
【0063】
相応して、ユーザが該切り替えコントロールをクリックすると、第1の外部機器によって生成されたユーザ操作情報は、第1の外部機器の現在インターフェースでの切り替えコントロールの座標位置と切り替えられたアプリケーションプログラムの標識を含み、または、第1の外部機器によって生成されたユーザ操作情報は、第1の外部機器の現在インターフェースでの切り替えコントロールの座標位置、ユーザの操作動作、および切り替えられたアプリケーションプログラムの標識を含む。対応して、投影制御機器は、該ユーザの操作動作に基づいて、生成されたトリガーイベントは、ターゲットアプリケーションプログラムから切り替えられたアプリケーションプログラムに切り替えるように指示する。相応して、投影制御機器は、トリガーイベントに基づいて、スマートバックミラーでのアプリケーションプログラムが切り替えられたアプリケーションプログラムに切り替えるように制御する。
【0064】
例示的に、図9は、本願に係る第1の外部機器のインターフェース変化の概略図3である。図9に示すように、該インターフェース901が音楽アプリケーションプログラム投影のインターフェースであり、該インターフェース901に切り替えコントロールが表示されており、例えば切り替えコントロールがナビゲーションアプリケーションプログラムの標識や天気アプリケーションプログラムの標識である。ユーザがナビゲーションアプリケーションプログラムの標識をクリックした後に、インターフェース901がインターフェース902にジャンプし、該インターフェース902に表示されたのは、ナビゲーションアプリケーションプログラムのインターフェースである。図9と対応して、スマートバックミラーのインターフェース変化は、図9におけるインターフェース変化と同じであると理解すべきである。
【0065】
本実施例におけるスマートバックミラーを制御するための方法により、マルチアプリケーションプログラムの投影を実現できることを説明するために、まず、従来技術におけるスマートバックミラーを制御するための方法について紹介する。
【0066】
従来技術における投影方法は、投影アプリケーションプログラムをスマートバックミラーに設置し、あるアプリケーションプログラムのインターフェースを外部機器に投影するとき、該投影アプリケーションプログラムを起動する必要があり、該アプリケーションプログラムのインターフェースの投影を実現するようにする方法である。該投影アプリケーションプログラムには、スマートバックミラーでのアプリケーションプログラムのビジネスロジックコードが集積されており、投影するとき、アプリケーションプログラムのビジネスロジックコードおよび投影コードを呼び出して実現する必要がある。スマートバックミラーにアプリケーションプログラムを追加するとき、該追加されるアプリケーションプログラムのビジネスロジックコードを該投影アプリケーションプログラムにコピーし、具体的に、該投影アプリケーションプログラムのインストールパッケージapkにコピーする必要がある。従来技術において、各アプリケーションプログラムの投影は、いずれも1つのプロセスで実現(即ち、該投影アプリケーションプログラム)され、従来技術において、1つのアプリケーションプログラムのインターフェースの投影のみを同時に許可することができる。従来技術において、ユーザがアプリケーションプログラムの投影するとき、現在投影されたアプリケーションプログラムを終了してから、もう1つのアプリケーションプログラムを投影する必要があり、マルチアプリケーションプログラムが外部機器に同時に投影されることを実現できない。
【0067】
本実施例において、スマートバックミラーにおける各アプリケーションプログラムにソフトウェア開発ツール(Software Development Kit、SDK)を設置し、該SDKには、逆制御ビジネスロジックを実現し、各アプリケーションプログラムの実行に対応する操作を制御するための動作が集積されている。本実施例において、アプリケーションプログラムを追加するとき、該追加されるアプリケーションプログラムのビジネスロジックコードをコピーする必要がなく、該追加されるアプリケーションプログラムにSDKを集積させるだけでよく、イベントを節約し、後続の他のアプリケーションプログラムの快速な投影逆制御拡張の実現に有利である。
【0068】
対応して、本実施例において、本願に係るスマートバックミラーを制御するための方法について図10に合わせてさらに説明する。図10は、本願に係るスマートバックミラーを制御するための方法が適用するシーンの概略図であり、図10に示すように、該シーンには、第1の外部機器とスマートバックミラーが含まれる。スマートバックミラーには、投影制御機器、および複数のアプリケーションプログラム、例えば、音楽アプリケーションプログラム、ナビゲーションアプリケーションプログラム及び天気アプリケーションプログラムが含まれる。第1の外部機器は、上記の実施例における第1の外部機器によって実行される動作を実行するためのものであり、投影制御機器は、上記の投影制御機器によって実行される動作を実行するためのものである。
【0069】
投影制御機器が投影指示を受信した後に、投影する必要があるアプリケーションプログラムは、まず投影制御機器に登録される必要があり、投影制御機器は、個々の投影されるアプリケーションプログラムの投影プロセスを作成し、ひいては、アプリケーションプログラムのインターフェースが第1の外部機器に投影されるように制御して、アプリケーションプログラムの状態を投影状態として保存する。
【0070】
投影制御機器は、第1の外部機器からのユーザ操作情報を受信した後に、該ユーザ操作情報とアプリケーションプログラムのインターフェースレイアウトに基づいて、トリガーイベントMotionEventを生成して、トリガーイベントをターゲットアプリケーションプログラム(第1の外部機器の現在インターフェースに表示されたアプリケーションプログラム)の投影プロセスに配布し、具体的に、ターゲットアプリケーションプログラムの投影プロセスでのイベントインプットウィンドウ(window.inject Input Event(event))に配布し、ひいては、ターゲットアプリケーションプログラムが、SDKにおける逆制御ビジネスロジックを用いてターゲットアプリケーションプログラムに対する逆制御を実現するように制御することができる。
【0071】
相応して、アプリケーションプログラムの投影終了時に、投影制御機器は、アプリケーションプログラムの投影状態を終了状態に修正することができる。
【0072】
本実施例に係るスマートバックミラーを制御するための方法により、スマートバックミラーの複数のアプリケーションプログラムを同時に投影することを実現でき、複数の投影されたアプリケーションプログラムの切り替えを実現でき、従来技術において、ユーザがアプリケーションプログラムを投影するとき、現在投影されているアプリケーションプログラムを終了させてから、もう1つのアプリケーションプログラムを投影するという問題を回避し、ユーザ体験を向上させる。
【0073】
図11は、本願に係るスマートバックミラーを制御するための装置の構造概略図1である。該スマートバックミラーを制御するための装置は、上記の実施例における投影制御機器である。図11に示すように、該スマートバックミラーを制御するための装置1100は、処理モジュール1101及び送受信モジュール1102を含む。
【0074】
処理モジュール1101は、スマートバックミラーのインターフェース表示情報を取得するために使用される。
【0075】
送受信モジュール1102は、インターフェース表示情報をスマートバックミラーと通信可能に接続された少なくとも1つの外部機器へ送信するために使用される。
【0076】
相応して、処理モジュール1101はまた、少なくとも1つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御するために使用され、ユーザ操作情報が少なくとも1つの外部機器に対するユーザの操作を記述するためのものである。
【0077】
可能な一実施形態で、スマートバックミラーのインターフェース表示情報は、スマートバックミラーでのアプリケーションプログラムのインターフェース表示情報である。
【0078】
相応して、処理モジュール1101は、具体的に、ユーザ操作情報に基づいて、スマートバックミラーでのアプリケーションプログラムが相応の操作を実行するように制御するために使用される。
【0079】
可能な一実施形態で、処理モジュール1101は、具体的に、アプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成し、トリガーイベントは、アプリケーションプログラムが相応の操作を実行するように指示するために使用され、トリガーイベントに基づいて、スマートバックミラーでのアプリケーションプログラムが相応の操作を実行するように制御するために使用される。
【0080】
可能な一実施形態で、ユーザ操作情報は、第1の外部機器の現在インターフェースでのユーザ操作の座標位置を含み、第1の外部機器は、少なくとも1つの外部機器のいずれかの機器である。
【0081】
相応して、処理モジュール1101は、具体的に、第1の外部機器の現在インターフェースでのユーザ操作の座標位置をスマートバックミラーの現在インターフェースでの座標位置に変換し、アプリケーションプログラムのインターフェースレイアウト、およびスマートバックミラーの現在インターフェースでの座標位置に基づいて、トリガーイベントを生成するために使用される。
【0082】
可能な一実施形態で、処理モジュール1101は、具体的に、アプリケーションプログラムのインターフェースレイアウトに基づいて、スマートバックミラーの現在インターフェースでの座標位置に対応する操作コントロールを確定し、操作コントロールに基づいて、トリガーイベントを生成するために使用される。
【0083】
可能な一実施形態で、ユーザ操作情報は、ユーザの操作動作を含む。
【0084】
相応して、処理モジュール1101は、具体的に、アプリケーションプログラムのインターフェースレイアウト、スマートバックミラーの現在インターフェースでの座標位置、およびユーザの操作動作に基づいて、トリガーイベントを生成するために使用される。
【0085】
可能な一実施形態で、処理モジュール1101は、具体的に、第1の外部機器の現在インターフェースでのユーザ操作の座標位置、および第1の外部機器に表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、第1の外部機器に表示されたアプリケーションプログラムのインターフェースでのユーザ操作の相対位置を確定し、相対位置、およびスマートバックミラーに表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、スマートバックミラーの現在インターフェースでの座標位置を確定するために使用される。
【0086】
可能な一実施形態で、処理モジュール1101は、具体的に、第1の外部機器の現在インターフェースでのユーザ操作の座標位置、および第1の外部機器に表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、第1の外部機器に表示されたアプリケーションプログラムのインターフェースでのユーザ操作の相対位置を確定し、相対位置、およびスマートバックミラーに表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、スマートバックミラーの現在インターフェースでの座標位置を確定するために使用される。
【0087】
可能な一実施形態で、アプリケーションプログラムは、複数である。
【0088】
相応して、処理モジュール1101は、具体的に、第1の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを確定し、ターゲットアプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成するために使用される。
【0089】
可能な一実施形態で、処理モジュール1101は、具体的に、スマートバックミラーの現在インターフェースに表示されたアプリケーションプログラムをターゲットアプリケーションプログラムとするために使用される。
【0090】
可能な一実施形態で、第1の外部機器の現在インターフェースにまた、切り替えコントロールが表示され、切り替えコントロールは、第1の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示し、相応して、ユーザ操作情報は、第1の外部機器の現在インターフェースでの切り替えコントロールの座標位置と切り替えられたアプリケーションプログラムの標識を含み、トリガーイベントは、ターゲットアプリケーションプログラムから切り替えられたアプリケーションプログラムに切り替えるように指示する。
【0091】
相応して、処理モジュール1101は、具体的に、トリガーイベントに基づいて、スマートバックミラーでのターゲットアプリケーションプログラムが切り替えられたアプリケーションプログラムに切り替えるように制御するために使用される。
【0092】
可能な一実施形態で、処理モジュール1101はさらに、アプリケーションプログラムの投影プロセスを作成するために使用される。
【0093】
可能な一実施形態で、処理モジュール1101は、具体的に、ユーザによって出力された投影指示を受信して、スマートバックミラーでのアプリケーションプログラムのインターフェースを録画し、投影対象のビデオを得て、投影指示は、アプリケーションプログラムのインターフェースを第1の外部機器に投影するように指示するためのものであり、投影対象のビデオを第1の外部機器へ送信するために使用される。
【0094】
可能な一実施形態で、処理モジュール1101はさらに、アプリケーションプログラムの状態を投影状態として保存し、およびアプリケーションプログラムの投影終了時に、アプリケーションプログラムの投影状態を終了状態に修正して、アプリケーションプログラムの投影プロセスを終了させるために使用される。
【0095】
図12は、本願に係るスマートバックミラーを制御するための装置の構造概略図2である。該スマートバックミラーを制御するための装置は、上記の実施例における第1の外部機器である。図12に示すように、該スマートバックミラーを制御するための装置1200は、表示モジュール1201、処理モジュール1202及び送受信モジュール1203を含む。
【0096】
送受信モジュール1203は、投影制御機器からのインターフェース表示情報を受信するために使用される。
【0097】
表示モジュール1201は、インターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示するために使用される。
【0098】
処理モジュール1202は、インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するために使用される。
【0099】
送受信モジュール1203はまた、ユーザ操作情報を投影制御機器へ送信するために使用される。
【0100】
可能な一実施形態で、スマートバックミラーのインターフェース表示情報は、スマートバックミラーでのアプリケーションプログラムのインターフェース表示情報である。
【0101】
可能な一実施形態で、処理モジュール1202は、具体的に、第1の外部機器の現在インターフェースでのユーザ操作の座標位置を検出し、ユーザ操作情報を生成するために使用される。
【0102】
可能な一実施形態で、処理モジュール1202は、具体的に、第1の外部機器の現在インターフェースでのユーザ操作の座標位置と操作動作を検出し、ユーザ操作情報を生成するために使用される。
【0103】
可能な一実施形態で、アプリケーションプログラムは、複数であり、第1の外部機器の現在インターフェースにまた、切り替えコントロールが表示され、切り替えコントロールは、第1の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示し、ユーザ操作情報は、第1の外部機器の現在インターフェースでの切り替えコントロールの座標位置および切り替えられたアプリケーションプログラムの標識を含む。
【0104】
可能な一実施形態で、送受信モジュール1203はまた、投影制御機器と接続された後に、投影制御機器からの投影対象のビデオを受信し、投影対象のビデオはアプリケーションプログラムのインターフェースを録画して得られたビデオである。
【0105】
相応して、表示モジュール1201は、具体的に、投影対象のビデオに基づいて、スマートバックミラーでのアプリケーションプログラムのインターフェースを表示するために使用される。
【0106】
本実施例に係るスマートバックミラーを制御するための装置の実現原理や技術的効果は、上記のスマートバックミラーを制御するための方法の実現原理や技術的効果と類似するため、ここで繰り返して説明しない。
【0107】
本願の実施例によれば、本願は、さらに、電子機器及び可読記憶媒体を提供する。図13は、本願に係る電子機器の構造概略図であり、該電子機器は、上記の実施例におけるスマートバックミラーであってもよい。本明細書に示したコンポーネント、それらの接続や関係、および、それらの機能は、単に一例にすぎず、本明細書に記述した及び/又は求められる本願の実現を制限することを意図しない。
【0108】
図13に示すように、該電子機器は、1つ又は複数のプロセッサ1301、メモリ1302、及び各コンポーネントを連結するためのインターフェースを含み、該インターフェースは、高速インターフェースと低速インターフェースとを含む。個々のコンポーネントは、異なるバスを使用して互いに接続され、パブリックメインボードにインストールされるか、又は、必要に応じて他の方式でインストールされることができる。プロセッサは、電子機器内で実行される命令を処理することができ、外部の入力/出力装置(インターフェースにカップリングされたディスプレイデバイスなど)でGUIのグラフィクス情報を表示するための、メモリ内又はメモリ上に記憶されている命令が含まれている。他の実施形態では、複数のプロセッサ及び/又は複数のバスを、必要に応じて、複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は一部の必要な操作(例えば、サーバアレイ、ブレードサーバのグループ、又はマルチプロセッサシステムとする)を提供することができる。図13には、1つのプロセッサ1301を例としている。
【0109】
メモリ1302は、本願に係る非一時的なコンピュータ可読記憶媒体である。前記メモリには、少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記少なくとも1つのプロセッサが本願に係るスマートバックミラーを制御するための方法を実行するようにする。本願の非一時的なコンピュータ可読記憶媒体は、コンピュータ命令を記憶しており、該コンピュータ命令は、コンピュータに本願に係るスマートバックミラーを制御するための方法を実行させるためのものである。
【0110】
メモリ1302は、非一時的なコンピュータ可読記憶媒体として、本願の実施例におけるスマートバックミラーを制御するための方法に対応するプログラム命令/モジュールなどの非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラムおよびモジュールを記憶するために使用されるものであってもよい。プロセッサ1301は、メモリ1302に記憶された非一時的なソフトウェアプログラム、命令およびモジュールを実行することにより、サーバの様々な機能アプリケーションおよびデータ処理を実行し、即ち、上記の方法の実施例におけるスマートバックミラーを制御するための方法を実現する。
【0111】
メモリ1302は、プログラム記憶領域及びデータ記憶領域を含むことができ、プログラム記憶領域は、オペレーティングシステム、及び少なくとも1つの機能に必要なアプリケーションプログラムを格納することができ、データ記憶領域は、スマートバックミラーを制御するための方法を実行するための電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ1302は、高速ランダムアクセスメモリを含むことができ、また、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含むこともできる。いくつかの実施例において、メモリ1302は、プロセッサ1301に対して遠隔に設置されたメモリを選択的に含むことができ、それらの遠隔メモリは、ネットワークを介して、スマートバックミラーを制御するための方法を実行するための電子機器に接続されることができる。上記のネットワークの実例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。
【0112】
スマートバックミラーを制御するための方法の電子機器は、さらに、入力装置1303及び出力装置1304を含むことができる。プロセッサ1301、メモリ1302、入力装置1303及び出力装置1304は、バス又はその他の方式によって接続されてもよく、図13では、バスによって接続される方式を例としている。
【0113】
入力装置1303は、入力された数字又はキャラクタ情報を受信し、スマートバックミラーを制御するための方法を実行するための電子機器のユーザ設定、および機能制御に関連するキー信号の入力を生成することができ、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インディケータロッド、1つ又は複数のマウスボタン、トラックボール、操縦ハンドルなどの入力装置が挙げられる。出力装置1304は、ディスプレイデバイス、補助照明装置(LEDなど)や触感フィードバック装置(振動モータなど)などを含むことができる。該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイやプラズマディスプレイを含むことができるが、それらに限定されない。いくつかの実施形態では、ディスプレイデバイスはタッチスクリーンであってもよい。
【0114】
本願の実施例によれば、本願は、コンピュータプログラムをさらに提供し、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも1つのプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも1つのプロセッサは、前記コンピュータプログラムを実行することによって、前記電子機器に上記のいずれかの実施例による手段を実行させる。
【0115】
ここに記載のシステムや技術的様々な実施形態は、デジタル電子回路、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現されてよい。それらの様々な実施形態は、1つ又は複数のコンピュータプログラムに実施され、、該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び/又は解釈されることができ、該プログラマブルプロセッサは、特定用途向け、または、汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置から、データと命令を受信し、そして、データと命令を該記憶システム、該少なくとも1つの入力装置、及び該少なくとも1つの出力装置に伝送することができる。
【0116】
これらコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、または、コードとも呼ばれる)には、プログラマブルプロセッサの機械命令が含まれ、高レベルのプロセス及び/又はオブジェクト指向のプログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピュータプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック機器(PLD))を指し、機械読み取り可能な信号である機械命令を受信するための機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、プログラマブルプロセッサに機械命令及び/又はデータを提供するための任意の信号を指す。
【0117】
ユーザとのインタラクションを提供するために、コンピュータ上で本明細書に説明したシステム及び技術をコンピュータに実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウスやトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって、入力をコンピュータに提供することが可能になる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚的フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、そして、任意の形態(音入力、音声入力、又は触覚入力を含む)でユーザからの入力を受信できる。
【0118】
ここに記載されたシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバ)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインターフェース又はWEBブラウザーを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインターフェース又は当該WEBブラウザーを介して本明細書に説明したシステム及び技術の実施形態とインタラクションすることができる)、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントを含む任意の組み合わせコンピューティングシステム中で実施できる。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)を介してシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、及びインターネットを含む。
【0119】
コンピュータシステムは、コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、通常、互いに遠く離れており、通信ネットワークを介して互いにインタラクションするのが一般的である。クライアントとサーバの関係は、対応するコンピュータで実行され、且つ互いにクライアント−サーバの関係を持つコンピュータプログラムによって生成される。
【0120】
上記の様々な形態のフローを使用して、ステップを並べ替えたり、追加したり、削除したりすることができる。例えば、本願に記載の各ステップは、本願に開示されている技術案が所望の結果を達成できる限り、並行に実施されてもよいし、順次実施されてもよいし、異なる順序で実施されてもよく、本明細書では、それについて限定しない。
【0121】
上記の具体的な実施形態は、本願の特許保護範囲に対する制限を構成するものではない。当業者にとって明らかなように、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができる。本願の精神と原則の範囲内で行われる修正、同等の置換、及び改良であれば、本願の特許保護範囲に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】