(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】2019522826
(43)【公表日】20190815
(54)【発明の名称】カラーデータを音符に変換する方法および装置
(51)【国際特許分類】
   G10G 1/00 20060101AFI20190719BHJP
   G10G 3/04 20060101ALI20190719BHJP
【FI】
   !G10G1/00
   !G10G3/04
【審査請求】有
【予備審査請求】未請求
【全頁数】34
(21)【出願番号】2019514702
(86)(22)【出願日】20160527
(85)【翻訳文提出日】20190128
(86)【国際出願番号】US2016034769
(87)【国際公開番号】WO2017204829
(87)【国際公開日】20171130
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】518421935
【氏名又は名称】チュー,ジ,ハオ
【氏名又は名称原語表記】QIU, Zi, Hao
【住所又は居所】アメリカ合衆国 08840 ニュージャージー,メアチェン,アンボーイ アヴェニュー,240
【住所又は居所原語表記】240 Amboy Avenue Metuchen, NJ 08840 (US)
(74)【代理人】
【識別番号】110002158
【氏名又は名称】特許業務法人上野特許事務所
(72)【発明者】
【氏名】チュー,ジ,ハオ
【住所又は居所】アメリカ合衆国 08840 ニュージャージー,メアチェン,アンボーイ アヴェニュー,240
【テーマコード(参考)】
5D182
【Fターム(参考)】
5D182AA12
5D182AA16
5D182AA18
5D182AB01
5D182AB04
5D182AB05
5D182AC03
5D182AD05
5D182AD10
(57)【要約】
カラーデータを一つ以上の音符に変換するための方法を提供する。前記方法は、色読み取り装置を用いて、一組の音符にそれぞれ対応するカラーパレットの各色で描画するよう構成された複数の描画器でキャンバスに塗られたそれぞれの色をカラーデータとして読み取る工程を含む。前記方法はまた、色処理モジュールを用いて、前記カラーデータを処理して、前記カラーデータのそれぞれの色に対応する一組の音符に基づいて前記カラーデータから前記一つ以上の音符よりなる楽曲を生成する工程を含む。
【選択図】図7A
【特許請求の範囲】
【請求項1】
複数の描画器であって、該複数の描画器はそれぞれ、一組の音符にそれぞれ対応するカラーパレットの各色で描画するよう構成されている、複数の描画器と、
前記複数の描画器によって前記カラーパレットの各色が塗られるよう構成されたキャンバスと、
前記複数の描画器によって前記キャンバスに塗られた前記カラーパレットの各色を、カラーデータとして読み取るよう構成された色読み取り装置と、
前記カラーデータを処理して、前記カラーデータのそれぞれの色に対応する前記一組の音符に基づいて前記カラーデータから一つ以上の音符よりなる楽曲を生成する色処理モジュールと、を備えることを特徴とするシステム。
【請求項2】
前記楽曲を再生するよう構成された音声出力装置をさらに備えることを特徴とする請求項1に記載のシステム。
【請求項3】
前記色読み取り装置はさらに、前記カラーデータの一部として、前記キャンバスに塗られたそれぞれの色の形またはサイズをスキャンするよう構成され、
前記色処理モジュールはさらに、前記それぞれの色の形またはサイズに基づいて、前記楽曲の前記一つ以上の音符の長さに関する情報を求めるように構成され、
前記楽曲はさらに、前記音符長さ情報に基づいて生成されることを特徴とする請求項1または2に記載のシステム。
【請求項4】
前記色処理モジュールは、前記楽曲を五線譜に表わし、出力装置を介して前記五線譜として前記楽曲を出力するようさらに構成されていることを特徴とする請求項3に記載のシステム。
【請求項5】
前記複数の描画器は、前記カラーパレットのそれぞれの色を描くよう定められたカラーペンであることを特徴とする請求項1から4のいずれか1項に記載のシステム。
【請求項6】
前記カラーペンのそれぞれに定められた色に対応づけられた音符が、前記カラーペンに表示されていることを特徴とする請求項5に記載のシステム。
【請求項7】
前記色読み取り装置は、画像センサ、スキャナー、またはそれらの組み合わせを備えることを特徴とする請求項1から6のいずれか1項に記載のシステム。
【請求項8】
前記楽曲中の前記一つ以上の音符の順番は、前記キャンバスに塗られた色の順序に基づくものであることを特徴とする請求項1から7のいずれか1項に記載のシステム。
【請求項9】
前記複数の描画器はコンピュータアプリケーションの複数のバーチャル描画器であって、前記キャンバスは前記コンピュータアプリケーションのバーチャルキャンバスであって、前記色読み取り装置は前記コンピュータアプリケーションの色読み取りモジュールであって、前記色処理モジュールは前記コンピュータアプリケーションのモジュールであることを特徴とする請求項1から8のいずれか1項に記載のシステム。
【請求項10】
前記コンピュータアプリケーションはモバイル機器上で実行可能であることを特徴とする請求項9に記載のシステム。
【請求項11】
カラーデータを一つ以上の音符に変換するためのコンピュータで実行される方法であって、前記方法は、
一組の音符にそれぞれ対応するカラーパレットの各色でそれぞれ描画するよう構成された複数の描画器によってキャンバスに塗られたそれぞれの色を、色読み取り装置を用いて、カラーデータとして読み取る工程と、
色処理モジュールを用いて前記カラーデータを処理し、前記カラーデータのそれぞれの色に対応する一組の音符に基づいて、前記カラーデータから前記一つ以上の音符よりなる楽曲を生成する工程と、を含むことを特徴とする。
【請求項12】
音声出力装置を用いて前記楽曲を再生させる工程を、さらに含むことを特徴とする請求項11に記載の方法。
【請求項13】
前記色読み取り装置を用いて、前記カラーデータの一部として、前記キャンバスに塗られたそれぞれの色の形またはサイズをスキャンする工程と、
前記色処理モジュールを用いて、前記それぞれの色の形またはサイズに基づいて、前記楽曲の前記一つ以上の音符の長さに関する情報を求める工程と、を含む方法であって、
前記楽曲はさらに、前記音符長さ情報に基づいて生成されたものであることを特徴とする請求項11または12に記載の方法。
【請求項14】
前記色処理モジュールは、前記楽曲を五線譜に表わし、出力装置を介して五線譜として前記楽曲を出力するようさらに構成されていることを特徴とする請求項13に記載の方法。
【請求項15】
前記複数の描画器は、前記カラーパレットのそれぞれの色を描くよう定められたカラーペンであることを特徴とする請求項11から14のいずれか1項に記載の方法。
【請求項16】
前記カラーペンのそれぞれに定められた色に対応づけられた音符が、、前記カラーペンに表示されていることを特徴とする請求項15に記載の方法。
【請求項17】
前記色読み取り装置が、画像センサ、スキャナー、またはそれらの組み合わせを備えることを特徴とする請求項11から16のいずれか1項に記載の方法。
【請求項18】
前記楽曲中の前記一つ以上の音符の順番は、前記キャンバスに塗られた色の順序に基づくものであることを特徴とする請求項11から17のいずれか1項に記載の方法。
【請求項19】
前記複数の描画器はコンピュータアプリケーションの複数のバーチャル描画器であって、前記キャンバスは前記コンピュータアプリケーションのバーチャルキャンバスであって、前記色読み取り装置は前記コンピュータアプリケーションの色読み取りモジュールであって、前記色処理モジュールは前記コンピュータアプリケーションのモジュールであることを特徴とする請求項11から18のいずれか1項に記載の方法。
【請求項20】
前記コンピュータアプリケーションはモバイル機器上で実行可能であることを特徴とする請求項19に記載の方法。
【請求項21】
少なくとも一つのプロセッサと、
一つ以上のプログラム用のコンピュータプログラムコードを有する少なくとも一つのメモリと、を備える装置であって、前記少なくとも一つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサとともに、
色読み取り装置を用いて、一組の音符にそれぞれ対応するカラーパレットの各色で描画するよう構成された複数の描画器でキャンバスに塗られたそれぞれの色をカラーデータとして読み取る工程と、
色処理モジュールを用いて、前記カラーデータを処理して、前記カラーデータのそれぞれの色に対応する一組の音符に基づいて前記カラーデータから前記一つ以上の音符よりなる楽曲を生成する工程のうち少なくとも一つを、
前記装置に実行させるよう構成されていることを特徴とする装置。
【請求項22】
音声出力装置を用いて前記楽曲を再生させる工程を、さらに備えることを特徴とする請求項21に記載の装置。
【請求項23】
前記色読み取り装置を用いて、前記カラーデータの一部として、前記キャンバスに塗られたそれぞれの色の形またはサイズをスキャンする工程と、
前記色処理モジュールを用いて、前記それぞれの色の形またはサイズに基づいて、前記楽曲の前記一つ以上の音符の長さに関する情報を求める工程と、を備える装置であって、
前記楽曲はさらに、前記音符長さ情報に基づいて生成されたものであることを特徴とする請求項21または22に記載の装置。
【請求項24】
前記色処理モジュールは前記楽曲を五線譜に表わし、出力装置を介して五線譜として前記楽曲を出力するようさらに構成されていることを特徴とする請求項23に記載の装置。
【請求項25】
前記複数の描画器は、前記カラーパレットのそれぞれの色を描くよう定められたカラーペンであることを特徴とする請求項21から24のいずれか1項に記載の装置。
【請求項26】
前記カラーペンのそれぞれに定められた色に対応づけられた音符が、前記カラーペンに表示されていることを特徴とする請求項25に記載の装置。
【請求項27】
前記色読み取り装置が、画像センサ、スキャナー、またはそれらの組み合わせを備えることを特徴とする請求項21から26のいずれか1項に記載の装置。
【請求項28】
前記楽曲中の前記一つ以上の音符の順番は、前記キャンバスに塗られた色の順序に基づくものであることを特徴とする請求項21から27のいずれか1項に記載の装置。
【請求項29】
前記複数の描画器はコンピュータアプリケーションの複数のバーチャル描画器であって、前記キャンバスは前記コンピュータアプリケーションのバーチャルキャンバスであって、前記色読み取り装置は前記コンピュータアプリケーションの色読み取りモジュールであって、前記色処理モジュールは前記コンピュータアプリケーションのモジュールであることを特徴とする請求項21から28のいずれか1項に記載の装置。
【請求項30】
前記コンピュータアプリケーションはモバイル機器上で実行可能であることを特徴とすることを特徴とする請求項29に記載の装置。
【請求項31】
コンピュータプログラム製品であって、一つ以上のプロセッサで実行された際、装置に、請求項11から20のいずれか1項に記載の方法の工程を少なくとも実施させる一つ以上の命令の一つ以上のシーケンスを含むコンピュータプログラム製品。
【請求項32】
少なくとも一つのサービスへのアクセスを許可するよう構成された少なくとも一つのインターフェースへのアクセスを補助する工程を含み、前記少なくとも一つのサービスは、請求項11から20のいずれか1項に記載の方法を実施するよう構成されていることを特徴とする方法。
【請求項33】
(1)データ、(2)情報、(3)少なくとも一つの信号のうち少なくとも一つの処理を容易にする工程、または、前記(1)、(2)、(3)のうち少なくとも一つを処理する工程、あるいはそれらの工程の両方を含む方法であって、前記(1)、(2)、(3)のうち少なくとも一つは、少なくとも部分的に、請求項11から20のいずれか1項に記載の方法に基づいていることを特徴とする方法。
【請求項34】
(1)少なくとも一つのデバイスユーザーインターフェース要素、(2)少なくとも一つのデバイスユーザーインターフェース機能のうち少なくとも一つの作成を容易にする工程、または前記(1)、(2)のうち少なくとも一つの修正を容易にする工程、あるいはそれらの工程の両方を含む方法であって、前記(1)、(2)のうち少なくとも一つは、少なくとも部分的に、請求項11から20のいずれか1項に記載の方法に基づいていることを特徴とする方法。
【請求項35】
(1)少なくとも一つのデバイスユーザーインターフェース要素、(2)少なくとも一つのデバイスユーザーインターフェース機能のうち少なくとも一つを作成する工程、または、前記(1)、(2)のうち少なくとも一つを修正する工程、あるいはそれらの工程の両方を含む方法であって、前記(1)(2)のうち少なくとも一つは、少なくとも部分的に、請求項11から20のいずれか1項に記載の方法に基づいていることを特徴とする方法。
【発明の詳細な説明】
【背景技術】
【0001】
音楽を聴くことと同様、ユーザーは作曲も楽しむものである。しかしながら、莫大な数の音楽概念を理解したり認識したりすることは困難であるため、音楽の経験が限られたユーザーにとって作曲することは難しいことである。同様に、音楽の経験のない人に音楽を教えることは非常に難しく、そのため、子供を対象に音楽を教える際にはさらに難しいこととなる。サービスプロバイダにとっての一つの大きな挑戦は、効果的かつ効率的な一つ以上の音符を識別する手法、例えば、個々の音符に関連づけられた色によって音符を識別し、そして、これらの色を一つ以上の音符に変換する手法を提供することである。
【発明の概要】
【0002】
したがって、カラーデータを一つ以上の音符に変換する手法が必要である。
【0003】
一実施形態によるシステムは、複数の描画器を備え、該複数の描画器はそれぞれ、カラーパレットのそれぞれの色で描画するよう構成されている。前記カラーパレットのそれぞれの色は、一組の音符にそれぞれ対応している。前記システムはまた、前記複数の描画器によって前記カラーパレットの各色が塗られるよう構成されたキャンバスを備える。前記システムはまた、前記複数の描画器によって前記キャンバスに塗られた前記カラーパレットの各色を、カラーデータとして読み取るよう構成された色読み取り装置を備える。前記システムはまた、前記カラーデータを処理して、前記カラーデータのそれぞれの色に対応する前記一組の音符に基づいて前記カラーデータから一つ以上の音符よりなる楽曲を生成する色処理モジュールを備える。
【0004】
一実施形態による方法は、一組の音符にそれぞれ対応するカラーパレットの各色でそれぞれ描画するよう構成された複数の描画器によってキャンバスに塗られたそれぞれの色を、色読み取り装置を用いて、カラーデータとして読み取る工程を含む。前記方法はまた、色処理モジュールを用いて前記カラーデータを処理し、前記カラーデータのそれぞれの色に対応する一組の音符に基づいて、前記カラーデータから前記一つ以上の音符よりなる楽曲を生成する工程を含む。
【0005】
別の実施形態による装置は、少なくとも一つのプロセッサと、一つ以上のコンピュータプログラム用のコンピュータプログラムコードを有する少なくとも一つのメモリと、を備え、前記少なくとも一つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサとともに、色読み取り装置を用いて、一組の音符にそれぞれ対応するカラーパレットの各色で描画するよう構成された複数の描画器でキャンバスに塗られたそれぞれの色をカラーデータとして読み取る工程を少なくとも部分的に前記装置に実行させるよう構成されている。前記装置はまた、色処理モジュールを用いて、前記カラーデータを処理して、前記カラーデータのそれぞれの色に対応する一組の音符に基づいて前記カラーデータから前記一つ以上の音符よりなる楽曲を生成する。
【0006】
別の実施形態によるコンピュータ可読記憶媒体は、一つ以上のプロセッサで実行された際、一組の音符にそれぞれ対応するカラーパレットの各色でそれぞれ描画するよう構成された複数の描画器によってキャンバスに塗られたそれぞれの色を、色読み取り装置を用いて、カラーデータとして読み取る工程を少なくとも部分的に装置に実施させる一つ以上の命令の一つ以上のシーケンスを含む。前記装置はまた、色処理モジュールを用いて前記カラーデータを処理し、前記カラーデータのそれぞれの色に対応する一組の音符に基づいて、前記カラーデータから前記一つ以上の音符よりなる楽曲を生成する。
【0007】
別の実施形態による装置は、一組の音符にそれぞれ対応するカラーパレットの各色でそれぞれ描画するよう構成された複数の描画器によってキャンバスに塗られたそれぞれの色を、色読み取り装置を用いて、カラーデータとして読み取る手段とを備える。前記装置はまた、色処理モジュールを用いて前記カラーデータを処理し、前記カラーデータのそれぞれの色に対応する一組の音符に基づいて、前記カラーデータから前記一つ以上の音符よりなる楽曲を生成する手段を備える。
【0008】
また、本発明の各種例示的な実施形態においては、(1)データおよび/または(2)情報および/または(3)少なくとも一つの信号の処理を容易にする工程、および/または、それらを処理する工程を含む方法が適用可能であり、前記(1)データおよび/または(2)情報および/または(3)少なくとも一つの信号は、少なくとも部分的に、本発明のいずれかの態様に関連した本出願に開示された方法(またはプロセス)のいずれか一つまたはそれらの組み合わせに基づいている(または少なくとも部分的にそれらから派生したものである)。
【0009】
本発明の各種例示的な実施形態においては、少なくとも一つのサービスへのアクセスを許可するよう構成された少なくとも一つのインターフェースへのアクセスを補助する工程を含む方法もまた適用可能であり、前記少なくとも一つのサービスは、本出願で開示されたネットワークまたはサービスプロバイダ方法(またはプロセス)のいずれか一つまたはそれらの組み合わせを実施するよう構成されている。
【0010】
本発明の各種例示的な実施形態においては、(1)少なくとも一つのデバイスユーザーインターフェース要素および/または(2)少なくとも一つのデバイスユーザーインターフェース機能の作成を容易にする工程、および/または、それらの修正を容易にする工程を含む方法もまた適用可能であり、前記(1)少なくとも一つのデバイスユーザーインターフェース要素および/または(2)少なくとも一つのデバイスユーザーインターフェース機能は、少なくとも部分的に、本発明のいずれかの態様に関連した本出願に開示された方法(またはプロセス)のいずれか一つまたはそれらの組み合わせに起因するデータおよび/または情報に基づいており、かつ/または、本発明のいずれかの態様に関連した本出願に開示された方法(またはプロセス)のいずれか一つまたはそれらの組み合わせに起因する少なくとも一つの信号に基づいている。
【0011】
本発明の各種例示的な実施形態においては、(1)少なくとも一つのデバイスユーザーインターフェース要素および/または(2)少なくとも一つのデバイスユーザーインターフェース機能を作成する工程、および/または、それらを修正する工程を含む方法もまた適用可能であり、前記(1)少なくとも一つのデバイスユーザーインターフェース要素および/または(2)少なくとも一つのデバイスユーザーインターフェース機能は、少なくとも部分的に、本発明のいずれかの態様に関連した本出願に開示された方法(またはプロセス)のいずれか一つまたはそれらの組み合わせに起因するデータおよび/または情報に基づいており、かつ/または、本発明のいずれかの態様に関連した本出願に開示された方法(またはプロセス)のいずれか一つまたはそれらの組み合わせに起因する少なくとも一つの信号に基づいている。
【0012】
本発明の各種例示的な実施形態において、前記方法(またはプロセス)は、サービスプロバイダ側もしくはモバイル機器側で、または、サービスプロバイダ側とモバイル機器側両者が行う動作を伴うサービスプロバイダとモバイル機器とで共用される所定の方法で遂行される。
【0013】
本発明の各種例示的な実施形態においては、当初出願された請求項11〜20および32〜35のいずれかに記載の方法を実施する手段を備える装置が適用可能である。
【0014】
本発明のその他の態様、特徴、および利点は、本発明を実施するために考えられる最良の形態を含めた多くの特定の実施形態および態様を例示することによって簡単に、以下の詳細な説明から明かになるであろう。本発明はまた、その他の種々の実施形態が可能であり、本発明のいくつかの詳細は、本発明から逸脱することなく様々な明らかな点で変更が可能である。したがって、図面および明細書は本来限定的でなく例示的であるとみなすものとする。
【図面の簡単な説明】
【0015】
本発明の実施形態は、添付図面の図において、限定ではなく一例として図示される。
【0016】
【図1】図1は、例示的な一実施形態による、カラーデータを一つ以上の音符に変換可能なシステムの図である。
【0017】
【図2】図2は、例示的な一実施形態による、画像処理プラットフォーム103の構成要素の図である。
【0018】
【図3】図3は、例示的な一実施形態による、カラーデータを一つ以上の音符に変換するプロセスのフローチャートである。
【0019】
【図4】図4は、例示的な一実施形態による、一つ以上の音符よりなる楽曲を再生させるプロセスのフローチャートである。
【0020】
【図5】図5は、例示的な一実施形態による、一つ以上の音符の長さに関する情報を求めるプロセスのフローチャートである。
【0021】
【図6】図6は、ここに記載の各種プロセスで用いられるピアノ鍵盤の図である。
【0022】
【図7A】図7Aは、例示的な一実施形態による、図3〜5のプロセスにおいて用いられる図である。
【0023】
【図7B】図7Bは、例示的な一実施形態による、別のフォーマットでキャンバスに塗られた色を表す図である。
【0024】
【図8】図8は、例示的な一実施形態による、図3〜5のプロセスにおいて用いられるユーザーインターフェースの図である。
【0025】
【図9】図9は、本発明の一実施形態を実施するのに用いられるハードウエアの図である。
【0026】
【図10】図10は、本発明の一実施形態を実施するのに用いられるチップセットの図である。
【0027】
【図11】図11は、本発明の一実施形態を実施するのに用いられる携帯端末(例えばハンドセット)の図である。
【発明を実施するための形態】
【0028】
カラーデータを一つ以上の音符に変換する(逆もまた同様)方法、装置およびコンピュータプログラムの例を開示する。以下の記述では、本発明の充分な理解を得るために多数の具体的な詳細を説明のために述べる。しかし、当業者にとっては、これら具体的な詳細がなくても、または等価なものでも、本発明の実施形態を実施できることは明らかである。また別の例では、本発明の実施形態を不必要に不明瞭にすることを避けるために、周知の構造や装置がブロック図の形式で示されている。
【0029】
この方法、装置およびコンピュータプログラムの各種実施形態は、描画を音符に変える画像変換技術に関する。別の実施形態では、この方法は音符を視覚表示(例えば、キャンバス上でのカラーバーやスケールの表示)に変換するために同様に適用される。例えば、これらの実施形態は、情報、映像、作曲、教育、ゲーム、およびその他のコンピュータ関連分野の産業に適用される。
【0030】
図1は、例示的な一実施形態による、カラーデータを一つ以上の音符に変換可能なシステムの図である。上記で述べた通り、作曲において良い結果を出すためには音楽スキルのノウハウが必要となる。従来の記譜法が直観的で分かるものではないせいで、一般ユーザーなら書面の音楽を理解することが困難だった経験があると思われる。また、音楽構造が複雑であるために、若いユーザーにとっては、書面の音楽を理解することは困難な場合もある。その結果、システム100は、一つ以上の視覚表示(例えば、色)と一つ以上の音符を関連付ける。これらの色は、前記音符の音調または律動的な特性に基づいた所定のカラースキームにしたがって関連付けられる。これにより、若いユーザーと経験のないユーザーは、音楽構造を直観的に感じながら、色を用いて作曲することができる。その後、それらの色は音符に変換される。カラーデータを音符に変換するこのプロセスは従来から、主観的に満足のいく、すなわち「良い」結果を出すために、芸術または音楽スキルと結合した学際的な芸術的コンセプト(例えば、音楽理論や作曲など)のノウハウに頼ってきた。しかしながら、この知識とスキルはしばしば、一般ユーザーにとって手の届かないものであり、そのため、これらのユーザーがカラーデータを音符に変換する能力には限界がある。
【0031】
この問題を考慮し、一実施形態において、図1の前記システム100は、キャンバス123(例えば、物理的またはバーチャルキャンバス)上に、後に色読み取り装置125によって読み取りまたはスキャンされる色を作るよう定められた一組の描画器121(例えば、ペンや絵の具等の物理的な描画ツールや、コンピュータアプリケーションまたソフトウエアに備えられたバーチャル描画ツール)を備えるシステムを採用している。一実施形態において、各描画器121は、キャンバス123上に特定の音符に対応する色を塗布したり作ったりするよう構成されている。例えば、描画器121の製造業者は、特定の色(例えば、パントンのような表色系によって定義された色)がそれぞれ特定の音符に一致するカラーパレットをあらかじめ定めておくことができる。したがって、一実施形態において、描画器121(例えば、カラーペン)はそれぞれ、所定の音符に対応しているため、ユーザーが特定の色の描画器121を使用する場合、そのユーザーは前記キャンバス123上に、対応する音符を効率的にコード化していく。上記のとおり、一般的な記譜法(例えば、五線譜)を用いた作曲に慣れていないまたは長けていないユーザーは、前記色調整された描画器121を用いることによって、直観的かつ有利に描画したり色を塗ったりして、前記システム100によってその後楽曲または一組の音符に変換される曲の視覚表示を作成することができる。
【0032】
一実施形態において、色読み取り装置は、例えば、オプティカルスキャナーや、前記キャンバス123に塗られた色の色波長や他の色票を測定する等価の技術を用いて、前記キャンバス123に塗られた色を示すカラーデータを生成するものである。一実施形態において、前記描画器121は、色読み取りの精度が増すよう前記キャンバス123上に特定の色または一貫した色を作るよう定められる。前記キャンバス123そのものの色および/または素材(例えば、画布や亜麻布や紙等)によって、前記キャンバス113に塗られた色は、前記描画器121そのものの色と異なる可能性がある。例えば、ある一例では、黄色で下塗りされたキャンバス123に緑色を塗ると、前記キャンバス123上で見える色よりももっと青みを帯びた色になる。ある一例では、例えば88鍵盤のフルサイズキーボードで使われる全域の音符に多数の色をマッピングしようとする際、色精度および多数の色を区別する能力は非常に重要である。88鍵盤のフルサイズキーボードの場合、前記システム100は、88音符それぞれを表すために、少なくとも88の色とそれに対応する前記描画器121を用いるであろう。そのような大きなパレットでは、そのパレット用に定められた任意の二つの描画器121の色間の変化や差異は僅かでしかない。したがって、キャンバス123に実際に塗られた際に前記描画器121の色の外見上の差異に起因して起こり得る下塗りにおける差異は、重要である可能性がある。
【0033】
この技術的な問題に対処すべく、ある一例では、前記システム100は、前記描画器121でキャンバス123に塗られた結果として生じる色に基づいて、音符と色とのマッピングを定める。すなわち、ある一例では、前記システム100は、特定のタイプのキャンバス123にマッチングされ色調整された一組の描画器121を備え、既知の一貫した色を作る。別の実施形態では、前記システム100は、描画器121と様々な色や素材のキャンバス123との組合せそれぞれのための、色と音符との様々なカラーマッピングを保有する。また別の実施形態では、前記色読み取り装置125は、カラーパレットに対応する音符に対するマッチングを行う前に、キャンバス123の色や素材に基づいて色温度を調節したりバランスをとったりすることによって読み取りの色補正を動的に行うことができる。このようにして、画像処理プラットフォーム103は、考えられる色や音符の数が多くて色間差異が小さくなる場合でも、カラーデータを処理し、前記カラーデータ中で検出された各色と対応する音符とを一貫した精度でマッチングすることができる。またある実施形態では、前記カラーデータの前記音符の順番がその後に生成され、前記描画器121で前記キャンバス123に塗られた色を表す楽曲または歌が作られる。
【0034】
一実施形態において、前記色読み取り装置125は、キャンバス123に塗られた色の他の特徴をスキャンし読み取ることもできる。例えば、前記色読み取り装置125は、前記キャンバス123を完全にオプティカルスキャンし前記キャンバス123を完全にデジタル表現することができるため、上述のようにこのデジタル表現を効率的に前記カラーデータにすることができる。このデジタル表現で、前記画像処理プラットフォーム103は画像認識および物体検出アルゴリズムを用いて前記カラーデータを処理し、前記描画器121で描かれた形やそのサイズまたは他の特徴(例えば、線や記号等)を識別することができる。このようにして、前記画像処理プラットフォーム103は、例えば、前記カラーデータから一つ以上の特徴(例えば、色や形やサイズ等)を求め、これらの特徴用にマッピングされた関係を基づいて、音符や音調を含む一組の音符を得て、そして該得られた音符から楽曲を作ることによって、前記カラーデータを一つ以上の音符に変換することができる。
【0035】
一実施形態において、前記画像処理プラットフォーム103はその後、ユーザーが選択した任意のフォーマットまたはメディアで前記楽曲を出力することができる。例えば、前記楽曲はその後、可聴音楽として音声出力を介して再生することが可能である。また別の実施形態においては、前記楽曲は別の記譜法方式(例えば、五線譜または他の任意の記譜法方式)に変換することができる。一実施形態において、前記画像処理プラットフォーム103は、所定のパラメータ(例えば、前記キャンバス123上に現れる色の色レベル、形および/またはサイズ、関連する記号/描画/パターン等)に基づいて、アルゴリズム処理を用いる。例としては、前記画像処理プラットフォーム103は、前記アルゴリズムのこれらのパラメータを用いて、限定しないが前記一つ以上の音符の音レベル、ピッチまたは長さといった、作曲するための一つ以上の音楽的特徴を求める。
【0036】
図1に示されるとおり、前記システム100は、アプリケーション107およびセンサ111を備えるかそれらが付随したユーザー装置(UE)101を備える。一実施形態において、前記UE101は、例えば、ワイヤレス通信ネットワークといった通信ネットワーク105を介して前記画像処理プラットフォーム103と接続している。一実施形態において、前記画像処理プラットフォーム103は、カラーデータを一つ以上の音符に変換すること関連した一つ以上の機能をする。
【0037】
一実施形態において、この方法を用いたカラーデータから音符への変換には、特定の音符に対応するようマッピングされた一組の色に定められた描画器121(例えば、カラーペン)の色をユーザーが視覚的に配置したキャンバス123をまず受け取る工程が含まれる。上記のとおり、サービスプロバイダまたは製造業者は、どの色がどの音符に対応するのかあらかじめ定めておくことができる。その場合には、特定の色を作るようそれぞれ構成された描画器121には、対応する音符を示す表示をつけておくことができる。例えば、赤色が中央ハに対応する場合、赤色の描画器121(例えば、赤いカラーペン)はキャンバス123に特定の赤色を描くように定められ、その描画器には中央ハの表示をつけることができる。
【0038】
また別の実施形態においては、前記システム100においては、エンドユーザーまたは他のユーザーが前記描画器121の色とそれに対応する音符のマッピングを動的に変えることができるようになっている。この場合、前記画像処理プラットフォーム103は、前記描画器121のどの色がどの音符に対応するのか手動で特定することができるユーザーインターフェースを備えてもよい。一実施形態において、手動での対応づけは、色別に行われてもよい。その上、または代わりに、前記画像処理プラットフォーム103は、単一の音符または色の組み合わせの変化に基づいて音階に沿って色をシフトすることができる。例えば、デフォルトでは赤色が中央ハにマッチングされ、ユーザーが今の緑が中央ハにマッチングされるようマッピングをシフトする場合、前記画像処理プラットフォーム103は、緑色が音階の中央ハにマッチングまたは対応するように、同じ初めの色の順番を用いながらも他のデフォルトの全ての色を同じ順番でシフトさせる。
【0039】
図1に示すように、前記システム100は、UE101からなる。一実施形態において、前記UE101は、ナビゲーションユニット(例えば、車載式または独立型)、携帯ハンドセット、移動局、携帯電話装置端末、モバイル機器、マルチメディアコンピュータ、マルチメディアタブレット、インターネット接続装置、発信器、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレット型コンピュータ、パーソナルコミュニケーションシステム(PCS)装置、パーソナルナビゲーション装置、携帯情報端末(PDA)、オーディオ/ビデオプレーヤー、デジタルカメラ/カムコーダー、位置決め装置、テレビ受像機、ラジオ放送受信機、電子書籍装置、ゲーム装置、またはそれらの組み合わせといった携帯端末、固定端末またはポータブル端末のいずれかの種類のものであって、これら装置のアクセサリや周辺機器またはそれらの組み合わせも含むものである。前記UE101は、ユーザー用のどんな種類のインターフェース(例えば「装着型」回路など)もサポートすることができると思われる。
【0040】
一実施形態において、前記画像処理プラットフォーム103は、複数の相互接続された構成要素を有するプラットフォームであってもよい。前記画像処理プラットフォーム103は、カラーデータを一つ以上の音符に変換する(逆もまた同様)ためのサーバー、インテリジェントネットワークデバイス、コンピュータデバイス、コンポーネントおよび対応するソフトウエアを一つ以上備えてもよい。また、なお、前記画像処理プラットフォーム103は前記システム100とは別個であってもよく、サービスプラットフォーム113の一つ以上のサービス115a〜115n(サービス115と総称)、または前記UE101の一部であってもよい。前記画像処理プラットフォーム103は、カラーデータを一つ以上の音符に変換する既知または開発中の方法、技術またはプロセスなら何でも用いてよい。
【0041】
一実施形態において、前記画像処理プラットフォーム103は、複数の描画器によってキャンバスに塗られたそれぞれの色を、色読み取り装置を用いて、カラーデータとして読み取ってもよい。そして、前記画像処理プラットフォーム103は、前記カラーデータを処理して、前記カラーデータのそれぞれの色に対応する前記一組の音符に基づいて前記カラーデータから一つ以上の音符よりなる楽曲を生成してもよい。すなわち、一実施形態において、前記画像処理プラットフォーム103は、(1)前記カラーデータから一つ以上の特徴(例えば、色や色のパターンや色サイズ)を求める手段と、(2)これらの特徴を前記データベース119に保存された一つ以上の音符に対応づけるまたはマッピングする手段と、(3)前記カラーデータ内のそれぞれの色に対応する一つ以上の音符を視覚表示や聴覚表示する手段と、によってカラーデータを一つ以上の音符に変換してもよい。また別の形態では、前記画像処理プラットフォーム103は、複数の描画器によってキャンバスに塗られたそれぞれの色を、カラーデータとして読み取ってもよい。そして、前記画像処理プラットフォーム103は、前記カラーデータを処理して、前記カラーデータのそれぞれの色に対応する前記一組の音符に基づいて前記カラーデータから一つ以上の音符よりなる楽曲を生成してもよい。一実施形態において、前記複数の描画器はそれぞれ、カラーパレットの各色で描画するよう構成されている。
【0042】
一実施形態において、前記画像処理プラットフォーム103は、前記一つ以上の色やそのパターンやサイズを前記一つ以上の音符に関連させるための説明文を作るようにしてもよい。例示的な一実施形態においては、前記画像処理プラットフォーム103は、前記カラーデータから抽出された特徴を用いて、前記音符を適した相手とマッチングさせてもよい。また別の形態においては、前記画像処理プラットフォーム103は、一つ以上のカラーデータを処理し、該カラーデータの一つ以上の要素(例えば、濃淡、色の範囲、色調、輝度、コントラスト、色純度)を求めてもよい。これらの要素は、前記一つ以上の音符の音色または周波数を求めるのに用いることができる。例えば、キャンバス上の前記描画には、様々な色が含まれていてもよい。前記一つ以上の音符は、割り当てられた色の値を有することができる。前記画像処理プラットフォーム103は、前記カラーデータおよびそのサイズにより、前記音符、音量および音律の高さを表すようにしてもよい。
【0043】
さらに別の形態においては、前記画像処理プラットフォーム103は前記一つ以上の色のサイズを求めてもよいが、該色のサイズは前記音符の長さを表すのに用いることができる。
【0044】
一実施形態において、前記画像処理プラットフォーム103を用いることにより描画から音符を生じさせることができるため、ユーザーは特定の色の順番で描けば有名な旋律を作ることができる。一実施形態において、前記画像処理プラットフォーム103は、各音符に対応する色ごとに値を設けてもよい。色の初期入力を全くせずにデフォルト値を最初に設定する際は、色の連続体を選び、濃淡のそれぞれに値を割り当て、その後の段階でそれらの値をそれぞれ音符に割り当てる。このようにして、音楽と芸術との関連性を理解するのに音楽の知識は不可欠なものではなく、音符の長さと色のサイズのマッピング同様、色の値と音符のマッピングを確立するキャンバス上の色を用いることで、誰でも音楽と芸術との相互作用を高めることができる。
【0045】
さらに、前記システム100の様々な構成要素は、通信ネットワーク105を介してコミュニケーションを取り合ってもよい。前記システム100の前記通信ネットワーク105としては、データネットワーク、ワイヤレスネットワーク、電話ネットワークまたはそれらの組み合わせ等の一つ以上のネットワークが挙げられる。前記データネットワークは、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、広域ネットワーク(WAN)、公衆データネットワーク(例えば、インターネット)、近距離無線ネットワーク、または、有標のケーブルまたは光ファイバーネットワークのような商業的に保有されている有標のパケット交換方式ネットワークといった他の適したパケット交換方式ネットワーク等、またはそれらの組み合わせであってよいと考えられる。また、前記ワイヤレスネットワークは例えば、セルラー通信ネットワークであってもよく、広域展開用高速データレート(EDGE)、汎用パケット無線サービス(GPRS)、グローバルシステムフォーモバイルコミュニケーションズ(GSM(登録商標))、インターネットプロトコルマルチメディアサブシステム(IMS)、ユニバーサルモバイルテレコミュニケーションシステム(UMTS)等や、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX)、ロングタームエボリューション(LTE)ネットワーク、符号分割多重アクセス方式(CDMA)、広帯域符号分割多元アクセス方式(WCDMA(登録商標))、ワイヤレスフィディリティー(Wi−Fi)、無線LAN(WLAN)、ブルートゥース(登録商標)、インターネットプロトコル(IP)データ放送、サテライト、モバイルアドホックネットワーク(MANET)、車両コントローラーエリアネットワーク(CAN bus)等の他の適した無線媒体、またはそれらの組み合わせなどの様々な技術を採用してもよい。
【0046】
前記UE101は、カラーデータを一つ以上の音符に変換する一つ以上の機能を実行するアプリケーション107をさらに備えてもよい。一実施形態において、前記アプリケーション107および前記画像処理プラットフォーム103は、クライアントサーバーモデルによって、相互作用する。なお、コンピュータプロセス相互作用の前記クライアントサーバーモデルは広く知られて用いられている。前記クライアントサーバーモデルによると、クライアントプロセスはリクエストを含むメッセージをサーバープロセスへ送り、前記サーバープロセスは、サービスを提供することによって応答する。前記サーバープロセスは、前記クライアントプロセスへ応答を含むメッセージを返してもよい。前記クライアントプロセスとサーバープロセスはしばしば、ホストコンピュータと呼ばれる異なるコンピュータ機器上で実行され、一つ以上のネットワーク通信用プロトコルを用いてネットワークを介して通信する。「サーバー」という用語は従来、サービスを提供するプロセスやそのプロセスが動作されるホストコンピュータを言及するのに用いられる。同様に、「クライアント」という用語は従来、リクエストするプロセスやそのプロセスが動作されるホストコンピュータを言及するのに用いられる。ここでは、「クライアント」と「サーバー」という用語は、文脈から明らかでない限り、ホストコンピュータというよりはむしろプロセスを言及する。また、サーバーが行うプロセスは、特に信頼性、拡張性、冗長性があるという理由から、分解されて複数のホストコンピュータ(層と呼ばれることもある)上で複数のプロセスとして動作する。
【0047】
一実施形態において、前記UE101はさらに、画像データを採取したり音符を生成したりする一つ以上の入力/出力装置109に接続されている。一実施形態において、前記入力/出力装置109には、色読み取り装置が含まれる。例えば、画像データの採取のために、前記入力/出力装置109は、画像データ取り込み用カメラまたはスキャナーであってもよい。前記入力/出力装置は、視覚データをサンプリングまたは取り込んで、前記システム100によって処理されるデジタル形式にするのに適したセンサを備えるよう構成されてもよいと思われる。一実施形態において、音符を聴覚または視覚表示に出力するために、前記入力/出力装置109は適した出力モジュールを何個でも備えるよう構成されてもよい。例えば、前記入力/出力装置109は、一つ以上の音符を聴覚または視覚的に表示するためのディスプレイ(例えば、モニター、プロジェクター、テレビなど)を備えるよう構成されてもよい。また、前記入力/出力装置109には、前記カラーデータから変換された、物理的なバージョン(例えば、紙、キャンバスおよび/または木材や石といった別の媒体等)の一つ以上の音符を作る装置が含まれる。これらの装置としては、限定されないが、プリンター、3Dプリンター、コンピュータによる数値制御(CNC)機、印刷機等が挙げられる。
【0048】
前記システム100はまた、前記UE101に組み込まれているか、埋め込まれているか、接続されている一つ以上のセンサ111も備える。前記UE101は、画像データをサンプリングまたは取り込んで、前記システム100によって処理されるデジタル形式にするのに適したセンサを備えるよう構成されてもよいと思われる。前記センサ111はどんな種類のものでもよい。一実施形態において、構成された前記センサ111は、ソースデータの種類に基づいて選ぶことができる。例えば、画像データはカラーデータを含んでもよく、その形式は何でもよい。もし、画像データが描画形式であれば、例えば、前記UE101は、一つ以上の音符とそれらの長さに変換するための描写を取り込むカメラ/イメージセンサ(例えば、読み取り装置またはカメラ)を用いてもよい。そして、前記システム100は前記描画を処理し、画像認識技術を介して前記カラーデータを抽出する。例示的な一実施形態においては、色読み取り装置は、色の値を読むことができるセンサ111を備えるよう構成されている。このようにして、ユーザーは、色読み取り装置を用いて様々な色(例えば、描画、既存の画像、絵画や他の視覚表示から)を読むことで音符を作ることができる。そして、前記色読み取り装置によって読み込まれた色は、様々な実施形態に関してここで述べたプロセスを用いて音符に変換される。
【0049】
一実施形態において、前記UE101および/または前記画像処理プラットフォーム103はまた、前記画像処理プラットフォーム103をサポートする別のサービスを提供するための一つ以上のサービス115を備えるサービスプラットフォーム113に接続されている。例として、前記サービスプラットフォーム113は、ソーシャルネットワーキングサービス/アプリケーション、コンテンツ(オーディオ、ビデオ、画像等)提供サービス/アプリケーション、アプリケーションサービス/アプリケーション、保存サービス/アプリケーション等を含んでもよい。一実施形態において、前記サービスプラットフォーム113は、コンテンツ情報の処理において補足または支援するために、前記UE101、前記画像処理プラットフォーム103およびコンテンツプロバイダー117と相互作用してもよい。一実施形態において、前記サービスプラットフォーム113は、前記画像処理プラットフォーム103またはその機能に組み込まれているか、埋め込まれてもよい。
【0050】
例として、前記サービス115は、一人以上のユーザーの興味および/またはアクティビティを反映するオンラインサービスであってもよい。前記サービス115のおかげで、ユーザーは、個別ネットワーク内でアクティビティ情報やユーザー履歴情報や興味(例えば、音楽的な興味)をシェアすることができ、データ可搬性がもたらされる。一実施形態において、前記サービスプラットフォーム113および/または前記サービス115は、一つ以上のコンテンツプロバイダー117a〜l17n(コンテンツプロバイダー117と総称)と相互作用し、前記画像処理プラットフォーム103に音符および/または他の関連情報を提供する。提供される前記コンテンツは、画像コンテンツ、テキストコンテンツ、オーディオコンテンツ(例えば、音声報知)、映像コンテンツ(例えば、視覚的報知)、などどんな種類のものでもよい。一実施形態において、前記コンテンツプロバイダー117は、前記UE101、前記画像処理プラットフォーム103および前記サービスプラットフォーム113のサービス115と関連づけられたコンテンツも保存してよい。
【0051】
前記システム100は、データベース119も備える。前記データベース119は、一つ以上の色に対応する一つ以上の音符を保存する。この情報は、コンテンツの提供および共有プロセスにおいて援助する手段を提供することができる情報であればどんな複数種類のものでもよい。
【0052】
前記システム100はまた、カラーパレットのそれぞれの色をキャンバス123上に描くよう定められた複数の描画器(例えば、カラーペン121)も備える。例示的な一実施形態において、各カラーペンは、所定の色の色波長に対応するインクまたは他の画材(例えば、絵具や木炭等)の色を出す。前記カラーペンまたは他の描画器121に含まれる前記インクや他の材料の色は、カラーデータの波長の範囲内にあり、特定の音符に割り当てられる。
【0053】
一実施形態において、前記描画器121は、コンピュータアプリケーション(例えば、描画またはペインティングアプリケーション)に設けられたバーチャル描画器であってもよい。この場合、前記コンピュータアプリケーション(例えば、モバイル機器、タブレット、デスクトップコンピュータ、独立型システム等で実行可能なもの)で選択されたパレットは、上記と同じプロセスで一組の音符に定めることができる。例えば、特定の描画アプリケーションにおいて用いられるようカスタムパレットを作ることもできる。一実施形態において、公共のアプリケーションプログラミングインターフェース(API)または他の類似のインターフェースを介して、前記パレットをサードパーティー描画アプリケーションにインポートすることができる。
【0054】
前記システム100は、キャンバス123も備える。一実施形態において、 前記キャンバス123は、複数の描画器がそれぞれカラーパレットの各色を塗るように構成されている。または別の実施形態において、前記キャンバス123は、前記のバーチャル描画器121と同様に、コンピュータアプリケーション(例えば、上述した前記バーチャル描画器121をサポートするコンピュータアプリケーション)のバーチャルキャンバスであってもよい。物理的なキャンバス123と同様に、前記バーチャルキャンバス123は、様々な色および/または素材でシミュレーションすることができる。その場合、前記カラーパレットと音符とのカラーマッピングによって、前記バーチャルキャンバス123上に現れるであろう色が説明できる。
【0055】
前記システム100は、色読み取り装置125も備える。一実施形態において、前記色読み取り装置125は、画像センサ、スキャナー、またはそれらの組み合わせを介してキャンバスに塗られたそれぞれの色を読み取ってもよい。別の実施形態においては、前記色読み取り装置125は、前記カラーデータの一部として、前記キャンバスに塗られたそれぞれの色の形またはサイズをスキャンしてもよい。また、前記システム100が物理的な構成要素というよりはむしろコンピュータアプリケーションとして実行される別の実施形態においては、前記色読み取り装置125は、バーチャル描画器121とバーチャルキャンバス123をサポートまたは提供する前記コンピュータアプリケーションの色読み取りモジュールであってもよい。
【0056】
例えば、前記UE101、前記画像処理プラットフォーム103および前記変換アプリケーション107は、相互にコミュニケーションを取り合うか、もしくは、既知の新しいまたは開発中のプロトコルを用いて、前記通信ネットワーク105の他の構成要素とコミュニケーションを取る。これに関連して、プロトコルには、前記通信ネットワーク105内のネットワークノードがコミュニケーションリンクで送られた情報に基づいてどのように相互作用するかを定義する一組のルールが含まれる。前記プロトコルは、様々は種類の物理的信号を生成したり受信したりすることから、それらの信号を伝達するためのリンクを選択することや、それらの信号によって示された情報のフォーマットや、コンピュータシステム上で実行されるソフトウェアアプリケーションのどれが前記情報を送受信しているのかを特定することまで、各ノード内において異なる層で有効である。ネットワークで情報を交換するためのプロトコルの概念上異なった層については、開放型システム間相互接続(OSI)参照モデルにおいて説明されている。
【0057】
前記ネットワークノード間のコミュニケーションは通常、離散的なデータパケットを交換することによって行われる。各パケットは通常、(1)特定のプロトコルに関連づけられたヘッダ情報と、(2)前記ヘッダ情報に続くペイロード情報であってその特定のプロトコルとは無関係に処理された情報を含むペイロード情報と、を含む。プロトコルの中には、パケットが、(3)ペイロードに続くトレーラ情報であって前記ペイロード情報の終わりを示すトレーラ情報を含むものもある。前記ヘッダには、前記プロトコルが用いる前記パケットのソースやその宛先や前記ペイロード長や他のプロパティといった情報が含まれる。前記特定のプロトコル用のペイロードのデータはしばしば、OSI参照モデルの別の上位層に関連づけられた別のプロトコル用のヘッダやペイロードを含む。特定のプロトコル用のヘッダは通常、そのペイロードに含まれる次のプロトコルのタイプを示す。上位層プロトコルは、下位層プロトコルにカプセル化されると言われている。インターネットのような複数の異機種ネットワークを横断するパケットに含まれるヘッダは通常、OSI参照モデルで定義されるように、物理(層1)ヘッダ、データリンク(層2)ヘッダ、インターネットワーク(層3)ヘッダおよびトランスポート(層4)ヘッダ、ならびに様々なアプリケーション(層5、層6、層7)ヘッダを含む。
【0058】
図2は、例示的な一実施形態による、画像処理プラットフォーム103の構成要素の図である。例として、前記画像処理プラットフォーム103は、カラーデータを一つ以上の音符に変換するための一つ以上の構成要素を備える。これらの構成要素の機能は、組み合わされて一つ以上の構成要素にされるか、または等価の機能を有する他の構成要素によって実行されてもよいと思われる。一実施形態において、前記画像処理プラットフォーム103は、構成モジュール201、マッピングモジュール203、色処理モジュール205およびプレゼンテーションモジュール207を一つ以上、またはそれらの組み合わせを備える。
【0059】
一実施形態において、前記構成モジュール201は、複数の描画器によってキャンバスに描かれたカラーパレットの各色をスキャンするよう色読み取り装置を構成してもよい。また別の実施形態においては、前記構成モジュール201は、複数のバーチャル描画器によってアプリケーションのキャンバスに描かれたカラーパレットの各色を読み取るようモバイル機器のアプリケーションを構成してもよい。例示的な一実施形態においては、前記色読み取り装置および/またはモバイル機器のアプリケーションは、各色を読み取るための画像センサ、スキャナー、またはそれらの組み合わせを備える。また別の実施形態において、前記構成モジュール201は、キャンバス上にカラーパレットのそれぞれの色を塗るようカラーペンを構成してもよい。例示的な一実施形態においては、各カラーペンは、所定の色の色周波数と同じ色周波数のインクを出す。前記カラーペンによってキャンバス上に出された前記インクは、カラーデータの色周波数の波長の範囲に収まり、特定の音符が割り当てられる。また別の実施形態において、前記構成モジュール201は、前記色処理モジュール205を以下に説明するように構成してもよい。
【0060】
一実施形態において、前記マッピングモジュール203は、少なくとも一つの色を少なくとも一つの音符と関連付けてもよい。別の実施形態においては、前記マッピングモジュール203は、少なくとも一つの色パターンを少なくとも一組の音符と関連付けてもよい。また別の実施形態においては、前記マッピングモジュール203は、キャンバス、アプリケーションのキャンバス、またはそれらの組み合わせに塗られた色のサイズを、一つ以上の音符の長さと関連させてもよい。
【0061】
一実施形態において、前記色処理モジュール205は、前記カラーデータを処理して、前記カラーデータのそれぞれの色に対応する前記一組の音符に基づいて前記カラーデータから一つ以上の音符よりなる楽曲を生成してもよい。例示的な一実施形態においては、前記色処理モジュール205は、キャンバス、アプリケーションのキャンバス、またはそれらの組み合わせのいずれかに塗られた色の順番に少なくとも部分的に基づいて、それぞれの色に対応する音符よりなる楽曲を生成してもよい。別の実施形態においては、前記色処理モジュール205は、前記それぞれの色の形またはサイズに基づいて、前記楽曲の一つ以上の音符の長さに関する情報を求めるよう構成されてもよい。例示的な一実施形態においては、前記色処理モジュール205は、前記一つ以上の音符の長さに関する情報に少なくとも部分的に基づいて、楽曲を生成してもよい。また別の実施形態においては、前記色処理モジュール205は、五線譜に前記楽曲を表し、出力装置を介して前記五線譜として楽曲を出力するよう構成されてもよい。また別の例示的実施形態においては、前記色処理モジュール205は、描画を処理し、一つ以上の色の順番を求めてもよい。そして、前記色処理モジュール205は、前記の順番に少なくとも部分的に基づいて、一つ以上の色と相関する一つ以上の音符を選択してもよい。その後、前記色処理モジュール205は、一つ以上の色を一つ以上の音符に変換してもよい。
【0062】
一実施形態において、前記プレゼンテーションモジュール207は、少なくとも一つの装置の少なくとも一つのユーザーインターフェースにおいて、五線譜に楽曲の表示をしてもよい。一実施形態においては、前記表示には、視覚表示、聴覚表示、またはそれらの組み合わせが含まれる。別の実施形態においては、前記プレゼンテーションモジュールは一人以上のユーザーにガイダンス情報を提供してもよいが、これは例えば、一人以上のユーザーが特定の音符用にキャンバスに描かれる色について知らされてもよいといったものである。また別の実施形態においては、前記プレゼンテーションモジュール207が、様々なアプリケーションプログラミングインターフェース(API)またはUE101のアプリケーション107に対応する他の関数コールおよび/または入力/出力装置109を用いることによって、ユーザーインターフェース要素を生成するためのメニューやボタンやデータ入力欄等といった図形要素の表示が可能となる。一実施形態においては、前記プレゼンテーションモジュール207は、アプリケーションのキャンバスに描写するためにユーザーに一つ以上の色を表示するグラフィカルユーザーインターフェース(GUI)の表示を可能にする。
【0063】
上記に述べた前記画像処理プラットフォーム103のモジュールや構成要素は、ハードウエア、ファームウエア、ソフトウエアまたはそれらの組み合わせにおいて実行される。図1においては別個の物として描かれているものの、前記画像処理プラットフォーム103はそれぞれのUE101によって直接操作されてもよいと思われる。そのようなものとして、前記画像処理プラットフォーム103は、アプリケーション107と相互作用するため、前記UE101のオペレーティングシステムを経由して直接的な信号入力データを生成してもよい。別の実施形態においては、一つ以上のモジュール201〜207は、前記画像処理プラットフォーム103としてのそれぞれのUEによって、または前記画像処理プラットフォーム103とそれぞれのUEの組み合わせによって、オペレーションのために実行されてもよい。また、前記画像処理プラットフォーム103は、情報および/または加入者分担アレンジメントに従って、直接的なオペレーションのためにウィジェットまたはアプレット形式といったサービス115と一体化されてもよい。ここで述べられている様々な実行は、アレンジメントおよびモデルのいずれかまたは全てについて考えられたものである。
【0064】
図3は、例示的な一実施形態による、カラーデータを一つ以上の音符に変換する工程のフローチャートである。一実施形態において、前記画像処理プラットフォーム103はプロセス300を実行し、例えば図10で示すようなプロセッサおよびメモリを備えるチップセットで実行される。
【0065】
工程301では、前記画像処理プラットフォーム103は、複数の描画器によってキャンバスに塗られたそれぞれの色を、色読み取り装置を用いて、カラーデータとして読み取ってもよい。一実施形態において、前記複数の描画器はそれぞれ、カラーパレットの各色で描画するよう構成されている。別の実施形態においては、前記カラーパレットのそれぞれの色は、一組の音符にそれぞれ対応している。一実施形態においては、前記複数の描画器は、前記カラーパレットのそれぞれの色を描くよう定められたカラーペンを備える。ある例では、前記カラーペンのそれぞれに定められた色に対応づけられた前記音符が、前記カラーペンに表示される。別の実施形態においては、色読み取り装置は、キャンバスに塗られた色を読み取るための画像センサ、スキャナー、またはそれらの組み合わせを備える。また別の実施形態においては、前記複数の描画器はコンピュータアプリケーションの複数のバーチャル描画器であって、前記キャンバスは前記コンピュータアプリケーションのバーチャルキャンバスであって、前記色読み取り装置は前記コンピュータアプリケーションの色読み取りモジュールであって、前記色処理モジュールは前記コンピュータアプリケーションのモジュールである。前記コンピュータアプリケーションはモバイル機器上で実行可能である。
【0066】
工程303では、前記画像処理プラットフォーム103は、色処理モジュールを用いて前記カラーデータを処理し、前記カラーデータのそれぞれの色に対応する一組の音符に基づいて、前記カラーデータから前記一つ以上の音符よりなる楽曲を生成する。例示的な一実施形態においては、前記画像処理プラットフォーム103は、前記カラーデータを処理し、前記カラーデータのそれぞれの色に対応する一つ以上の音符を得る。そして、前記画像処理プラットフォーム103は、前記キャンバスに塗られた色の順序に基づいて、前記楽曲の前記一つ以上の音符の順番を生成してもよい。
【0067】
図4は、例示的な一実施形態による、一つ以上の音符よりなる楽曲を再生させるプロセスのフローチャートである。一実施形態において、前記画像処理プラットフォーム103はプロセス400を実行し、例えば図10で示すようなプロセッサおよびメモリを備えるチップセットで実行される。
【0068】
工程401では、前記画像処理プラットフォーム103は、音声出力装置を用いて前記楽曲を再生してもよい。一実施形態において、前記画像処理プラットフォーム103は、一つ以上のカラーデータおよびそれらのそれぞれのサイズに基づいて、オーディオシーケンスを生成してもよい。別の実施形態においては、選択された色やそれらのパターンや塗布の均一性は、調和した音声(例えば、音色)が出力されるように定められてもよい。そして、オーディオ楽曲の再生を開始してもよい。例示的な一実施形態においては、オーディオデータを出力するために、前記入力/出力装置109は音声再生システムを備えるよう構成することができる。
【0069】
図5は、例示的な一実施形態による、一つ以上の音符の長さに関する情報を求めるプロセスのフローチャートである。一実施形態において、前記画像処理プラットフォーム103はプロセス500を実行し、例えば図10で示すようなプロセッサおよびメモリを備えるチップセットで実行される。
【0070】
工程501では、前記画像処理プラットフォーム103は、前記色読み取り装置を用いて、前記カラーデータの一部として、前記キャンバスに塗られたそれぞれの色の形またはサイズをスキャンしてもよい。一実施形態において、前記画像処理プラットフォーム103は、一つ以上のカラーデータのサイズを用いて、一つ以上の音符のそれぞれの長さを求めてもよい。別の実施形態においては、一つ以上の色は、例えば平行四辺形を含む幾何学的な形をしていてもよい。
【0071】
工程503では、前記画像処理プラットフォーム103は、前記色処理モジュールを用いて、前記それぞれの色の形またはサイズに基づいて、前記楽曲の前記一つ以上の音符の長さに関する情報を求めてもよい。一実施形態において、前記楽曲はさらに、前記音符長さ情報に基づいて生成されたものである。別の実施形態においては、前記音符の長さは、各音符に割り当てられた色のサイズの相当する割合によって識別される。一実施形態においては、前記色処理モジュールは、前記楽曲を五線譜に表わし、出力装置を介して五線譜として前記楽曲を出力するようさらに構成されている。
【0072】
図6は、ここに記載の各種プロセスで用いられるピアノ鍵盤の図である。鍵盤601上の52個の白鍵は、七つの基本音を出し、オクターブ毎に繰り返し並べられている。上下に隣接するオクターブは音名(すなわち音符)を共用する。
【0073】
ゾーンは、高音域、アルト域および低音域の三つに分かれている。各ゾーンは、七つの基本音および五つの半音の、C、C#(Db)、D、D#(Eb)、E、F、F#(Gb)、G、G#(Ab)、A、A#(Bb)およびBからなる全部で12個の音からなる。この順番で、アラビア数字を各音に割り当て、1、2、3、4、5、6、7、8、9、10、11、12という番号順、要するに音楽アルファベットを作ることができる(図6参照)。
【0074】
したがって、前記の三つのゾーン(低音域、アルト域および高音域)はそれぞれ、1、2、3、4、5、6、7、8、9、10、11、12、13、 14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34、35、36と記号化される。
【0075】
一実施形態において、前記システム100は前記カラーデータから特徴を取り出し、音符(例えば音符番号、図6参照)、例えば、各音符に関連づけられた数値を割り当てる。別の実施形態においては、前記システム100は、色を対応する音符にマッチングしようとすることによって、上記で述べたように音符/音色および長さを記号化する色の組から音符を引き出すことができる。これは視覚データに対応する聴覚的表現を生成するのに用いられる(例えば、マッチングがいったん調整されてフィルタリングされたら)。このようにして、描画または他の視覚表示は、作曲手段として用いられる。
【0076】
また、前記システム100は、カラーバー(または、視覚表示か視覚映像中の他のカラー視覚要素)を、対応する音符と長さにマッチングしようとすることによって、上記で述べたように音符/音色および長さを記号化する色の組または他の視覚表示から音楽を引き出すことができる。これは視覚データに対応する聴覚的表現を生成するのに用いられる(例えば、マッチングがいったん調整されてフィルタリングされたら)。このようにして、色を塗布することまたは他の視覚表示は、作曲手段として用いられる。
【0077】
一実施形態において、カラーカードが、集合した色の連続体の構成要素となる。色を音色や音符にマッピングすることについて様々な態様を述べたが、これらの音色や音符はまた、パターンやデザインにマッピングすることもできると考えられる。また、色、パターンおよびデザインは、どのような組み合わせで組み合わせてもよい。例えば、非常に多岐にわたる色、パターンおよびデザインが利用できるので、前記システム100は任意の所望の色を選んで、その色用に完全に標準化されデジタル化されたマーカーを取得することができる。一実施形態においては、そのような特有のマーカーは、できるだけ完全に一致した単一の音色を生成するために重要である。前記システム100は、このようなカラーカード(例えば、選択された色空間から選ばれたカラーカード)を用いて、「12平均律」に従うことで、信頼して色の値をシリアル化することができる。一実施形態においては、音データベースもまたこのようにして作られ、図6のピアノ鍵盤または他の類似の音符相関表の助けで、前記システム100は正確に視覚的な値を聴覚的な値にマッチングすることができる。
【0078】
一実施形態において、カラーカードはシーケンスにおける色の値のそれぞれに割り当てられ、その色の値は順に、連続的なシーケンスの音符にマッチングする。色と音符間のデータ変換を介して、音符の視覚的かつ直観的な形態が描画を経由して表現される。
【0079】
一実施形態において、前記システム100は、濃淡、色の範囲、輝度、コントラストまたはそれらの組み合わせに関連したデータを用いて、旋律、音価、音量または他の要因の進行を求めてもよい。一実施形態においては、前記システム100は、水彩絵の具やグワッシュやアクリル絵の具や油絵具などどんな媒体の描画からでも前記音符を生成することができる。
【0080】
例えば紫色に薄まっていく黄色の階調度には、前記システム100は、C、C#(Db)、D、D#(Eb)、E、F、F#(Gb)、G、G、(Ab)、A、A#(Bb)およびBの基本音の中音域の順番を、デジタルコード化した13、14、15、16、17、18、19、20、21、22、23、24の順番にマッチングさせる。
【0081】
例として、どのように音質がコード化されて、カラーカードに対応するのかを下記の表1に示す。

音色/音符
C13 パントン イエロー U
(D) パントン イエロー 012 U
D パントン オレンジ 021 U
D#(E) パントン ブライトレッド U
E パントン ワームレッド U
F パントン レッド 032 U
(G) パントン ルビンレッド U
G パントン ローダミンレッド U
(A) パントン ピンク U
A パントン パープル U
A#(B) パントン ミディアムパープル U
B パントン バイオレット U
表1
【0082】
この例では、上記の順番は、パントンの色空間の黄色から紫色への階調度を使って、調律されたアルト音にマッチングさせたものであるが、このような方法は逆もまた可能である。色の輝度に基づく音符の選択をする場合、前記システム100は、これに比例して前記音符の音色を増減することができる。上記において紫色(暗)から黄色(明)の階調度で示したとおり、前記音符はC13からBまで変化するが、逆もまた同様である。
【0083】
一実施形態において、前記システム100は、一つ以上の色のサイズを考慮し、一つ以上の音符の時間的値または長さを求める。例として、音符の一般的な長さには、全音符、二分音符、四分音符、八分音符、16分音符などが含まれる。多くの場合、音符ごとに時間的長さが異なる。例えば、楽譜における時間的長さは、小節間の相対的な長さを表すのに用いられる。時間的長さはまた、一つの音符がどのくらい続くのかも定める。
【0084】
したがって、一実施形態において、前記システム100は音符の長さを色のサイズにマッチングして、そのサイズに比例した音符の長さを作ってもよい。一実施形態において、一つのユニットセルを一つ以上の色で満たしてもよい。前記ユニットセルは、キャンバスに塗られた一つ以上の色を測定する手段として用いられてもよい。時間的値または音符の長さは、音符ごとに割り当てられたユニットセルの相当する割合によって識別される。例えば、もし前記システム100が、四分音符の長さを一ユニットセルの面積に相当するよう設定した場合である。その場合、一小節において、四分音符が一つのユニットセルを占め、二分音符が二つのユニットセルを占め、全音符が四つのユニットセルを占め、16分音符が一ユニットセルの半分を占める。それと比較して、もし前記システム100が二分音符の長さを一つのユニットセルの面積として設定する場合には、四分音符がユニットセルの半分を占め、二分音符が一つのユニットセルを占め、全音符が二つのユニットセルを占め、八分音符が一ユニットセルの四分の一を占める。前記システム100が、全音符の長さを一ユニットセルの面積に相当するよう設定する場合、四分音符が一ユニットセルの四分の一を占め、二分音符が一ユニットセルの半分を占め、全音符が一つのユニットセルを占め、八分音符が一ユニットセルの八分の一を占める。その他、それぞれの特定の音符が占める面積は、前もって設定されたユニットセルの面積にしたがって、一つの音符の長さに比例する。したがって、前記音符の長さは、一ユニットセルにおける色のサイズに対応している。
【0085】
図7Aは、例示的な一実施形態による、図3〜5のプロセスにおいて用いられる図である。一実施形態において、ユーザーは、描画器703を用いてキャンバス701に描いて、一つ以上の音符を作る。一実施形態においては、前記描画器703は、カラーパレットのそれぞれの色で描画するよう構成され色調整されたペンを備える。前記カラーパレットの各色は一組の音符にそれぞれ対応している。そして、前記画像処理プラットフォーム103および/または前記入力/出力装置109は、カメラセンサ111またはスキャナーを用いて前記キャンバス701上の描画を取り込んでもよい。続いて、前記画像処理プラットフォーム103および/または前記入力/出力装置109は前記描画を処理し、前記描画の一つ以上のカラーデータを求めてもよい。次に、前記画像処理プラットフォーム103および/または前記入力/出力装置109は、前記カラーデータの色にそれぞれ対応する一つ以上の音符と、一つ以上のカラーデータをマッピングしてもよい。続いて、前記画像処理プラットフォーム103および/または前記入力/出力装置109は、楽曲が五線譜にて表された一つ以上の音符の視覚および/または聴覚表示705を生成してもよい。一実施形態においては、前記五線譜の前記視覚および/または聴覚表示705は、少なくとも一つのUE101または他の物理的なバージョン(例えば、紙、キャンバスおよび/または他の媒体)で生成されてもよい。一実施形態においては、これらの物理的なバージョンは適切な出力装置(例えば、プリンターや他の自動化手段)を介して直接生成することができる。別の実施形態においては、前記カラーデータから、一つ以上の音符の聴覚表示707を生成してもよい。
【0086】
図7Bは、例示的な一実施形態による、別のフォーマットでキャンバスに塗られた色を表す図である。ある例では、ユーザーは、前記描画器703を用いて前記キャンバス701上に色々な形、パターン、サイズの色を描いてもよい。続いて、前記画像処理プラットフォーム103は、前記キャンバス701上の色々な形、パターン、サイズの色のそれぞれに対応する一つ以上の音符でできた五線譜を表してもよい。
【0087】
図8は、例示的な一実施形態による、図3〜5のプロセスにおいて用いられるユーザーインターフェースの図である。一実施形態において、ユーザーは、前記UE101に関連づけられたコンピュータアプリケーションのバーチャルキャンバス801に描く。前記UE101に関連づけられた前記コンピュータアプリケーションは、前記ユーザーに、一組の音符にそれぞれ対応するカラーパレットのそれぞれの色を示してもよい。そして、前記ユーザーは、前記カラーパレットから一つ以上の色を選択して描画を作ってもよい。そして、前記画像処理プラットフォーム103は、カメラセンサ111またはスキャナーを用いて前記バーチャルキャンバス801上の描画を取り込んでもよい。続いて、前記画像処理プラットフォーム103は前記描画を処理し、前記カラーデータを求めてもよい。次に、前記画像処理プラットフォーム103は、前記カラーデータを各色に対応する一つ以上の音符とマッピングしてもよい。続いて、前記画像処理プラットフォーム103は、前記楽曲を五線譜に表わしてもよい(803)。一実施形態において、前記五線譜としての楽曲の表示(803)は、少なくとも一つのUE101または他の物理的なバージョンで生成されてもよい。別の実施形態においては、前記画像処理プラットフォーム103は、前記楽曲の聴覚表示を生成してもよい。ただし、図7A、7Bおよび8の例では長方形(平行四辺形)でセルの描画の色が示されているが、変換処理を増進し強化するために、円形、台形、三角形、ひし形、六角形、三日月形および/または様々な他の形で示されてもよい。
【0088】
ここで述べたカラーデータを一つ以上の音符に変換するプロセスは、有利になるように、ソフトウエア、ハードウエア、ファームウエア、またはソフトウエアおよび/またはファームウエアおよび/またはハードウエアの組み合わせを介して実行されてもよい。例えば、ここで述べたプロセスは、有利になるように、プロセッサ、デジタル信号処理(DSP)チップ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)等を介して実行されてもよい。上述の機能を実施するための例示されたハードウエアを下記に述べる。
【0089】
図9は、本発明の一実施形態を実施するのに用いられるコンピュータシステム900の図である。前記コンピュータシステム900は特定の装置や機器に関して描かれているが、図9内の他の装置や機器(例えば、ネットワーク構成要素やサーバー等)は、図示された前記コンピュータシステム900のハードウエアやコンポーネントを導入することができると思われる。前記コンピュータシステム900は、ここで述べられているよう、カラーデータを一つ以上の音符に変換するようにプログラム(例えば、コンピュータプログラムコードまたはコンピュータ命令を介し)されており、前記コンピュータシステム900の他の内部コンポーネントや外部コンポーネント間で情報を伝えるためのバス910のような通信メカニズムを備える。情報(データとも呼ばれる)は、一般的には電圧といった測定可能な現象の物理的表現として表されるが、他の態様においては、磁気相互作用、電磁相互作用、圧力相互作用、化学的相互作用、生物学的相互作用、分子間相互作用、原子相互作用、原子内相互作用、量子相互作用などが含まれる。例えば、南北の磁場、またはゼロまたはゼロ以外の電圧は、二進数(ビット)の二つの状態(0、1)を表す。他の現象では、より大きいベースの数字を表すことができる。測定前に同時に多重の量子状態が重複している場合は、量子ビット(qubit)を表す。一つ以上の数字のシーケンスは、ある文字用の数字や符号を表すのに用いられるデジタルデータを構成する。いくつかの実施形態においては、アナログデータと呼ばれる情報が、特定の範囲内において互いに接近して連続した測定可能な値で表される。前記コンピュータシステム900またはその一部は、カラーデータを一つ以上の音符に変換する一つ以上の工程を実行する手段を構成する。
【0090】
バス910は、バス910自身に繋げられた装置に情報が素早く伝達されるように一つ以上の情報並列導体を備える。一つ以上の情報処理用プロセッサ902が、前記バス910で連結されている。
【0091】
プロセッサ(またはマルチプロセッサ)902は、カラーデータを一つ以上の音符へ変換することに関するコンピュータプログラムコードによって特定された情報に対して、一組のオペレーションを実行する。前記コンピュータプログラムコードは、プロセッサのオペレーション用および/または特定の機能を実行するコンピュータシステム用の一組の命令またはその命令を与えるステートメントである。前記コードは、例えば、前記プロセッサのネイティブ命令セットにコンパイルされたコンピュータプログラミング言語で書かれていてもよい。前記コードはまた、前記ネイティブ命令セット(例えば、マシン語)を用いて直接書かれてもよい。前記一組のオペレーションには、前記バス910から情報を取り入れる工程と、前記バス910上に情報を乗せる工程が含まれる。前記一組のオペレーションには通常、論理和、排他的論理和(XOR)および論理積といった加法演算または乗算演算または論理演算などによって、二つ以上の情報単位を比較する工程、情報単位位置を移動する工程、および二つ以上の情報単位を結合する工程も含まれる。前記プロセッサによって実行される前記一組のオペレーションはそれぞれ、一つ以上の数字のオペレーションコード等の命令と呼ばれる情報によって、前記プロセッサに対して示される。オペレーションコードのシーケンス等の前記プロセッサ902によって実行されるオペレーションのシーケンスは、コンピュータシステム命令または単にコンピュータ命令と呼ばれるプロセッサ命令を構成する。プロセッサは、機械構成要素、電気構成要素、磁性構成要素、光学構成要素、化学構成要素として、または、とりわけ量子構成要素として、単独または組み合わせで実行しもよい。
【0092】
コンピュータシステム900はまた、バス910に繋げられたメモリ904を備える。前記メモリ904は、例えば、ランダムアクセスメモリ(RAM)や他の動的記憶装置のようなものであって、カラーデータを一つ以上の音符に変換するためのプロセッサ命令を含む情報を記憶する。ダイナミックメモリは、その内部に記憶された情報を、コンピュータシステム900により変換可能にする。RAMによって、記憶アドレスとよばれる場所で記憶された情報単位は記憶されて、隣接するアドレスの情報とは関係なく個別に引き出される。前記メモリ904はまた、プロセッサ命令実行中に暫定値を記憶するために、プロセッサ902によっても用いられる。前記コンピュータシステム900はまた、前記コンピュータシステム900によって変換されることのない命令を含む静的情報を記憶するための前記バス910に繋げられた読み出し専用メモリ(ROM)906または他の静的記憶装置を備える。メモリの中には、電源が失われた場合に記憶された情報が失われる揮発性記憶装置から成るものもある。また、前記バス910に繋げられているのは、前記コンピュータシステム900がオフにされるか、または電源が失われた場合であっても持続する、例えば、磁気ディスク、光ディスク、フラッシュカードなどの、命令を含む情報を記憶するための不揮発性(永続)記憶装置908である。
【0093】
カラーデータを一つ以上の音符に変換する命令を含む情報が、前記プロセッサの使用によって、人間のユーザーによって操作される英数字キーを含むキーボード、マイクロフォン、赤外線(IR)リモコン、ジョイスティック、ゲームパッド、タッチペン、タッチスクリーンまたはセンサといった外部入力装置912から、前記バス910に供給される。センサは、その近辺の状況を検知し、これらの検知したものを、コンピュータシステム900で情報を表すのに用いられる測定可能な現象と互換性がある物理的な表現に変換する。人間との対話に主に用いられる、バス910に繋げられた他の外部装置は、テキストや画像を表示するための陰極線管(CRT)、液晶表示装置(LCD)、発光ダイオード(LED)表示装置、有機発光(OLED)表示装置、プラズマスクリーンまたはプリンター等の表示装置914と、前記表示装置914上に表示された小さなカーソルの画像位置を制御し、前記表示装置914上に表示された図形要素に関連づけられたコマンドを発行するためのマウス、トラックボール、カーソル移動キーまたは運動センサ等のポインティング装置916と、一つ以上の静止画および/または、録音を含む場合もある動画(例えば、ビデオ映像や映画等)を取り込み、録画し、記憶する一つ以上のカメラセンサ994と、を備える。いくつかの実施形態においては、例えば、前記コンピュータシステム900が人間による入力なしですべての機能を実行するような実施形態においては、一つ以上の外部入力装置912、表示装置914およびポインティング装置916を省略してもよい。
【0094】
図示の実施形態においては、特定用途向け集積回路(ASIC)920のような特定用途向けハードウエアがバス910に繋げられている。前記特定用途向けハードウエアは、プロセッサ902が実行しないオペレーションを、その特定用途のために十分速く実行するよう構成されている。ASICとしては、表示装置914用の画像を生成するためのグラフィックスアクセラレータカード、ネットワーク上で送信されるメッセージを暗号化したり解読したりするための暗号ボード、音声認識、ハードウエアでより効率的に実行されるオペレーションの複合シーケンスを繰り返し実行するロボットアームや医療用スキャニング機器のような特殊な外部装置へのインターフェース等が挙げられる。
【0095】
コンピュータシステム900はまた、バス910に繋げられた通信用インターフェース970の一つ以上のインスタンスを含む。通信用インターフェース970によって、プリンター、スキャナーおよび外部ディスク等の、自身が有するプロセッサで動作する様々な外部装置に接続された片方向通信または双方向通信がもたらされる。一般的に、前記接続はネットワークリンク978でなされているが、該ネットワークリンク978は、自身のプロセッサを有する様々な外部装置に繋がっているローカルネットワーク980に接続されている。例えば、通信用インターフェース970は、パソコンのパラレルポート、シリアルポートまたはユニバーサルシリアルバス(USB)ポートであってもよい。いくつかの実施形態においては、通信用インターフェース970は、対応する型の電話線への情報通信接続を提供する総合デジタル通信網(ISDN)カード、デジタル加入者回線(DSL)カードまたは電話モデムである。いくつかの実施形態においては、通信用インターフェース970は、バス910上の信号を、同軸ケーブル上での通信接続用信号またはファイバーケーブル上での通信接続用の光信号に変換するケーブルモデムである。また別の例では、通信用インターフェース970は、イーサネット(登録商標)等の互換LANへデータ通信接続を提供するローカルエリアネットワーク(LAN)カードであってもよい。また、無線リンクを実行してもよい。無線リンクでは、前記通信用インターフェース970が、デジタルデータ等の情報ストリームを流す赤外線や光信号を含む電気または音響または電磁信号を送信または受信または送受信する。例えば、セル方式携帯無線電話等の携帯電話のようなワイヤレスハンドヘルド装置において、前記通信用インターフェース970としては、無線送受信機と呼ばれる無線帯域電磁送受信機が含まれる。いくつかの実施形態においては、前記通信用インターフェース970によって、カラーデータを一つ以上の音符に変換する前記通信ネットワーク105の前記UE101への接続が可能になる。
【0096】
ここで用いられる「コンピュータ可読媒体」という言葉は、実行命令を含むプロセッサ902への情報の提供に関与する媒体すべてに言及する。そのような媒体は様々な形態のものでよく、コンピュータ可読記憶媒体(例えば、不揮発性媒体、揮発性媒体)だけでなく、伝送媒体も含まれる。不揮発性媒体のような非一時的な媒体には、例えば、記憶装置908のような光ディスクや磁気ディスクも含まれる。揮発性媒体には、例えば、ダイナミックメモリ904が含まれる。伝送媒体には、例えば、ツイストペアケーブル、同軸ケーブル、銅線、光ファイバーケーブル、および、電波や光波や赤外線波等の音響波や電磁波といった、ワイヤーやケーブルを用いないで空間を進む搬送波等が含まれる。信号には、伝送媒体を介して伝送された、振幅や周波数や位相や偏波や他の物理的特性の人為的な過渡変動が含まれる。一般的形式のコンピュータ可読媒体には、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、その他の磁気媒体、CD−ROM、CDRW、DVD、その他の光媒体、穿孔カード、穿孔テープ、光学式マークシート、穴模様または光学的に認識できる表示のついたその他の物理的な媒体、RAM、PROM、EPROM、FLASH−EPROM、EEPROM、フラッシュメモリ、その他のメモリチップまたはカートリッジ、搬送波、または、コンピュータが読み込むことのできるその他の媒体等が含まれる。コンピュータ可読記憶媒体という言葉はここでは、伝送媒体を覗くすべてのコンピュータ可読媒体に言及する。
【0097】
一つ以上の有形的表現媒体においてコード化された論理回路には、コンピュータ可読記憶媒体のプロセッサ命令およびASIC920のような特定用途向けハードウエアの一方又は両方が含まれる。
【0098】
ネットワークリンク978は通常、一つ以上のネットワークを介した伝送媒体を用いて、情報通信を、その情報を使用または処理する他の装置へ供給する。例えば、ネットワークリンク978は、ホストコンピュータ982に、または、インターネットサービスプロバイダ(ISP)によって動作される装置984に、ローカルネットワーク980を介した接続を供給してもよい。そして、ISP装置984は、現在一般的にインターネット990と呼ばれるネットワーク類のうち公共の世界的パケット交換通信網を介してデータ通信サービスを供給する。
【0099】
インターネットに接続されたサーバーホスト992と呼ばれるコンピュータは、インターネットで受信された情報に応えて、サービスを供給するプロセスをホストする。例えば、サーバーホスト992は、表示装置914で表示する映像データを表示する情報を供給するプロセスをホストする。システム900の構成要素は、ホスト982やサーバー992のような他のコンピュータシステム内で、種々の形態で配置されてもよいと考えられる。
【0100】
本発明の少なくともいくつかの実施形態は、ここに記載されている技術のいくつかまたは全てを実行するためのコンピュータシステム900の使用に関連している。本発明の一実施形態によると、これらの技術は、メモリ904に含まれた一つ以上のプロセッサ命令の一つ以上のシーケンスを実行するプロセッサ902に応えて、コンピュータシステム900によって実行される。コンピュータ命令とも呼ばれるこのような命令やソフトウエアやプログラムコードは、記憶装置908またはネットワークリンク978のような他のコンピュータ可読媒体からメモリ904に読み込まれてもよい。メモリ904に含まれた命令のシーケンスを実行することよって、プロセッサ902は、ここに記載された一つ以上の方法工程を実行する。また別の実施形態においては、本発明を実行するためのソフトウエアの代わり、またはそれと組み合わせて、ASIC920のようなハードウエアを使用してもよい。このように、本発明の実施形態は、明確な記載がない限り、ハードウエアやソフトウエアの組み合わせに関して特に限定されることはない。
【0101】
通信用インターフェース970を経由してネットワークリンク978や他のネットワークを介して送信された信号は、コンピュータシステム900へ、かつ、コンピュータシステム900から、情報を搬送する。コンピュータシステム900は、前記ネットワーク980および990を介して、特にネットワークリンク978や通信用インターフェース970を介して、プログラムコードを含む情報を送受信することができる。前記インターネット990を用いた例においては、サーバーホスト992は、コンピュータ900から送信されたメッセージによって要求された特定のアプリケーション用のプログラムコードを、インターネット990、ISP装置984、ローカルネットワーク980および通信用インターフェース970を介して送信する。受信されたコードは、受信時にプロセッサ902によって実行されてもよいし、または後で使用するために、メモリ904、記憶装置908または他の不揮発性記憶装置に記憶してもよいし、またはその両方でもよい。このようにして、コンピュータシステム900は、搬送波上の信号形式のアプリケーションプログラムを取得してもよい。
【0102】
実行のために命令またはデータまたは両方の一つ以上のシーケンスをプロセッサ902に搬送するのに、様々な形式のコンピュータ可読媒体を用いてもよい。例えば、命令およびデータは最初に、ホスト982のようなリモートコンピュータの磁気ディスク上に搬送されてもよい。前記リモートコンピュータは、命令およびデータを自身の動的記憶装置に読み込み、その命令およびデータを、モデムを用いた電話線を介して送信する。前記コンピュータシステム900のローカルなモデムは、電話線で命令およびデータを受信し、赤外線送信機を用いて、前記命令およびデータをネットワークリンク978としての機能を果たす赤外線搬送波の信号に変換する。通信用インターフェース970としての機能を果たす赤外線探知機は、赤外線信号で搬送された前記命令およびデータを受信し、バス910上に前記命令およびデータを表す情報を置く。バス910は、前記情報をメモリ904へ搬送するが、プロセッサ902は前記命令とともに送られたデータのいくつかを用いてメモリ904から前記命令を取り出して実行する。前記プロセッサ902による実行の前または後のいずれかにおいて、メモリ904で受信された前記命令およびデータを記憶装置908にオプションで記憶してもよい。
【0103】
図10は、本発明の一実施形態を実施するのに用いられるチップセットまたはチップ1000の図である。チップ1000は、ここに記載されるようにカラーデータを一つ以上の音符に変換するようにプログラムされており、例えば、図9とともに説明された、一つ以上の物理的なパッケージソフト(例えば、チップ)に組み込まれたプロセッサやメモリ要素を備える。例として、物理的なパッケージソフトには、構造組立品(例えば、基部の板)に取り付けられた一つ以上のマテリアル、コンポーネントおよび/またはワイヤーの設備が含まれ、物理的強度、サイズの保存および/または電気的相互作用の制限といった一つ以上の特徴を生む。いくつかの実施形態においては、前記チップ1000は単一チップで実行することができると考えられる。また、いくつかの実施形態においては、前記チップセットまたはチップ1000は単一の「システムオンチップ」として実行されると思われる。また、いくつかの実施形態においては、別個のASICを用いずに、例えば、ここに記載の全ての関連した機能を一つのプロセッサや複数のプロセッサで実行してもよいと思われる。前記チップセットもしくはチップ1000、またはそれらの一部は、機能の有用性に関連したユーザーインターフェースナビゲーション情報を提供する一つ以上の工程を実施する手段を構成する。前記チップセットもしくはチップ1000、またはそれらの一部は、カラーデータを一つ以上の音符に変換する一つ以上の工程を実施する手段を構成する。
【0104】
一実施形態において、前記チップセットまたはチップ1000は、前記チップ1000の構成要素間で情報を伝えるためのバス1001のような通信機構を備える。プロセッサ1003は、命令を実行し、例えばメモリ1005に記憶された情報を処理するために、前記バス1001に接続されている。前記プロセッサ1003は、それぞれ独立して機能する一つ以上の処理コアを備える。マルチコアプロセッサによって、単一の物理的なパッケージソフト内の多重処理が可能となる。マルチコアプロセッサとしては、二、四、八またはそれより大きい数の処理コアが挙げられる。もう一つの選択肢として、または、それに加えて、前記プロセッサ1003は、前記一つ以上のバス1001を介して連携して命令やパイプライン方式やマルチスレッドを独立して実行することができるように構成された一つ以上のマイクロプロセッサを備えてもよい。前記プロセッサ1003はまた、デジタル信号プロセッサ(DSP)1007または一つ以上の特定用途向け集積回路(ASIC)1009といった特定の処理機能やタスクを実行するための特殊な構成要素を伴ってもよい。DSP1007は通常、プロセッサ1003とは独立して、実世界の信号(例えば、音)をリアルタイムで処理するよう構成されている。同様に、ASIC1009は、汎用性のより高いプロセッサが容易に実行することのできない特殊な機能を実行するよう構成することができる。ここに記載の進歩的な機能を実行する際に助けとなる他の特殊な構成要素としては、一つ以上のフィールドプログラマブルゲートアレイ(FPGA)、一つ以上の制御装置、または一つ以上の他の特殊用途のコンピュータチップが挙げられる。
【0105】
一実施形態において、前記チップセットまたはチップ1000は、たった一つのまたは複数のプロセッサ、および、該一つ以上のプロセッサを支援するおよび/または該一つ以上のプロセッサに関連するおよび/または該一つ以上のプロセッサ用のいくつかのソフトウエアおよび/またはファームウエアを備える。
【0106】
前記プロセッサ1003およびそれに付随する構成要素は、前記バス1001を介して前記メモリ1005に接続されている。前記メモリ1005は、カラーデータを一つ以上の音符に変換するために、実行された際にはここに記載の進歩的な工程を実施する実行可能命令を記憶するためのダイナミックメモリ(RAM、磁気ディスク、書き込み可能な光ディスク等)およびスタティックメモリ(ROM、CD−ROM等)の両方を備える。前記メモリ1005はまた、進歩的な工程の実行に関連する、または進歩的な工程の実行によって生成されたデータも記憶する。
【0107】
図11は、一実施形態による、図1のシステムにおいて動作可能な通信用携帯端末(例えばハンドセット)の例示的な構成要素の図である。いくつかの実施形態においては、携帯端末1101またはその一部は、カラーデータを一つ以上の音符に変換する一つ以上の工程を実行する手段を構成する。通常、無線受信機はしばしば、フロントエンドとバックエンドの特徴の観点から定義づけられる。受信機のフロントエンドが無線周波数(RF)回路の全てを包含する一方、バックエンドは、ベースバンド処理回路の全てを包含する。本出願において用いられているように、「回路」という言葉は、(1)ハードウエアのみ実装(アナログおよび/またはデジタル回路のみにおける実装等)と、(2)回路およびソフトウエア(および/またはファームウエア)の組み合わせ(例えば、もし特定のコンテキストに適用できる場合には、一緒に動作して携帯電話やサーバーといった装置に様々な機能をさせるデジタルシグナルプロセッサ(単数および複数)を含むプロセッサ、ソフトウエアおよびメモリ(単数および複数)の組み合わせ)との両方に言及する。この「回路」の定義は、本請求項の全てを含む本出願においてこの言葉を用いる場合の全てに当てはまる。さらに別の例では、本出願において用いられているように、そして、もし特定のコンテキストに適用できる場合には、「回路」という言葉はまた、たった一つプロセッサ(または複数のプロセッサ)およびそれ(またはそれら)に付随するソフトウエアおよび/またはファームウエアの実装も対象に含む。「回路」という言葉はまた、もし特定のコンテキストに適用できる場合には、例えば、携帯電話のベースバンド集積回路もしくはアプリケーションプロセッサ集積回路またはセルラーネットワーク装置もしくは他のネットワーク装置の類似の集積回路も対象に含む。
【0108】
電話の関連内部コンポーネントには、主制御装置(MCU)1103、デジタル信号プロセッサ(DSP)1105と、マイクロフォンゲイン制御ユニットおよびスピーカーゲイン制御ユニットを備える受信器/送信器ユニットとが含まれる。主表示ユニット1107は、カラーデータを一つ以上の音符に変換する工程を実行または支援する様々なアプリケーションおよび携帯端末機能を支持して、ユーザーに対する表示を行う。前記表示ユニット1107は、携帯端末(例えば、携帯電話)のユーザーインターフェースの少なくとも一部を表示するよう構成された表示回路を備える。また、前記表示ユニット1107および表示回路は、ユーザーが携帯端末の少なくともいくつかの機能を容易にコントロールできるよう構成されている。オーディオ機能回路1109は、マイクロフォン1111と、該マイクロフォン1111からの音声信号出力を増幅する拡声器とを備える。前記マイクロフォン1111からの前記増幅された音声信号出力は符号器/復号器(CODEC)1113へ送られる。
【0109】
ラジオ部1115は、移動通信システムに備わる基地局とアンテナ1117を介して通信するために、電力増幅を行い、周波数を変換する。当業界で周知のとおり、電力増幅器(PA)1119および送信/変調回路は、PA1119からの出力がデュープレクサー1121またはサーキュレータまたはアンテナスイッチに繋げられた状態で、MCU1103に操作上応答する。前記PA1119はまた、バッテリーインターフェースおよび出力調整装置1120に繋げられている。
【0110】
使用時に、携帯端末1101のユーザーは前記マイクロフォン1111に向かって話し、そのユーザーの声は検知された暗騒音とともにアナログ電圧に変換される。そして、前記アナログ電圧は、アナログデジタルコンバーター(ADC)1123を介してデジタル信号に変換される。前記主制御装置1103は、例えば音の符号化、チャネル符号化、暗号化およびインターリービングといった処理をする前記DSP1105に、前記デジタル信号を送る。一実施形態において、前記処理された音声信号は、例えばマイクロウェーブアクセス(WiMAX)、ロングタームエボリューション(LTE)ネットワーク、符号分割多重アクセス方式(CDMA)、広帯域符号分割多元アクセス方式(WCDMA(登録商標))、ワイヤレスフィディリティー(Wi−Fi)およびサテライト等の他の適した無線媒体だけでなく、広域展開用高速データレート(EDGE)、汎用パケット無線サービス(GPRS)、グローバルシステムフォーモービルコミュニケーションズ(GSM(登録商標))、インターネットプロトコルマルチメディアサブシステム(IMS)、ユニバーサルモバイルテレコミュニケーションシステム(UMTS)等のセルラー送信プロトコル、またはそれらの組み合わせを用いて、個別に図示されていないユニットによって符号化される。
【0111】
その後、前記の符号化された信号は、位相歪みや振幅歪みといった空中の伝送中に発生する周波数依存障害を補正する目的でイコライザー1125に送られる。ビット流を等化した後、変調器1127は、前記信号とRFインターフェース1129で生成されたRF信号とを結合する。前記変調器1127は、周波数変調または位相変調によって正弦波を生成する。伝送用の信号を準備するために、アップコンバーター1131は、前記変調器1127からの正弦波出力と合成器1133によって生成された別の正弦波とを結合して、所望の伝送周波数を得る。その後、前記信号は、PA1119を介して送信され、適切な電力レベルまで増加される。実用的なシステムにおいては、前記PA1119は可変利得増幅器として機能するが、該増幅器の利得はネットワーク基地局から受信した情報から前記DSP1105によって制御されるものである。その後、前記信号は、前記デュープレクサー1121内でフィルタリングされ、アンテナ結合器1135に任意で送信され、インピーダンスがマッチングされ最大の電力転送がなされる。最後に、前記信号は、アンテナ1117を介して局地基地局に送られる。受信機の最終段階の利得を制御するために、自動利得制御(AGC)を供給してもよい。前記信号はそこから、遠隔の電話に転送されてもよいが、その遠隔の電話とは、別のセル方式の携帯無線電話、別の携帯電話もしくは公衆交換電話網(PSTN)に接続された固定電話、または他の電話回線網であってもよい。
【0112】
前記携帯端末1101に送信された音声信号は、アンテナ1117を介して受信され、すぐに低雑音増幅器(LNA)1137によって増幅される。復調器1141がデジタルビットストリームのみを残しRFを取り去る一方、ダウンコンバーター1139は搬送波周波数を下げる。その後、前記信号は、イコライザー1125を通過して、前記DSP1105によって処理される。デジタル/アナログ変換器(DAC)1143は前記信号を変換し、その結果出力がスピーカー1145を介してユーザーに伝達されるが、全ては中央演算処理装置(CPU)として構築されている主制御装置(MCU)1103の制御のもとで行われる。
【0113】
前記MCU1103は、キーボード1147からの入力信号を含む様々な信号を受信する。前記キーボード1147および/または前記MCU1103は他のユーザー入力用構成要素(例えば、マイクロフォン1111)と組み合わされて、ユーザー入力を取り扱うユーザーインターフェース回路を備える。前記MCU1103は、ユーザーインターフェースソフトウエアを起動し、ユーザーが前記携帯端末1101の少なくともいくつかの機能を容易に制御できるようにして、カラーデータを一つ以上の音符に変換する。前記MCU1103はまた、表示コマンドとスイッチコマンドとを、前記表示ユニット1107と音声出力切替制御装置とにそれぞれ配信する。さらに、前記MCU1103は、前記DSP1105と情報交換し、任意で搭載されたSIMカード1149およびメモリ1151にアクセスすることができる。また、前記MCU1103は、端末に要求される様々な制御機能を実行する。前記DSP1105は、実装にもよるが、従来の様々なデジタル処理機能のいずれかを前記音声信号に対して実行してもよい。また、DSP1105は、マイクロフォン1111によって検知された信号から局所環境の暗騒音レベルを求め、マイクロフォン1111の利得を、携帯端末1101のユーザーの自然な傾向を補償するべく選択されたレベルに設定する。
【0114】
前記CODEC1113は、前記ADC1123およびDAC1143を備える。前記メモリ1151は、着信音データを含む様々なデータを記憶しており、例えば世界的なインターネットを介して受信された音楽データを含む他のデータを記憶可能である。このソフトウエアモジュールを、RAMメモリ、フラッシュメモリ、状態記憶装置および、当該技術で周知の他の形式の書き込み可能な記憶媒体に常駐させてもよい。前記記憶装置1151は、限定しないものの、シングルメモリ、CD、DVD、ROM、RAM、EEPROM、光学式記憶装置、磁気ディスク記憶装置、フラッシュメモリ記憶装置、またはデジタルデータを記憶可能な他の不揮発性記憶装置媒体であってもよい。
【0115】
必要に応じて組み込まれたSIMカード1149には、例えば、セル方式の携帯無線電話番号、キャリア供給サービス、入会細目およびセキュリティー情報といった重要な情報が含まれる。前記SIMカード1149は主として、ラジオ放送網において携帯端末1101を識別する働きをする。前記カード1149はまた、個人の電話番号登録、テキストメッセージおよびユーザー固有の携帯端末設定を記憶するメモリも備える。
【0116】
さらに、一つ以上のカメラセンサ1153は、前記移動局1101に組み込まれてもよく、移動局上の一つ以上の場所に一つ以上のカメラセンサが置かれてもよい。通常、前記カメラセンサは、一つ以上の静止画および/または、録音を含む場合もある動画(例えば、ビデオ映像や映画等)を取り込み、録画し、記憶するのに用いられる。
【0117】
いくつかの実施形態および態様に関して本発明を説明してきたが、本発明はそれらに制限されず、種々の変形物や等価のものも明らかに、添付された請求項の範囲内に包含される。本発明の特徴が請求項において組み合わせで表されているが、これらの特徴はどのような組み合わせでもどのような順番でもよいと考えられる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】