「人の動きを楽譜化する」とは？

現在、CGキャラクターやロボットの動きを制御するのに用いられるモーションデータは、映像データのように、フレーム(1/60秒という短い時間単位)で管理されています。
しかし、例えばダンスなど、現実の人の動きはテンポすなわち拍（ビート）から考えていると思います。
実際、アイドルがダンスを練習するとき、トレーナーの掛け声は必ず「ワン、ツー、スリー、フォー！」で、間違っても「はい、3秒後から4秒後にかけて足を上げて！」という人はいません。

今回の技術は、このことに着目したものです。
CGキャラクターやロボットをモーションさせる際、これまでデータ上では「3秒後から3.5秒後にかけて右手を前に出す」というように記述されていたものを、「2拍目から3拍目にかけて右手を前に出す」、というような記述に変化させます。つまり、人の動きを拍(ビート)によって管理するということです。

さて、実はデジタルの世界には、ビートを用いたデータ形式が既に存在していました。
それは、MIDIと呼ばれる楽譜のためのデータ形式です。
現在多く用いられる音楽データ(mp3など)は、音楽を「音波の形」として記録するものですが、MIDIデータは楽譜と同様、音楽を「テンポに合わせて変化する、音の集合体」として符号化しています。

人の動きとは、突き詰めてしまうとそれぞれの関節角度が変化していくことです。人の動きを「テンポに合わせて変化する、関節角度の集合体」として符号化することで、「MotionScore」は、人の動きをMIDIに極めて近い形で記録することに成功しました。（本技術について特許出願済み）このことを、われわれは「楽譜化する」と呼んでいます。

「MotionScore」を使うと？

「MotionScore」では、ビートという単位に注目することで、モーションデータの容量を軽減することに成功し、さらに、ビートを変えてもモーションが自動でシンクロできるようになりました。
その他にも、MIDI形式であることを利用し、リアルタイムなアレンジやモーション合成などが可能になっています。

このことにより、生演奏とCG上のダンス映像やロボットとの共演、あるいはダンスをその場でアレンジして再生するディスクジョッキーならぬダンスジョッキーのようなパフォーマンスが容易に可能になります。

「MotionScore」の未来

「MotionScore」によって、モーションデータの再利用が簡単に行えるようになります。既存の音を編集し組み合わせて新しい音楽を作り出してきたDTM（デスクトップミュージック）の歴史を振り返れば、今回の「MotionScore」によって全く新しいタイプのダンスの振り付けが現れるかもしれません。

さらに、ダンスだけでなく、歩行や走行をはじめとする日常のモーションにもビートがひそんでいます。「MotionScore」とヒューマンオーギュメンテーション（人間の能力を機械が拡張する技術）を組み合わせ、ビートごとに理想的な動きを自分で体験することで、歩き方・走り方の効率的な学習ができるだろうし、さらには医療におけるリハビリにも利用できる可能性があります。

 

世界から注目される「MotionScore」

世界的イベントSXSW ReleaseIt部門で、日本企業として初のファイナリストに。
世界最大規模のインタラクティブフェスティバル「SXSW」で行われるインターナショナルコンペティション「SXSW ReleaseIt」にて、「MotionScore」がファイナリストに選ばれた。「SXSW ReleaseIt」は世界的な影響力のあるコンペで、ファイナリスト入りは日本企業として初の快挙となります。

SXSW Trade Showで、ヤマハと共同でのデモンストレーション
アメリカ・テキサス州オースティンで3月13〜16日に行われる「SXSW Trade Show」では、「MotionScore」のデモを行います。デモ内容は、ドラムの生演奏からビートを取得し、そのビートに合わせてCGモデルがダンスを披露するものです。本デモ中のビート取得には、ヤマハの「Audio Beat Sync」技術を使用します。リアルタイムでスピードの変化するドラムの生演奏に合ったダンスモーションを生成する世界初の試みとなります。

大ヒットDJプロダクト「GO-DJ」の次世代機「GO-DJ Plus」に搭載
3月中旬にクラウドファンディングサイト「Indiegogo」に出品される「GO-DJ Plus」に「MotionScore」技術が採用されました。「GO-DJ Plus」は世界で大ヒットを起こしたプロダクト「GO-DJ」の次世代機。「MotionScore」を導入することで、「GO-DJ Plus」のDJプレイに合わせたダンスモーションをリアルタイムで生成できるようになり、ダンスフロアに新しいムーブメントが起こるかもしれません。

また「GO-DJ Plus」は、クラウドファンディングサイトMakuakeにも出品しています。

Audio Beat Syncとは？

楽器の演奏音などをリアルタイムに解析し、テンポとビートを検出するヤマハの技術です。オーディオ音源のみならず生演奏の解析にも対応しています。
Audio Beat Sync を活用することで、例えばオーディオのビートに合わせた伴奏を自動的に付与する、テンポに合わせてディレイの長さを自動的に調整するといったことが簡単に行えるなど、ビートに合わせたさまざまなエンターテインメントが簡単にできるようになります。
なお、この技術はヤマハの最新のシンセサイザー「MONTAGE」にも搭載されています。

---

MotionScore スタッフリスト

Executive Creative Director: 岸勇希(CDC)

Executive Producer: 飯島章夫(CDC)

Technical Director: 比嘉康雄(ISID)

Director: 多々良樹(CDC)