「サウンドデザインから考えるCX」。この連載では「音」というメディアにフォーカスした電通のさまざまな取り組みをご紹介していきます。

第１回では、UI（ユーザーインターフェイス）とサウンドデザインの関係をひもときました。第２回では、耳のさまざまな機能に注目し、テクノロジーを活用したコミュニケーション開発をしているDentsu Lab Tokyo の「33 Production（ミミプロダクション）」の取り組みについて、クリエーティブ・テクノロジストの九鬼慧太とコミュニケーションプランナーの尹珠煐、プロデューサーの尾崎賢司が解説。耳を起点とした、日常の可能性を拡張するテクノロジー体験をご紹介します。

＜目次＞
▼耳・音にスポットライトを  
▼耳の3つの能力とセンサー付きイヤホン
▼プロジェクトロジェクト第一弾「Ear SPORTS」イヤホン
▼耳を活用することによるCXの未来
▼最小デバイスによるサウンドデザインの可能性

耳・音にスポットライトを

情報伝達において、視覚情報や言語情報だけでなく、音声情報も重要な要素の一つです。

アメリカの心理学者のアルバート・メラビアンの著書「Silent messages」で提唱されたメラビアンの法則では、言語・聴覚・視覚から受ける情報に誤解があった場合、その原因の55%が視覚情報、38％が聴覚情報、7％が言語情報に由来があると言われており、これは人間が複数の感覚から情報を受け取ることで総合的に内容を理解していることを示しています。

よって、コミュニケーションにおいては聴覚情報もとても大事だと言えます。例えば声質で相手の印象が変わったり、周囲からの音で安心や危険を察知したりと、聴覚情報に頼る部分も大きいのです。

空間把握能力においても聴覚情報は重要です。われわれは両耳から入ってくる音の強さと時間差を比較して、音を発しているものの方向を認識することができます。また、視覚障がいの方には、白杖（はくじょう）で床などをたたいた反響音で周囲の状況を把握している方もいます。

さらに耳は聴覚情報だけなく、平衡感覚や加速度認知の一部も担っています。このような耳のさまざまな機能に注目し、Dentsu Lab Tokyoは、耳を活用した新しいインタラクションデザインにチャレンジする組織として「33 Production」を2021年に発足させました。

耳の3つの能力とセンサー付きイヤホン

近年、聴くという本来の機能に加え、加速度センサーやジャイロセンサー付きのイヤホンが開発・販売されています。これにより、耳という器官と同様に、耳に装着するデバイスで平衡感覚や、空間把握、加速度を簡単に測定し、イヤホン1つで身体の動きを認識できるようになりました。

「33 Production」は、これらのイヤホンを利用し、イヤホンを出力装置だけではなく、入力装置としても活用しています。

■イヤホンがセンシングする３つの要素
耳がもつ３つの主な能力を、各センシングテクノロジーで検出します。

①    加速度センサー：速度を感じる力
耳は人間が動いたり、止まったりしたときに生じる直線加速度を検知しています。これと同様に、イヤホンに搭載された加速度センサーによって、ユーザーの直線加速度を測定することができます。

②    ジャイロセンサー：体の平衡を保つ力
耳の奥側となる内耳は、前述の加速度検知と共に平衡感覚もつかさどる部位です。これと同様に、イヤホンに搭載されたジャイロセンサーによって、身体の傾きを測定することができます。

 

③    立体音響：音で空間を把握する力
空間把握は目で行うと考えがちですが、耳も重要な役割をもっています。通常、イヤホンで聞こえる音や左（L）と右（R）の2つのチャンネルに割り当てられ、立体的に聞こえるように処理されています。通常のイヤホンでは、首を動かしても常に音が鳴る位置は一定です。例えると、どの方向を向いてもライブステージが自分の目の前に常に固定されているような状態です。しかし近年のイヤホンは、前述のジャイロセンサーによってユーザーの頭の向きを検出可能になったため、向いている方向と連動せずに音源の場所を独立させることによって、より没入感のある音響体験ができるようになりました。（首をふることで周囲を見回すことができる、360度VR映像をイメージいただけるとピンとくるかもしれません。）

プロジェクト第一弾「Ear SPORTS」

「33 Production」が意識しているのは「誰でも手軽に体験できること」。新しいテクノロジーが開発されても、専門的だったり大掛かりだったりするとなかなか取っ付きにくく、一般化されるまでには時間がかかります。私たちは自然に日常でテクノロジーを使える場の提供をしたいという思いがありました。

また、このプロジェクトが始まったのは、コロナ禍真っただ中の2020年でした。
思うように人と会えない、体を動かすこともままならない時期に、遠隔で楽しみを分かち合える体験は作れないか？と考えました。

そこで私たちは、まず前述の耳がもつ３つの能力を活用した新しいオンラインスポーツ「Ear SPORTS」を開発しました。

Ear SPORTSは耳に装着するセンサー付きイヤホンでプレイヤーの動きを数値化し、競技結果を測定します。同時間に年齢性別関係なく遠隔で競技に参加し、世界中のプレイヤーと競い合うことができます。今回は３つの種目を開発しました。
https://33production.tokyo/earsports/

①    １秒走
耳で走る超短距離走です。１秒間に耳がスタート位置から移動した距離を計測し競争します。「位置について」の合図で身体の動きを止めてスタンバイし、ピストル音から１秒間でできる限り耳を遠くへ移動させます。１秒間だと一番遠くへ行けても１m強なので家の中でも競技に参加ができます。

②    だるまさんがころんだ・ネオ　
耳の動きを超精細にジャッジする、リモート版「だるまさんがころんだ」です。基本ルールは通常の「だるまさんがころんだ」と同じで、その場で足踏みすると、歩数が検知され画面上のプレイヤーが前にすすみます。最初にだるまさんに到着したプレイヤーが勝者です。停止タイム中は画面に表示されたポーズで静止しないといけません。

③    インビジブルボクシング
聴覚だけを頼りに、敵の気配を打ち抜くボクシングです。360°の立体音響で現れる敵の位置を耳で正確に捉え、制限時間内にパンチで倒せた数を競います。スマホを胸の位置に持ち、音の方向へ身体ごと向けてパンチします。ヒットすると効果音とともに音が消え、新たな的の音が現れます。ヒット数が多い人の勝ちです。

耳を活用することによるCXの未来

「Ear SPORTS」は、リモートワークにおいて内耳の加速度や平衡感覚をつかさどる部位への刺激が減り鈍くなる可能性がある中、「耳のトレーニングとしても活用の可能性がありそうだ」という声や、ダイバーシティ＆インクルージョンの観点からも、性別年齢差などの垣根を超えて対決できるため、「さまざまな機会で拡張の可能性がある」といった声も参加者から上がってきました。

この実績からも「33 Production」はさまざまなシーンで新しい体験価値を作り、日常をアップデートできる可能性を感じました。耳のセンシングに注目することで以下のような未来が考えられます。

■アクティビティトラッカーとして活用、ウェルネスの拡張ができる。
頭や身体のポーズ、姿勢を精緻に測定できるため、例えばヨガやジョギングなど、各種トレーニングのサポートが離れていても可能になります。コロナ禍における運動不足の解消や、運動を通じたコミュニケーションの拡大などにも寄与できると考えられます。

■入力デバイスとして使用し、顔の向きひとつで身の回りのものを操作できる。
顔の向きやアクションがそのままインターフェースになるため、例えば育児中や作業現場など手や声が自由に使えないときのデバイス操作ツールや、障がい者向けのUIの開発など、手や声の代わりに顔の動きを利用した情報の出入力に活用できます。

■モーショントラッキングと立体音響で、新しい没入体験ができる。
立体音響とアクションを連動させることで、例えば博物館・美術館における鑑賞体験のリッチ化や、聴覚と参加者の動きだけで作るゲーム・演劇体験など、これまでにないエンターテインメントの開発が可能になると考えられます。

最小デバイスによるサウンドデザインの可能性

特に前述３つめの「没入体験」は、今あるコンテンツ・サービスにイヤホンという最小デバイスを追加するだけで、既存体験の拡大に大いに貢献すると考えられます。

例えば、博物館や美術館において展示物同士が会話していたり、自分の歴史を語っていたり。（浮世絵とモナリザが会話したり？展示方法にも変化がでそうです）

通常の鑑賞は「さあ説明を聞くぞ！」とオーディオガイドのスイッチを入れたり文章を読んだりしますが、もっと自然な流れで作品に没入することができ、より鑑賞を楽しめるのではないかと思います。首を振ったりうなずいたりでYES／NOを伝えることでインタラクティブに作品と触れ合うこともできそうですね。

特別な展示物がなくても、ホテルや個室でも、空間に新たな体験・価値を生み出すことも可能です。耳をすますと廊下を歩いて近づいてくる音がきこえたり、隣の部屋から有名人の声がきこえたり？！映像を作らずとも、謎解きゲームや演劇を部屋の中で楽しむことも。

さらには日常においても、アップデートが可能になります。大事にしている人形がおしゃべりしたり、図書館で探している本が「わしはここじゃー」なんて場所を教えてくれたり。アニミズムのように動かないものに命や歴史が吹き込まれ、モノへの愛着も増幅されそうです。

このように多くの拡張性がある耳を活用したインタラクションデザインは他にもスポーツやエンタメ、さらにVR空間においても注目するべきでしょう。

私たち「33 Production」は、これからも耳と音の可能性を広げ、よりリッチでより没入できる体験を作りたいと考えています。ご興味・ご質問ありましたら、ぜひご連絡をお待ちしております。