さまざまな業界から企業やクリエイターが集う世界最大級のテクノロジーと音楽・映画の祭典「SXSW 2023」（サウス・バイ・サウスウエスト 2023）が、3月、米テキサス州で開催されました。電通と電通クリエーティブXは、インタラクティブ部門「Creative Industries Expo」（クリエイティブ・インダストリーズ・エキスポ）に参加。「Unnamed Sensations」（まだ名もなき新しい感覚）をコンセプトに創造した最先端の体験を、3つのプロトタイプ作品として出展しました。最先端テクノロジーとクリエイティビティの融合が可能にした「触覚」「食感」「嗅覚」といった感覚の拡張について、3回にわたりリポートします。

第1回は、新しい咀嚼（そしゃく）体験システム「Phantom Snack」（ファントムスナック）。「食べていないのに食べているような」感覚とは？　プロジェクトチームを代表して、電通の和泉興氏に聞きました。

 

体が食感を欲している

──Phantom Snack（ファントムスナック）とは？

Phantom Snackは、全く新しいギルトフリーな（罪悪感のない）咀嚼体験です。口に何も入れることなく、サクサク、ポリポリといった咀嚼の感触や風味を楽しむことができます。何も食べないのでカロリーを全く摂取することがなく、むしろかめばかむほど運動カロリーを消費します。

そのアイデアは、個人的な体験から生まれました。私は夜中についスナックを食べてしまいますが、お腹が空いているから食べたいというよりは、口さみしさを紛らわせたいという気持ちが大きいと感じていました。体が欲しているものがカロリーではなく、食感であるとした時に、食べてもカロリーを摂取しない方法が見つかれば、自分と同じ悩みを持つ大勢の人の気持ちを楽にできるのではないかと考えていました。

20年ほど前に方法だけは思いついていましたが、なかなか開発に着手できませんでした。いつか誰かが同じことを思いついて作ってくれたら買おうと思っていたのですが、なかなか現れず、ちょうど社内開発の募集があったため、応募して実現しました。　

──どのようなチーム編成でSXSWに挑みましたか？

電通、電通クリエーティブX、電通デジタル、さらには協力会社などからスタッフが集まり、チームを編成しました。企画／コーディング／ハードウエア制作／開発プロデュースを担当するクリエーティブ・ディレクター、ネーミング／企画／ビジュアル面のエンジニアリングを担当するテクノロジスト、ブース全体の体験設計／デザイン・ロゴ・アニメーションを担当するアートディレクター。さらには、画像認識のAI開発担当、開発・展示プロデュース担当、モーショングラフィックス制作担当、音声制作担当、看板美術担当、解説動画ディレクション担当。加えて、咀嚼や脳に関する研究機関に学術情報面でご協力をいただきました。

現地の出展ブースで来場者対応を行った3人は全員がSXSW初参加で、英語も不慣れでした。4日間の展示は、初日こそ不安でしたが、数をこなす中で短い期間で経験値が上がり、対応について日々反省と改善を行うことができました。それもあって、最後の一般観覧の頃にはかなりスムーズに接客ができていたと思います。

顔の画像認識と骨伝導イヤホンが連動

──新しい咀嚼体験を、どのようなテクノロジーで実現しましたか？

口の中に何も入れずに食べ物を咀嚼する動作をすると、顔の画像認識で検出した顎の動きに合わせて、骨伝導イヤホンからサクサクという咀嚼音と振動がフィードバックされるというのが基本的な仕組みです。さらに映像やアロマディフューザーを連動させることで、まるで本当にスナックを食べているような咀嚼体験が得られます。今回、出展ブースではチョコチップクッキー、ポテトチップ、サラダ、この世にはない未体験のスイーツなど、さまざまな「かむ体験」を用意しました。

──アイデアの実現にあたり、困難だった点はありますか？

机上論では成立しても実際にやってみないと確信が持てず、工数も見えない未知の部分があったので、社内提案前から先行してプロトタイピングを進めました。口を閉じたまま顎を動かす、モグモグという動きの検出についてです。工夫と試行錯誤が必要でした。初期の計算原理は比較的シンプルにできましたが、それでも画像認識で得た顔の特徴点を計算可能なように加工するコーディングについては調べても前例がほとんどなく、大変な開発になりました。

めどがたったところで精度アップのためにルールベースから機械学習にシステムを移行しました。SXSWで成功させるには、さまざまな人種の顔や顎の動きに対応させる必要があります。データのサンプルとして電通グループの多くの方々に協力を依頼しました。

また、気持ちの良い体験にするため、音響やモーショングラフィックスにも特に力をいれました。ここは私たちの得意分野です。広告クリエイティブの制作で実績のあるプロフェッショナルにご協力いただいたことで、エンターテインメントとしてのクオリティが高いものに仕上がったと思います。

──現地での反響はいかがでしたか？

開発当初から国内のチームや関係者の中では好評でしたが、この体験自体が、海外でも受け入れられるかが不安でした。しかし、物珍しさもあって非常に楽しんでいただけたと思います。

多くの人が、その体験中にクレイジーだと笑ってくれましたし、スナックをつい食べすぎてしまうという私と「同類」の方からはすぐにでも欲しいと言っていただけました。またサステナビリティの課題に取り組んでいる方や、近い分野の研究をしている方からも反応が得られ、輪が広がりました。

ブースでは常に行列ができており、1000人以上の方々に実際にPhantom Snackを体験いただけました。未知の体験を求めてSXSWにやってきた方々の期待に応えられたという実感がありました。

なにより、自分たちで開発してデザインしたものを大勢の人に体験してもらって、その反応を直に見られるというのは本当に貴重でハッピーな体験だと思いました。

美顔体操から認知症予防まで

──Phantom Snackの可能性について教えてください。

咀嚼することそれ自体には、健康面や精神面にさまざまな良い影響があると報告されています。集中力を高めたり、ストレスを軽減したりする効果などがあるそうです。また咀嚼は認知症の予防などにも効果があると期待されています。Phantom Snackでも同様の咀嚼効果が得られるか、今後も研究が必要です。この分野で、世の中に大きく貢献できる可能性について、ぜひ大学の研究室などと一緒に開発したいと考えています。まだ実際には試せていませんが、流動食に歯応えを加えて、療養中の食事をより楽しいものにできるかもしれません。

一方、この擬似的な咀嚼をエンターテインメント的な側面や、カロリー抑止として利用することはすぐにでも可能だと考えています。Phantom Snack単独でも次世代の嗜好（しこう）品として楽しめるものにできますし、実際に物を食べながら利用すれば、例えば油を使わずにクリスピーな食感を増幅させることもできそうです。VRと組み合わせればバーチャル空間で食べるエンターテインメントをヘルシーに構築できます。既存のVRゴーグルは口を隠さないので、画像認識にも向いています。モグモグする動きをコントローラーとして美顔体操になるフィットネスゲームにもできますし、他にもさまざまな利用シーンが考えられます。

日本人の咀嚼回数は有史以来一貫して低下し続けていると聞いていますが、Phantom Snackが人類の咀嚼回数の回復と健康増進に貢献できれば最高です。

 

──今後SXSWに出展する人や見に行く人に一言お願いします。

私たちはCreative Industries Expoに出展しましたが、今年は特にXR Experienceの展示にエッジが立っている印象を受けました。今後見に行かれる方は、SXSW全体を見回して、トレンドをキャッチ、実感できると良いかもしれません。

出展者として参加される方には、通常のサービス開発と同様に、最終成果物の体験リハーサルに重きを置き、統合テストと改善を数回繰り返すことお勧めします。Phantom Snackは開発がかなり遅れましたが、なんとか数回の改善、改修を差し込むことができました。これが良い結果につながったと思います。

新しい体験を期待して来場される方々に驚きを直接提供できることはとてもエキサイティングです。ぜひ多くのクリエイターに出展を経験していただきたいと思います。

 

スタッフリスト：
クリエーティブディレクター：和泉 興（電通)
クリエーティブテクノロジスト：斧 涼之介（電通)
アートディレクター：⽮野 華子（電通)
AIエンジニア：村⽥ 秀樹（電通デジタル）
プロデューサー：岡本 拓自、爲末 亘哉（電通クリエーティブX）
プロダクションマネージャー：忍田 清成（電通クリエーティブX）
解説動画ディレクター：松元 良（電通クリエーティブX）
サウンドデザイン：ノダ マサユキ、小田部剛（インビジ）
モーショングラフィックス：有馬 新之介（EDP graphic works）
協力：久保 金弥（咀嚼と脳の研究所）

 

ウェブサイト：
https://phantomsnack.com/jp