データ・クリエイティブの進化の在り方について、博報堂ＤＹグループ社員と識者が語り合う『データ・クリエイティブ対談』。第4弾のゲストは、東京大学の鳴海拓志先生です。五感をハックすることで人が認知する現実を再編集する取り組みと、その意図についてお伺いしました。聞き手は博報堂ＤＹメディアパートナーズの篠田裕之です。

人の感情は身体の反応によって自覚される

篠田：鳴海先生は、感覚器をハックして人の感情を考える研究をされてきたと理解しています。本日は心を動かすテクノロジーとはどのようなものかを考えながら、次世代のコミュニケーションの在り方についてディスカッションできればと思います。

鳴海：よろしくお願いいたします。まず、ひとつ試してみますか。

篠田：実は、それも今日楽しみにして伺いました（笑）。

鳴海：こちらは「扇情的な鏡」というシステムです。今、鏡に顔が映っていますよね。鏡の手前にあるスライダーを左に動かすと、鏡の中の顔が勝手に笑顔になります。それを見ると、自分の気持ちもポジティブになります。次に右にスライドさせると、今度は鏡の中の顔が悲しい表情になって、自分も悲しい気持ちになります。

篠田：鏡の中の顔に合わせて、自分の気持ちも同じようになるわけですね。

鳴海：そうです。主観的には感情が起こってから涙が出るなど身体の反応があるように感じられますが、実際には感情が生まれる前に身体の反応が先にあって、それに意味を付けるというプロセスで感情が生まれることが多いと考えられています。怖いことがあったとき、鳥肌が立ってから自分が怖がっていることを自覚するのもそうですね。ポイントは、感情に紐付く身体の反応を大げさにならないように見せてあげること。これがあからさまにつくられている感じだと、「いや、自分はこうじゃない。コンピュータがそう見せているだけだから」と白けてしまうのですが、少ししか変わっていないと、自分が本当にそのような顔をしていると信じられ、気持ちが動いているような感覚になるわけです。

篠田：心と身体の関係について、心が主で身体が従ではなく逆だという話は面白いですね。先生はそういった研究のアウトプットを分かりやすく表現することに長けていらっしゃると思います。そうなるに至る背景のようなものは、あったのでしょうか？

鳴海：もともと感情をどうやって追体験するかに興味があったことに加えて、以前に評論家の立花隆さんが、VRでしかできないミュージアムをつくりたいと話されていたのがきっかけになっています。「それはどういうものですか？」と尋ねると、「例えば、戦争をモチーフにしたとき、どっち側で戦ったかがバイアスになり、解釈が引きずられてしまう。でも、相手側の視点に立ってみると、相手にとってはこんな体験だったのかと初めて分かる」と仰ったんです。

つまり、視点を交換するだけではなく、感情も含めて相手がどういう状態にあったのかが分からないと、本当に相手の視点に立つことは難しいわけです。それをブレイクダウンしたとき、少しでも相手の感情に近づいた状態で何かをすることで、より相手の視点に立てるのだろうか？ と関心を持ったことから今の研究を始めました。

篠田：受ける刺激自体は同じだとしても、その受け止め方が人や立場によって違うことがありますよね。それを漠然とした心の動きとして観念的に再現させるのではなく、鳥肌を強制的に立たせたり、鏡で見た顔を笑わせたりと身体の刺激として先に同期させることで、共感が生まれるわけですね。

それで思い出したのが、劇作家の平田オリザ先生の演出についてのエピソードです。平田先生は、かなりプログラミング的に演出をされるそうなのです。例えば「このシーンで怒りを表現して」と役者に演出するのではなく、「ここで拳を握りしめて、2秒間宙を向いて、3秒間沈黙をして、相手をじっと見て」と一つ一つの行動を具体的に説明する。それで実際に役者がそのとおりに動くと、怒っているように見えるそうです。身体のかたちを先に決めることで演者の気持ちは後からついてくるし、仮に演者が無感情であっても見ている人はそこに感情を見い出すのだと思います。

鳴海：人は表出されたもので状態を推し量るので、そうなるのだと思います。それは相手に対してだけでなく、自分に対してもそうです。例えば、机に物を置いたときに、思ったよりも大きな音が出たことで、自分がイライラしていることに気づくことってありませんか。身体の外に出てきたものを感じ直すことで、自分の状態を推定しているわけです。

それで面白いのが、先ほどの「扇情的な鏡」です。鏡に映る自分の表情の影響で感情が変化するだけでなく、さまざまなサイドエフェクトが生じます。例えば、ビデオチャットなどでお互いが笑顔に見える状態にしてブレインストーミングをすると、この人には何を言っても明るく受け入れてくれると錯覚するので、アイデア出しが活発になり、通常の5割増しくらいの数が出るという実験結果を得ています。そういう感情のポジティブな変化が、我々のクリエイティビティにも直結し、能力を発揮させやすくするわけです。

篠田：ものすごく示唆的なエピソードですね。そのようにして人間の持つ創造性を高めるように使うことは、テクノロジーが目指すべき方向性なのだと思います。

鳴海：これは自分の納得のいく使い方をどう設定していくかという話でもあります。まさに広告の話でいうと、良くない使い方もできてしまいますから。例えば、試着室に「扇情的な鏡」を設置して、ある商品を試着した瞬間だけニコッとした表情に見せます。そうすると、「私にはこれが似合っている」と思い込ませることができてしまう。

篠田：あるブランドの商品だけに反応するとしたら、そっちに誘導できてしまいますね。

鳴海：そうです。顧客が自分で選んだとはいえ、結果的に彼らを洗脳するようなことになってしまいます。我々は今、アカデミックな立場から「こういうことが起こり得ますよ」という可能性を示している状態ですが、それを社会で実装する際には、なぜこれがダメなのかを議論しないといけないと思います。

試合前のスポーツ選手が特定の動作をするのはなぜか？

篠田：最近すごく面白いなと思ったのが、eスポーツ選手の話です。大会に出場するとなると、緊張して心拍数が上がった状態でプレイしないといけません。だから普段のゲームの練習では、その場で走って緊張状態と同じ心拍数に上げてからプレイすると言っていました。つまり、感情をコントロールするために、身体を先にセットアップするわけです。

鳴海：それに近い話だと、スポーツ選手の「ルーティン」がありますね。有名なものですと野球のイチロー選手やラグビーの五郎丸選手の動作がそれにあたります。特定の動きをしたときに成功する体験が積み重なっていくと、それをやるだけで「俺は今、調子がいいんだ」と心が落ち着いて、いつも通りに実力が出せる仕組みです。ただ、そのパターンをつくるためには膨大な時間がかかります。成功体験を積み重ねる必要がありますから、効果を一瞬でも疑ってしまったら「やっぱりこれは駄目なんだな」と効果がなくなってしまう。

でも、VRを使うことでルーティンを簡単に作ることもできるんですよ。ある動作をしたら必ずボールがカップに入る、ゴルフのシミュレーターを作りました。これを使えば成功体験を簡単に積み重ねられ、ルーティーンがすぐにつくれます。そのときはゴルフ未経験者を集めて実験をしたのですが、ルーティンを取り入れなかった人たちは大当たりもするし、大外れもするので成績が安定しませんでした。そして、人によってバラつきが出ました。一方、ルーティンを決めて必ず成功するシミュレーターで練習した人たちは、大当たりもしないし大外れもしない代わりにスコアが安定します。ルーティンは、心の状態を整えて成績を安定させることに役立つわけです。

篠田：茶道や宗教などで行われる所作にも似た効果がありそうですね。

鳴海：恐らくあると思います。神社での二礼二拍手や茶室での振る舞いなどは、もちろん意味があってやっていることでもあると思いますが、「こうやったら、こういう効果があるよね」という経験則を何となく共有したものかもしれません。そういうところをもう少し掘り下げていくと、もっと新しい効果が出てくると思います。みんなが同じことをやるというのは、宗教ではよく行われることですね。例えば、メッカに集ったイスラム教の信者たちが皆で一緒に礼拝することは、宗教的な一体感を作るために大事だと思うんです。

身体と感情をハックすることは、無意識のバイアスを外す一助となる

篠田：次に取り組んでみたい研究テーマはありますか？

鳴海：最近は、身体を変えることでコミュニケーションが変化するのかを研究しています。これは海外の事例になりますが、白人がVRで黒人になることで差別意識が軽減されるという実験結果があります。また、VRでスーパーマンになって能動的に人を助ける経験をした人は、現実世界でも人を助ける行動のリアクションが早くなるそうです。そのほかにも、VRでドラムの叩き方を習う場合、自分がネクタイをしているビジネスマンのアバターだとそんなに上手になれないのですが、アフロの黒人でノリの良さそうな姿になるだけで、手の振りが大きくなります。

つまり、身体が変わることで心の動き方も変化するわけです。これはプロテウス効果と呼ばれています。最近はVTuber（バーチャルYouTuber）が流行っていますが、VRだと身体を自由にデザインできるので、本来とは異なる身体を使ってコミュニケーションを取ることも一般化されるかもしれません。

篠田：それはものすごく考えさせられる話です。広告は今、バイアスをいかに超えていくかという課題を抱えていると思います。背景には、情報の過度なパーソナライズによって生じるフィルターバブルの問題もありますし、アクセスが集まりやすいフェイクニュースや偏った扇情的な情報にみちた面に、機械的に広告が掲載されることによるブランドセーフティーに関する問題もあります。ターゲティングや効率を過度に追求すると、生活者のバイアスを助長するような結果につながってしまう可能性があります。現在、広告に求められているのは、生活者ごとに過度に最適化された情報を提示することではなく、そのひとのクラスタを超えた別のクラスタに対するメッセージをも共感できるようなクリエイティブだと思いますし、もし生活者が扇情的な情報に流されそうになったり、偏ったものの見方になりそうなときに補正するような仕組みだと思います。今仰ったような、自分とは違う対象になりきるような体験は、このような課題を解決するうえで大きな意味を持つと思います。

鳴海：そうですね。我々は他者を体験することが本来はできませんが、VRの中で違う身体になることで、その対象と同じ心の動きを経験できます。最近では、DV加害者の治療にもVRが使われています。加害者の男性がVRで女性になり、屈強な男性が向こうから来て暴言を浴びせられる。被害者の立場を体験させることで、自分はなんてひどいことをしていたんだと理解できるようになるわけです。

そこから派生して、我々はそれをもう少しうまく社会の中で使うための研究をしています。例えば、分身や変身、あるいは二人で一体になるといった身体のパターンは、ゲームやアニメ、漫画などによく見られます。そういう新しい身体をどのような状況で使うと効果的かを考えるために、分身の研究をやりました。2対1の会話で、相手が自分と違う意見なので説得しなければならない場合、同調圧力が働いてなかなか強く主張できなかったり、相手がちゃんと聞いてくれないことがあります。そのときに分身すればいいんです。

具体的にはオンラインでディスカッションをするとき、自分が話している内容を2体のアバターに自動的に割り当てます。話の切れ目を検出して、アバターAである話をして、続きの話はBがする。そうすると、画面上では2対2で会話をしているように見えます。

そうしたことで全員が合意した後に、その意見に対する全員の納得度が上がりました。普通は「納得していないけれど、もうこういう流れだからいいや」となっているところを、みんなが冷静に議論できるようになったのです。通常、我々はそういうちょっとしたバイアスを受けていますが、このように新しい身体を使ってコミュニケーションすることで、もっと冷静に議論ができたり、もっとクリエイティブになる可能性があるわけです。

篠田：生活者の心を動かす、ということを広告コミュニケーションでは目指すことが多いのですが、それは、物欲を煽るような情報を提示することでも泣かせるムービーを見せることでもなく、生活者の心をリセットする、バイアスをとりのぞくこと、と考えたほうがよいのかもしれません。結果、そのような体験により生活者の創造性が高まれば、それが、心が動いた、ということなのかもしれません。そのために感覚器をハックするようなテクノロジーを駆使していくことは広告会社もチャレンジしていくべき領域だと思います。

◆プロフィール

鳴海拓志
東京大学　博士
2006年東京大学工学部システム創成学科卒業。2008年同大学大学院学際情報学府修了。2011年同大学大学院工学系研究科博士課程修了。2011年より同大学情報理工学系研究科知能機械情報学専攻助教。2016年より同大学同専攻講師。バーチャルリアリティや拡張現実感の技術と認知科学・心理学の知見を融合し、限られた感覚刺激提示で多様な五感を感じさせるためのクロスモーダルインタフェース、五感に働きかけることで人間の行動や認知、能力を変化させる人間拡張技術等の研究に取り組む。日本バーチャルリアリティ学会論文賞、グッドデザイン賞など、受賞多数。

篠田 裕之
博報堂ＤＹメディアパートナーズ
データドリブンメディアマーケティングセンター
データビジネス開発局　ビジネス開発部
兼　グローバルビジネス局　戦略企画グループ
データサイエンティスト。自動車、通信、教育、など様々な業界のビッグデータを活用したマーケティングを手掛ける一方、観光、スポーツに関するデータビジュアライズを行う。近年は人間の味の好みに基づいたソリューション開発や、脳波を活用したマーケティングのリサーチに携わる。

★本記事は博報堂ＤＹグループの「“生活者データ・ドリブン”マーケティング通信」より転載しました

【関連情報】
■　データ・クリエイティブ対談　キックオフ座談会（前編）
■　データ・クリエイティブ対談　キックオフ座談会（後編）
■　データ・クリエイティブ対談 第１弾　ゲスト：ロボットクリエイター高橋智隆さん
■　データ・クリエイティブ対談 第２弾　ゲスト：長谷川愛さん（バイオアーティスト）
■　データ・クリエイティブ対談　 第３弾（前編）　ゲスト：久保田晃弘先生
■　データ・クリエイティブ対談　 第３弾（後編）　ゲスト：久保田晃弘先生