- KDDIホーム
- 企業情報
- ニュースリリース一覧
- 2021年
- エンタメに「ブレインテック」を活用する実証実験を実施
エンタメに「ブレインテック」を活用する実証実験を実施
このページを印刷する
～音楽ライブ時に観客の精神状態にあわせた映像演出を提供～
- 株式会社VIE STYLE
- KDDI株式会社
2021年6月2日
株式会社VIE STYLE (所在地: 神奈川県鎌倉市、代表取締役 今村 泰彦、以下 VIE STYLE)、KDDI株式会社 (本社: 東京都千代田区、代表取締役社長: 高橋 誠、以下 KDDI) は、エンターテインメントの分野において、お客さまの精神状態にあわせて最適な音楽や映像などのコンテンツを提供することを目的に、脳科学とITを組み合わせた「ブレインテック」を活用して、音楽を聴いたときの脳の反応を音楽ライブ時の演出として映像化する実証実験 (以下 本実証実験)「Brain Music Experiment "Chills Test" (ブレイン ミュージック エクスペリメント "チルズ テスト")」を2021年1月25日から2021年3月31日の間実施しました。
<実験[1]: 音楽による脳の反応を映像演出に活用>
DJイベント中、DJおよびリスナーがイヤホン型脳波計を装着。
取得した脳波を映像演出に反映。
<実験[2]: 音楽と瞑想によるリラックス状態の可視化>
イヤホン型脳波計を装着して、音楽を聴きながら瞑想をおこない、脳のリラックス状態を外部から定量的に解読できるか検証。
本実証実験の様子は
こちらをご参照ください。
本実証実験は、従来、医療の分野で用いられてきた「脳波」を活用することで、感動、リラックスなどの精神状態にあわせた、より適切な映像演出の創出や、リラックス効果の向上が可能であるかを検証するために行いました。
本実証実験では、計測した「脳波」を活用して、お客さまの脳の反応を音楽ライブの映像演出にリアルタイムに反映することで、感動時には光線による映像演出を届けるなど、エンターテインメント分野におけるオンラインサービスの効果や質が向上する可能性があることを実証しました。
また、音楽によってお客さまの精神状態の変化を捉えることで、適切なリラックス効果を付与できることも実証され、ヘルスケアの分野にも応用できる可能性があることがわかりました。
今後、両社は共同で、5G・XR分野での「ブレインテック」の活用を促進し、脳波から読み取ったお客さまの精神状態にあわせて、最適なコンテンツを提供できる次世代のエンターテインメントコンテンツや、それらを用いてリラックス状態を最適化するヘルスケアコンテンツの開発に取り組んでいきます。
詳細は別紙をご参照ください。
<別紙>
■実証実験の内容
1. 概要
本実証実験は、KDDIのクリエイティブチーム「au VISION STUDIO」が掲げる「五感を拡張するUX」をテーマとした取り組みの1つとして、VIE STYLEと共同で、企画・制作を担当しました。
イヤホン型脳波計「VIE ZONE (ヴィーゾーン)」を使用し、音楽を聴いた際の実験参加者の感動、リラックスという内的な変化を映像演出に活用しました。さらに、音楽を聴きながら瞑想を行った際の脳波の変化を計測しました。
VIE STYLEが開発したイヤホン型脳波計「VIE ZONE」は、従来課題となっていた日常生活における脳波計測デバイスの煩雑性 (装着するのが面倒、見た目が悪いなど) の問題がなく、いつものようにイヤホンをつければ脳波を測れるという、近年注目を集めている技術です。
<VIE ZONE>
(1) 音楽による脳の反応をライブの映像演出に活用
DJイベント中に、DJおよびリスナーが脳波計を装着し、脳波 (EEG) 信号を映像演出として映し出すことで、演者とリスナーが視覚的に相互の精神状態を認識できる仕組みを検証しました。
これによりエンターテインメントの分野における「ブレインテック」活用の可能性を確認しました。
| 実験参加者 | ゲストDJ 田中知之 (FPM) リスナー 4名 |
|---|---|
| 装置 | VIE ZONE (イヤホン型脳波計、アプリ) DJ サウンドシステム VJ (ビデオジョッキー) 大型の映像装置 |
| 実施内容 | DJイベント中の脳情報を映像演出に利用し感情を共有する |
| 解析方法 | 脳波 (EEG) をFFTして周波数に変換、背後のモニターに写し共有。 ARオブジェクトを脳波 (EEG) 信号と同期して生成。 |
| 結果 | 感動やリラックスなどの脳の反応を映像演出として観客とアーティストで共有することで、歓声や拍手に加えた新たなライブ体験の可能性が示された。 |
(2) 音楽と瞑想によるリラックス状態の可視化
音楽を聴きながら瞑想している状態の脳波信号を取得し、リラックス状態を外部から定量的に解読できるかを検証しました。「VIE ZONE」を用いることで、イヤホン以外の測定器を装着することなく、より自然な状態で精神状態の解析が可能となります。
| 実験参加者 | ヨガや瞑想を普段から行う男女50名 |
|---|---|
| 装置 | VIE ZONE (イヤホン型脳波計、アプリ) |
| 実施内容 | 瞑想 (閉眼で深呼吸) を行いながら音楽を聴く 1曲目: 一般的なヒーリング曲 (5分) 2曲目: ユーザーが好む癒される曲 (5分) 3曲目: ユーザーが嫌いな癒されない曲 (5分) ＋瞑想を伴わない音楽の聴取・無音下の安静状態 上記の5条件実施後、リラックス度を5段階で評価 |
| 解析方法 | 1: ユーザー主観解析 (リラックス度5段階) 2: 脳波のパワー値 (FFT) 3: 機械学習による脳波からのリラックス度分類 |
| 結果 | 好きな音楽を聴きながら瞑想をすることは、よりリラックス効果を感じるのに有益であることが示された。 |
2. 各社の役割
- VIE STYLE: 脳波 (EEG) から内面状態の解析
- KDDI: 本実証実験の企画・制作などのプロデュース
3. 結果
本実証実験を通して、今後「ブレインテック」を活用し、ユーザーひとりひとりの精神状態に合わせた、新たなエンターテインメントやヘルスケアサービスが実現する可能性が示されました。
4. 今後について
今後は、エンターテインメントをはじめ、リラックスやマインドフルネスの分野においてもパートナーを含めた実証実験を予定しており、スマートグラスにも対応したアプリの開発を進めていきます。
<参考>
本実証実験の詳細についてはこちらをご参照ください。
■VIE STYLE株式会社について
VIE STYLEは、「味わい深い人生を ~Feel the life~」をミッションに掲げ、ニューロテクノロジーと音楽で、人々の感性をアップデートし、世界の人々が感性豊かな人生をおくることをサポートするプロダクトを創造することで、ウェルビーイングに貢献し、さらに、脳神経に関わる未来の医療ICT・デジタルセラピューティクスの発展にも寄与していきます。開発中のプロダクト、イヤホン型脳波計「VIE ZONE (ヴィーゾーン)」を活用して、脳波 (EEG) から内面状態の解析を担当しました。
■au VISION STUDIOについて
「au VISION STUDIO」は、今後の社会において実現させたいことを5つの取り組みとして掲げ、5GやXRなどの先端テクノロジーとアイデアに加え、これまでKDDIが取り組んできたXR施策の知見をもとに、先進的な体験の企画、制作、社会実装に至るまでを1つのチームとして担います。
本実証実験の企画・制作等のプロデュースを担当しました。