漫画のシーンに合わせて“刺激”発生 炎の攻撃で熱、大きな「ゴゴゴ」には振動 NHK技研が開発
日本放送協会放送技術研究所(NHK技研)の研究チームが開発した「マンガを視覚と触覚で楽しむ『ハプトコミック』」は、電子書籍ベースの漫画において、
読んでいるシーンに応じて触覚(振動や温度)を提示するシステムだ。炎の攻撃では熱さを、オノマトペ(擬音語・擬態語)が大きなシーンでは振動を、タブレットを持った手に与えることでユーザーの読書体験を向上させる。
触覚フィードバックはさまざまな提示方法が考えられるが、提案システムでは振動と温度の2種類を検討する。
提示のタイミングは、オノマトペに振動を、シーンの気温変化や主人公の心情描写、火や氷を使った攻撃などに温度変化を適応する。
プロトタイプの構成は以下の通りだ。視線追跡には視線計測装置、コンテンツ表示にはタブレットPCを使用する。振動提示には振動子とアンプを用い、タブレットPCから出力する音声信号を入力に駆動させる。温度提示にはペルチェ素子を用いる。
タブレットPCからマイクロコンピュータモジュールに制御信号を有線で送信し、モータードライバーモジュールへ制御信号を入力することでペルチェ素子を駆動させる。
振動や温度を提示するユニットは、ユーザーがタブレットPCを自然に持った際に指が触れる背面の位置に装着した。
これにより、ユーザーは自然な姿勢からタブレットPCを持った手を介して熱や振動を感じられる。
刺激提示は、視点がそのシーンに一定時間(約0.3秒)とどまった際に提示する。温冷それぞれ強弱レベルを駆動電圧で4段階を用意した。
振動子への入力にはその領域に適切だと考えられる効果音を使用した。
振動を駆動させるシーンはオノマトペの書き文字(例:ゴゴゴ)のある領域や、衝撃が想定される領域(例:ボールを捕球するキャッチャーミット)、
温度を提示する領域は温度提示が有効なイラスト(炎など)のあるシーンとした。これらは手動であらかじめ設定する。
https://news.yahoo.co.jp/articles/11193e025cacbb0a807797506b68199a4c4d3c81
https://image.itmedia.co.jp/news/articles/2209/21/tm1636144_sl09202_2_w490.jpg
https://image.itmedia.co.jp/news/articles/2209/21/tm1636144_sl09202_4_w490.jpg
https://image.itmedia.co.jp/news/articles/2209/21/tm1636144_sl09202_1_w490.jpg