研究

バーチャルリアリティ(VR)を用いたパブリックスピーキング訓練2：適切なタイミングでのリアルタイムフィードバック

バーチャルリアリティ（ＶＲ）を用いた対人スキルトレーニングの可能性を広く探る研究の一環として，プレゼンテーション（パブリックスピーキング）訓練に着目したものである．VR環境では，ユーザ動作や視線，音声等，様々な情報が常に計測できるため，不適切な振る舞いをシステムが自動で検知して，ユーザにすぐに知らせるリアルタイムフィードバックが可能である．しかし，プレゼンテーションのような認知負荷の高い行動中に，システムがフィードバックを行うことは，訓練を邪魔してしまうことが分かっている．そのため，本研究では，ユーザの現在のフィードバック「許容度」をモデル化し，頭部動作，身体動作，視線，音声，心拍，発汗情報などから推定し，ユーザにとって望ましいタイミングで，フィードバックを行う手法を構築した（特許申請中）．訓練におけるフィードバックの望ましさを検討するうえでは，「訓練を邪魔しないこと」と「それ以後の動作改善に効果があること」が重要であり，これらを考慮してモデル化を行っている．この技術は，パブリックスピーキングだけでなく，リアルタイムフィードバックが有効な，外科手術，リハビリ，運動，点検組み立て作業等，各種訓練にも応用可能であると考えられる．

関連する主な成果：

• Yuichiro Fujimoto, Zhou Hangyu, Taishi Sawabe, Masayuki Kanbara, Hirokazu Kato, “Stop Bad Real-time Feedback!: Estimation of the Timing of Feedback that Negatively Impacts Presenters for Presentation Training in Virtual Reality,” The 22nd IEEE International Symposium on Mixed and Augmented Reality (ISMAR2023), IEEE, Poster, Australia, Sydney, 16 Oct. 2023, DOI: 10.1109/ISMAR-Adjunct60411.2023.00087.
• 大学見本市2023～イノベーション・ジャパン、デモ発表

 

対話時の不安を軽減するAR支援システム

社会生活の基盤になっているのは人同士のコミュニケーションであり，対面での対話がその最も基本的な形態である．一方で，ASDや統合失調症等の特性をもつ者のみならず，定型発達者のなかにも，他者との対面対話を苦手とし，また恐怖する者も多い．この問題の原因の一つは，対話相手の視線や表情に対して過度な恐怖や不安感を感じてしまう，というものである．これに対して，訓練による本人の能力獲得や認知変容を促し障害を緩和するのが従来の主な医学的対処であったが，状緩和までに年月が必要であり，それまで本人が苦しみ続けるという本質的な問題があった．本研究では，即時的な効果をもつ方法として，拡張現実感(以下AR)技術と頭部装着型ディスプレイ(以下HMD)を日常装着することを想定し，当該者を支援する研究を行ってきた（2024年現在，HMDを日常的に装着することは一般的でないが，今後の技術発展に伴いスマートフォンにとって代わる情報機器として社会受容されることを想定する）．これまでの研究では，対話相手の本来の表情や身体を隠すように圧迫感の少ないアニメ調の3Dアバタを重畳表示することで，他者評価を気にする傾向が強い人の不安感を大幅に軽減できるという有望な結果を得た．

関連する主な成果：

• Juri Yoneyama, Yuichiro Fujimoto, Kosuke Okazaki, Taishi Sawabe, Masayuki Kanbara, Hirokazu Kato, “Augmented Reality Visual Effects for Mitigating Anxiety of In-person Communication for Individuals with Social Anxiety Disorder”, The 15th Asia-Pacific Workshop on Mixed and Augmented Reality (APMAR2023), Taiwan, Taipei, 19 Aug. 2023.

 

明所で動作するプロジェクションマッピング

既存のプロジェクションマッピングのほとんどは夜の屋外や，電気を消した屋内など，暗い場所で使用されている．当然ながら，暗い環境の方が投影光が綺麗に見える，ということが理由の一つだが，他にも，明るい領域ではプロジェクタの位置合わせ（カメラなどによる計測を伴う事前準備）が困難となる，という別の技術的問題があった．後者を解決すれば，明るい環境でも投影が行えるようになり，潜在的にプロジェクションマッピング技術の応用範囲が広がるのではないかと考えた．本研究では，普通のカメラに代わり，光の変化のみを出力するイベントカメラを使用してプロジェクタカメラシステムを構築する．このカメラのダイナミックレンジの広さ，高輝度領域での高コントラストセンシティビティなどに着目したためである．さらにイベントカメラに適した場所ごとに異なる周波数で点滅する構造化光を提案し，組み合わせることで，通常のプロジェクタカメラシステムではキャリブレーションや３次元形状計測が行えないような明るい環境で，それらが安定して行えることを確かめた．現在は第２段階として，動物体へ対応するために，高速形状計測(~1000fps)に取り組んでいる．

 

関連する主な成果：Yuichiro Fujimoto, Taishi Sawabe, Masayuki Kanbara, Hirokazu Kato, “Structured Light of Flickering Patterns Having Different Frequencies for a Projector-Event-Camera System,” The IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR), Mar. 2022.

 

バーチャルリアリティ(VR)を用いたパブリックスピーキング訓練1：視点の変化が訓練に与える影響

バーチャルリアリティ（ＶＲ）を用いた対人スキルトレーニングの可能性を広く探る研究の一環として，プレゼンテーション（パブリックスピーキング）訓練に着目したものである．この訓練には，プレゼンテーション時の恐怖心の低減などの内面制御と，うまくプレゼンテーション行うためのスキル向上の双方が含まれる．音声や動画を記録し，事後的に振り返ることで問題点を自身で洗い出す方法が，従来広く行われているが，これらには（１）自分のプレゼン動画を見たくない人が多い，（２）認知バイアスにより自己の定量的評価が困難，という二つの問題が存在する．これを解決するために，ＶＲによる視点変化を適用した振り返り手法を提案する．具体的には，プレゼン時の身体動作や目線方向，音声などをシステムが記録し，それを用いて，３Ｄアバタにより，自分のプレゼンテーションをＶＲ空間上で，再構成する．その際に，プレゼンテーションの質には関連性が小さく，かつ振り返りの嫌悪感が強い傾向にある要素（例：自分の顔情報）などは意図的に反映させないようにする．事後的に，ヘッドマウントディスプレイ（ＨＭＤ）を装着し，聴衆視点から観察することで，第三者の視点から自己の客観的な振り返りが行えると考え，その効果を確かめている．

 

関連する主な成果：Fumitaka Ueda, Yuichiro Fujimoto, Taishi Sawabe, Masayuki Kanbara, Hirokazu Kato, “The Influence of Perspective on Training Effects in Virtual Reality Public Speaking Training,” 31st IEEE Conference on Virtual Reality and 3D User Interfaces, Poster, IEEE, USA, FL, Orlando, 16 Mar. 2024.

Hangyu Zhou, Yuichiro Fujimoto, Masayuki Kanbara and Hirokazu Kato, “Virtual Reality as a Reflection Technique for Public Speaking Training”, Applied Sciences, 11(9), April 2021, DOI: 10.3390/app11093988.

 

組み立て作業支援のための拡張現実感ソフトウェア設計ガイドライン

拡張現実感技術は，人の各種作業の理解に有効であり，作業効率を改善することが，古くから様々な研究で確かめられている．加えて，近年のHoloLensなどの高機能なHMDの登場，Unityなどの開発環境の普及により，開発自体の敷居は下がっているはずだが，企業などの実作業への応用例は未だ多くない．我々は，拡張現実感による情報提示方法の知識不足がこの一因である考え，開発者のその知識を補うためのガイドラインを提案した．このガイドラインを用いることで，各作業状況や使用機器に応じて利用可能な情報提示方法を知ることができ，その中から適した選択を行うことで，効率的な作業支援システムを開発可能である（ガイドラインのページ(Ver.1)はこちら）．

関連する主な成果：Soshiro Ueda, Keishi Tainaka, Yiming Shen, Shuntaro Ueda, Konstantin Kulik, Yuichiro Fujimoto, Taishi Sawabe, Masayuki Kanbara, Hirokazu Kato, “General Software Platform for Designing and Developing of Augmented Reality Task Support Systems,” SIGGRAPH Asia 2023 XR, Demo, ACM, Australia, Sydney, 12 Dec. 2023, DOI: 10.1145/3610549.3614599

Keishi Tainaka, Yuichiro Fujimoto, Taishi Sawabe, Masayuki Kanbara, and Hirokazu Kato, “Selection framework of visualization methods in designing AR industrial task-support systems,” Computers in Industry, Elsevier, Vol.145, Feb. 2023, DOI: 10.1016/j.compind.2022.103828.

Keishi Tainaka, Yuichiro Fujimoto, Masayuki Kanbara, Hirokazu Kato, Atsunori Moteki, Kensuke Kuraki, Kazuki Osamura, Toshiyuki Yoshitake, and Toshiyuki Fukuoka, “Guideline and Tool for Designing an Assembly Task Support System Using Augmented Reality”, In Proceedings of IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Nov. 2020.

 

食べ物を美味しそうに見せるプロジェクションマッピング

食べ物の見た目から受ける美味しさの印象は，様々な要因に起因する．近年，SNS投稿のため，カフェやレストラン，自宅などで，携帯電話で食べ物を撮影し，より美味しそうに見えるよう，写真を事後加工することは頻繁に行われている．本研究は，これを実世界上で行うシステムを提案する．具体的には，カメラで対象を撮影し，それに対しユーザが決定したパラメータに基づき，食べ物の見た目を変えるような光をプロジェクタにより投影する．一般的な環境光下と比較して，各種食べ物の主観的な美味しさの印象を向上させる投影条件が存在することを，被験者実験により示した．現在，任意の対象食品に対し，最適な投影光を自動で算出するアルゴリズム，システムを開発中である．

関連する主な成果：Yuichiro Fujimoto: “Projection Mapping for Enhancing the Perceived Deliciousness of Food”, IEEE Access, Vol.6, No.1, pp.59975-59985, Dec. 2018. (pdf file).

人の位置・姿勢・動作・行動遷移に基づく宅内での音声情報提示機会の推定

Google homeやAmazon echoに代表される音声インタフェースが一般家庭に普及しつつあるが， 現状はユーザからの音声コマンドに対し，対応した情報を提供するパッシブな用途が主流である． 一方，天気やスケジュールリマインダ，広告配信等，ユーザの要求なしに行うプロアクティブな情報配信が新たに注目されているが，望ましくないタイミングで音声情報提示がなされると，日常行動を阻害する 可能性が懸念される．そこで本研究では，ユーザにとって適切なタイミングを推定する技術を開発することを目的とする．行動の切れ目や遷移時は認知負荷が低下することが知られていることから，人の位置や姿勢，動作情報から宅内での行動遷移を検出し，情報提示への許容度が高いタイミングを推定することを考える．

 

 

オフィス環境における人検出

オフィスにおける作業種別やコミュニケーション行動の自動分析はオフィスの効率改善を可能にすると期待される．各時間に人がいる位置はそのための最も基礎的な情報の一つであり，その継続的自動検出が望まれる．本研究はデプスデータを基にオフィス環境における継続的利用を想定した人検出手法を提案する．そのためには，(1)オフィス環境における机などによる遮蔽や自己遮蔽，(2)着席や歩行，屈みなどの姿勢変化に対応可能な人検出手法が求められる．これらの問題に対し，本研究では，(1)データ欠損の原因を近似的に推定し能動的に利用する方法，(2)複数の人形状特徴を組み合わせて人を識別する手法の提案を行う．さらに，オフィス環境の全範囲をカバーするため，複数台のKinectを天井に配置し，協調的に動作させることで，床面からの高さ情報として再統合するシステムを開発した．これらを組み合わせ，数百時間分の実オフィスデータに適用したところ，実用的な精度が得られた．

柔軟物体へのプロジェクタを用いたテクスチャ投影

投影型拡張現実感はプロジェクタでCG などの仮想情報を実物体上に投影し，情報の付加や見かけの操作を行う技術である．これまでに提案されている手法の多くは投影物体が剛体であることを仮定しており，対象物体の形状をその場で変更し，変更後の物体に対しても幾何学的整合性を考慮した投影を行うのは困難であった．そこで本研究では，ユーザが手で形状を変化させることができるような柔軟物体を投影対象とし，その形状情報に基づいて幾何学的整合性を考慮したテクスチャの投影が行えるようなシステムを提案する．提案システムでは柔軟物体上に部分読み取りが可能なマーカパタンを配置し，それをカメラで読み取ることで柔軟物体上の局所的な位置の推定を行う．

関連する主な成果：Yuichiro Fujimoto, Ross T. Smith, Takafumi Taketomi, Goshiro Yamamoto, Jun Miyazaki, Hirokazu Kato, and Bruce H. Thomas: “Geometrically-correct projection-based texture mapping onto a deformable object”, IEEE Transactions on Visualization and Computer Graphics (TVCG), Vol.20, No.4, pp.540-549, Mar. 2014. (pdf file).

拡張現実感による情報提示と人間の記憶効率の関連性

拡張現実感は実世界上の特定の位置にあたかも存在するかのように仮想物体を重畳表示させる技術である．拡張現実感でユーザに提示される情報は，本質的に「実世界上の位置」という情報を含んだものとなる．一方，人間の記憶メカニズムには位置に関連付けられた情報は記憶しやすく，また想起しやすいという特性がある．以上の二つの事実より，拡張現実感による注釈表示において「対象物体の位置に関連付けて情報を表示した場合，無関係な位置に表示した場合と比較して，それを見たユーザの記憶に特定のポジティブな影響を及ぼす」という仮説を立てた．複数の被験者実験を通して，対象物体の位置に関連付けた表示を行った場合とそうでない場合の記憶結果の間に上記仮説を立証するいくつかの有意な差が見られた．