研究

明所で動作するプロジェクションマッピング

既存のプロジェクションマッピングのほとんどは夜の屋外や,電気を消した屋内など,暗い場所で使用されている.当然ながら,暗い環境の方が投影光が綺麗に見える,ということが理由の一つだが,他にも,明るい領域ではプロジェクタの位置合わせ(カメラなどによる計測を伴う事前準備)が困難となる,という別の技術的問題があった.後者を解決すれば,明るい環境でも投影が行えるようになり,潜在的にプロジェクションマッピング技術の応用範囲が広がるのではないかと考えた.本研究では,普通のカメラに代わり,光の変化のみを出力するイベントカメラを使用してプロジェクタカメラシステムを構築する.このカメラのダイナミックレンジの広さ,高輝度領域での高コントラストセンシティビティなどに着目したためである.さらにイベントカメラに適した場所ごとに異なる周波数で点滅する構造化光を提案し,組み合わせることで,通常のプロジェクタカメラシステムではキャリブレーションや3次元形状計測が行えないような明るい環境で,それらが安定して行えることを確かめた.現在は第2段階として,動物体へ対応するために,高速形状計測(~1000fps)に取り組んでいる.

関連する主な成果:Yuichiro Fujimoto, Taishi Sawabe, Masayuki Kanbara, Hirokazu Kato, “Structured Light of Flickering Patterns Having Different Frequencies for a Projector-Event-Camera System,” The IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR), Mar. 2022.

 

バーチャルリアリティ(VR)を用いたパブリックスピーキングトレーニング

バーチャルリアリティ(VR)を用いた対人スキルトレーニングの可能性を広く探る研究の一環として,プレゼンテーション(パブリックスピーキング)訓練に着目したものである.この訓練には,プレゼンテーション時の恐怖心の低減などの内面制御と,うまくプレゼンテーション行うためのスキル向上の双方が含まれる.音声や動画を記録し,事後的に振り返ることで問題点を自身で洗い出す方法が,従来広く行われているが,これらには(1)自分のプレゼン動画を見たくない人が多い,(2)認知バイアスにより自己の定量的評価が困難,という二つの問題が存在する.これを解決するために,VRによる視点変化を適用した振り返り手法を提案する.具体的には,プレゼン時の身体動作や目線方向,音声などをシステムが記録し,それを用いて,3Dアバタにより,自分のプレゼンテーションをVR空間上で,再構成する.その際に,プレゼンテーションの質には関連性が小さく,かつ振り返りの嫌悪感が強い傾向にある要素(例:自分の顔情報)などは意図的に反映させないようにする.事後的に,ヘッドマウントディスプレイ(HMD)を装着し,聴衆視点から観察することで,第三者の視点から自己の客観的な振り返りが行えると考え,その効果を確かめている.

 現在は第2段階として,動作情報だけでなく,脳波,心拍等の生理指標も含めて,VR空間上でリアルタイムバイオフィードバック手法の検討を進めている.

 

組み立て作業支援のための拡張現実感ソフトウェア設計ガイドライン

拡張現実感技術は,人の各種作業の理解に有効であり,作業効率を改善することが,古くから様々な研究で確かめられている.加えて,近年のHoloLensなどの高機能なHMDの登場,Unityなどの開発環境の普及により,開発自体の敷居は下がっているはずだが,企業などの実作業への応用例は未だ多くない.我々は,拡張現実感による情報提示方法の知識不足がこの一因である考え,開発者のその知識を補うためのガイドラインを提案した.このガイドラインを用いることで,各作業状況や使用機器に応じて利用可能な情報提示方法を知ることができ,その中から適した選択を行うことで,効率的な作業支援システムを開発可能である(ガイドラインのページ(Ver.1)はこちら).

関連する主な成果:Keishi Tainaka, Yuichiro Fujimoto, Masayuki Kanbara, Hirokazu Kato, Atsunori Moteki, Kensuke Kuraki, Kazuki Osamura, Toshiyuki Yoshitake, and Toshiyuki Fukuoka, “Guideline and Tool for Designing an Assembly Task Support System Using Augmented Reality”, In Proceedings of IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Nov. 2020.

 

 

食べ物を美味しそうに見せるプロジェクションマッピング

食べ物の見た目から受ける美味しさの印象は,様々な要因に起因する.近年,SNS投稿のため,カフェやレストラン,自宅などで,携帯電話で食べ物を撮影し,より美味しそうに見えるよう,写真を事後加工することは頻繁に行われている.本研究は,これを実世界上で行うシステムを提案する.具体的には,カメラで対象を撮影し,それに対しユーザが決定したパラメータに基づき,食べ物の見た目を変えるような光をプロジェクタにより投影する.一般的な環境光下と比較して,各種食べ物の主観的な美味しさの印象を向上させる投影条件が存在することを,被験者実験により示した.現在,任意の対象食品に対し,最適な投影光を自動で算出するアルゴリズム,システムを開発中である.


人の位置・姿勢・動作・行動遷移に基づく宅内での音声情報提示機会の推定

Google homeやAmazon echoに代表される音声インタフェースが一般家庭に普及しつつあるが, 現状はユーザからの音声コマンドに対し,対応した情報を提供するパッシブな用途が主流である. 一方,天気やスケジュールリマインダ,広告配信等,ユーザの要求なしに行うプロアクティブな情報配信が新たに注目されているが,望ましくないタイミングで音声情報提示がなされると,日常行動を阻害する 可能性が懸念される.そこで本研究では,ユーザにとって適切なタイミングを推定する技術を開発することを目的とする.行動の切れ目や遷移時は認知負荷が低下することが知られていることから,人の位置や姿勢,動作情報から宅内での行動遷移を検出し,情報提示への許容度が高いタイミングを推定することを考える.

 

 

オフィス環境における人検出

オフィスにおける作業種別やコミュニケーション行動の自動分析はオフィスの効率改善を可能にすると期待される.各時間に人がいる位置はそのための最も基礎的な情報の一つであり,その継続的自動検出が望まれる.本研究はデプスデータを基にオフィス環境における継続的利用を想定した人検出手法を提案する.そのためには,(1)オフィス環境における机などによる遮蔽や自己遮蔽,(2)着席や歩行,屈みなどの姿勢変化に対応可能な人検出手法が求められる.これらの問題に対し,本研究では,(1)データ欠損の原因を近似的に推定し能動的に利用する方法,(2)複数の人形状特徴を組み合わせて人を識別する手法の提案を行う.さらに,オフィス環境の全範囲をカバーするため,複数台のKinectを天井に配置し,協調的に動作させることで,床面からの高さ情報として再統合するシステムを開発した.これらを組み合わせ,数百時間分の実オフィスデータに適用したところ,実用的な精度が得られた.

 

柔軟物体へのプロジェクタを用いたテクスチャ投影

投影型拡張現実感はプロジェクタでCG などの仮想情報を実物体上に投影し,情報の付加や見かけの操作を行う技術である.これまでに提案されている手法の多くは投影物体が剛体であることを仮定しており,対象物体の形状をその場で変更し,変更後の物体に対しても幾何学的整合性を考慮した投影を行うのは困難であった.そこで本研究では,ユーザが手で形状を変化させることができるような柔軟物体を投影対象とし,その形状情報に基づいて幾何学的整合性を考慮したテクスチャの投影が行えるようなシステムを提案する.提案システムでは柔軟物体上に部分読み取りが可能なマーカパタンを配置し,それをカメラで読み取ることで柔軟物体上の局所的な位置の推定を行う.


拡張現実感による情報提示と人間の記憶効率の関連性

拡張現実感は実世界上の特定の位置にあたかも存在するかのように仮想物体を重畳表示させる技術である.拡張現実感でユーザに提示される情報は,本質的に「実世界上の位置」という情報を含んだものとなる.一方,人間の記憶メカニズムには位置に関連付けられた情報は記憶しやすく,また想起しやすいという特性がある.以上の二つの事実より,拡張現実感による注釈表示において「対象物体の位置に関連付けて情報を表示した場合,無関係な位置に表示した場合と比較して,それを見たユーザの記憶に特定のポジティブな影響を及ぼす」という仮説を立てた.複数の被験者実験を通して,対象物体の位置に関連付けた表示を行った場合とそうでない場合の記憶結果の間に上記仮説を立証するいくつかの有意な差が見られた.

検索語を上に入力し、 Enter キーを押して検索します。キャンセルするには ESC を押してください。