■研究の概要
映像を用いた人物３次元行動解析とは、人物を撮影した映像を入力として、被写体の３次元骨格姿勢とその運動、さらに視線方向を推定することを意味しており、スポーツや医療・介護における動作解析、工場など作業現場での安全対策や手順解析、公共空間での雑踏警備や人流解析、店舗内や商店街における購買行動解析など、さまざまな分野における基盤計測技術として利用することができます。本技術は深層学習に基づいたものであり、使用時にはカメラ１台を用いるだけで人物３次元運動や視線方向を推定することができます。また実装環境特有の人物行動など、学習時には訓練データに含まれなかったような事例に適応することが求められた場合には、一時的に複数台のカメラを設置するだけで、全自動で追加の学習データをその環境で取得し、自己教師あり学習によって新たなドメインに適応することも可能です。すなわち本技術は、カメラ１台の映像から人物３次元運動および視線方向を推定する機械学習モデルと、複数台のカメラの相対位置・姿勢を人物撮影映像のみを用いて自動的に校正するカメラキャリブレーション、および校正されたカメラ群を用いて複数視点映像から人物３次元運動を復元する全自動マーカーレスモーションキャプチャから構成されます。