脳機能に学ぶリアルタイム情景認識システムとそれによるロボット制御
脳の視覚情報処理に学んだ複数の処理モデルを組合わせて， 人の顔や物体を含む自然な情景をリアルタイムで認識するシステムの構築を行っています。顔・腕身振り認識システムとそれによるロボット制御
（2012年10月） ロボカップ＠ホームリーグ向けサービスロボット「Exi@」に，当研究室で開発中の 顔認識システムを搭載して実験・デモを行いました。 （産学連携フェアでデモ公開）
（2007年11月） 既開発の顔認識システムに，宮本研で開発された腕のジェスチャー認識 システムを合体させ，さらにそれにより腕付きロボット（宮本研開発） を制御することに成功しました。（BrainIT2007でデモ公開）
顔・腕ジェスチャー認識によるロボット制御。特定のユーザの顔を認識 して，その方向に向きを変えると共に，その腕の動きによりロボットを 前後させます。また，ロボットのアームをユーザの腕の形に同期させま す。任意の背景下で，ぶれながら動くロボットによるリアルタイム認識 はかなり困難なタスクです。このシステムでは， AD融合方式ガボールフィルタLSIおよび FPGA実装したEGMプロセッサ が専用ハードウェアとして用いられています。
情景認識システム
（2006年3月） 抵抗ヒューズネットワークによる大局的領
域分割，エラスティック・グラフ・マッチング（EGM）による個別領域画像認
識を組み合わせ，認識された領域間の関係を用いて，入力画像全体の情景認識
をリアルタイムに行うシステムを構築しました。
なお，下図の人物は，このシステムを開発した中野鉄平君（2006年博士号取得）です。
情景認識の処理フロー
リアルタイム情景認識の処理結果（動画の一部）
デモ動画(1.3MB) 。画面上左が入力画像，上中央が大局的 領域分割後の画像で，認識結果を色付き枠（下右の記憶画像の色枠に対応）で 示します。上右は分割結果の境界（エッジ）を示した画像です。画面下中央に は分割された各領域（4個）を示し，下右には記憶画像（8個）を示しています。 デモ動画ではペットボトルを提示した瞬間に画面上中央にペットボトルの認識 結果が現れます。
エラスティック・グラフ・マッチング（EGM）のFPGA実装による顔・物体認識システム
（2004年10月） エラスティック・グラフ・マッチング（EGM）をFPGAに
実装したリアルタイム顔・物体認識システムを構築しました。FPGAのク
ロック周波数48MHzで，1記憶画像当たり約2.7msで認識を行うことがで
きます。記憶画像は外部メモリに保存するので，システムとして記憶画
像数の制限はありません。
顔認識の様子
このシステムでは，認識対象特有の特徴を用いておらず，脳の機能を模
倣した一般的な認識手法（ガボールウェーブレットとダイナミックリン
クアーキテクチャ（エラスティック・グラフ・マッチング））を用いて
いるため，人の顔だけでなく，ラベル付きペットボトルや本の表紙など
さまざまな複雑な物体を認識することができます。EGMは画像内部に構
造があり，それが微妙に歪んでいるような物体の認識に適しています。
また，照明の具合いや物体(顔・本)の向きなどに依存しない柔軟な認識
をすることができます。
（最終更新日：2012/11/05）
