要素技術
私たちが開発するホームサービスロボットに搭載されている基本機能の紹介です．これらの機能が組み合わさることで，複雑なロボットの動きが実現します．
物体認識
YolactEdge[1]による物体認識とその結果を用いた把持点推定を行っています．ロボットがものを見つけて掴むために重要な処理であり，現在Hibikino-Musashi@Homeが最も力を入れて開発を行っている項目の一つです．
人物認識
CSRA[2]を用いた人の特徴認識システムやLightWightHumanPose[3]をもとにした，指差し地点認識システムを開発しています．ロボットが人の特徴を説明したり，人が指さしている物体を持ってきたりするといった機能に使用されています．
音声認識
noisereduce[4]を用いて雑音除去を行いVosk[5]を用いて音声認識を行っています．音声認識はロボットが人と対話するうえで重要な機能です．大勢の人が集まり，雑音が多い環境でも人の言葉をしっかりと認識できるシステムを開発しています．
環境認識
セマンティックセグメンテーションを用いて，物体の配置可能位置推定やロボットの走行可能領域推定を行っています．棚の空いたスペースに物体を置いたり，床に散らばった障害物を避けて走行するために使用されている技術です．
データセット生成とSim2Real[6]
物体認識システムを訓練するためには大量の訓練データを用意する必要があります．Hibikino-Musashi＠Homeは3Dシミュレータを用いたデータセット生成ソフトを開発し，認識システムの訓練に使用しています．
まず，オブジェクトを3Dスキャナでスキャンし，3Dデータを取得します．続いてその3Dデータをシミュレータに取り込みデータセットを生成します．データセット生成時には3Dシミュレータ上に再現された部屋の中にオブジェクトをランダムに配置し，背景画像をランダムに入れ替えて訓練することで，高い認識精度を得ることができています．
データセット生成ソフトウェアを用いることで，ラベルとマスクが自動的に付与された10万枚の訓練データをわずか1時間で生成することができます．
オープンソースシミュレータ
Hibikino-Musashi@Homeが開発したシステムの一部は，オープンソースソフトウェアとして公開しています．
https://github.com/Hibikino-Musashi-Home/hma_wrs_sim_ws
上のリンクよりHibikino-Musashi＠Homeが開発した，部屋を片付けるロボットを動かすためのROSワークスペースへアクセスできます．OSS版のシミュレータ[7] を用いたワークスペースとなっており，実機のロボットをお持ちでない方でもHibikino-Musashi@Homeが開発したライブラリを用いて，簡単にHSRを動かすプログラムを開発することができます．
研究活動
脳型人工知能[8]
脳の機能を取り入れ，ロボットが少ない経験の中から家族の好みや習慣を学ぶための脳型人工知能モデルを研究しています．深層学習では獲得することが困難である，家庭ごとに異なる知識を獲得します．また，ディジタル回路やアナログ回路などにモデルを実装し，高効率で低消費電力であるロボットの演算システムの構築を目指します．
アナログチップとソフトハンド[9]
柔らかな素材で作られた触覚センサから得た物体の硬さに関する情報をアナログチップを用いて処理し，物体の判別に活用するシステムです．触覚センサは液体金属が入ったシリコン素材で作られています．対象物体を傷つけず，優しく掴むことができます．回路はわずか数mmの大きさのアナログチップに実装されており，300 TOPS/Wという非常に高い演算性能と電力性能を誇ります．
このように，ロボットの独自のセンサを活用して認識精度の向上を図るほか，限られたバッテリーを有効活用し，長時間稼働が可能なロボットを構築するための研究に取り組んでいます．
参考
[1] H. Liu et al., ICRA, 2021.
[2] K. Zhu et al., ICCV 2021.
[4] vosk-api, https://github.com/alphacep/vosk-api.
[5] T. Sainburg et al., PLoS computational biology, 2020.
[6] T. Ono et al., Advanced Robotics, 2022.
[7] hsrb_robocup_dspl_docker, https://github.com/hsr-project/hsrb_robocup_dspl_docker
[8] H. Nakagawa et al., IEEE Access, 2022.
[9] M.Yamaguchi et al., IJCNN 2019.
