当社は一般的なWebカメラで手の形を認識して、ロボットの基本的な動作を制御する機能を実証するシステムを開発しました。

このシステムはAIとロボット制御部の2つのユニットによって構成されます。AIはWebカメラの映像を解析し、映っている手の形を認識します。また、ロボット制御部は認識した手の形の情報を受け取り、対応する動作をロボットに司令します。ロボットとAIは完全に独立して動作しており、お互いの情報伝達は無線通信によって行われます。

画像分類を行うAIのモデルにはResNet50を使用しました。ImageNetの学習データをロボット制御用に移転学習し、手のデータセットでファインチューニングしました。ここで用いたAIモデルは3200万パラメータのニューラルネットワークで構築されています。GPUにGeForce GTX 1080 Tiを用いたPCで処理させると、1サイクル20ミリ秒以下で手の形を認識することができました。このようにとても素早く認識できるので、ロボットをリアルタイムに制御することが可能です。

また、実証システムをより小さくて安いRaspberry Pi 3に載せるために、AIのモデルを10分の1程度小さなものに改造してみました（330万パラメータ）。それでも、Raspberry Piには前述のGPUのような処理性能は無いので、Raspberry Piでの処理時間は1サイクル1秒でした。リアルタイムとまでは行きませんが、それほど応答速度を必要としないシステムであれば十分利用できます。