Ce système utilise un modèle d’intelligence artificielle pour analyser le flux vidéo venant de la caméra, qui prédit quelle est la pose de la main sur la vidéo. Le contrôleur du robot reçoit la prédiction and commande un mouvement sur les axes du robot. Grâce à une communication sans-fil entre le robot et l’intelligence artificielle, ceux-ci sont complètement indépendants.

L’architecture du modèle est basée sur le modèle ResNet50 pour la classification d’image. Nous avons utilisé les méthodes de transfert d’apprentissage et de réglage fin du modèle pour appliquer celui-ci à la tache de reconnaissance de la pose de la main. Le modèle contient plus de 32 millions de paramètres et peut exécuter une prédiction en moins de 20 millisecondes sur un ordinateur comprenant une carte GPU, ce qui lui permet d’être utilisé en temps-réel sur un flux vidéo.

Nous avons d’en un second temps changer l’architecture de base pour une plus petite (environ 10 fois plus petite) et nous avons réussi à exécuter le système sur un ordinateur Raspberry Pi, qui est beaucoup moins couteux qu’une carte GPU. Cependant, comme le Raspberry PI n’a pas les mêmes capacités de calculs que ce type de carte, le temps d’exécution d’une prédiction passe de 20 millisecondes à 1 seconde.