En rapport avec la vision industrielle, une vidéo extraite d'une étude réalisée l'année dernière. Le chalenge consiste à naviguer dans les menus de smartphones en utilisant une table 3 axes.
- Le smartphone peut être un modèle Android ou iPhone, placé sur une surface délimitée, pas de location ni sens précis.
on doit
- détecter la présence, la localisation, l'orientation, reconnaître le modèle, mettre sous tension
- en fonction du modèle, déverrouiller par la saisie d'un mot de passe (iOS) ou passer en mode développeur (Android)
- reconnaitre les icônes, lancer des applications, reconnaître et naviguer dans les menus
- tester la dalle tactile, les touches, le micro, le son, les caméras ...
Je suis parti au départ sur OpenCV qui permet de faire beaucoup de chose c'est pourquoi je le recommande. Après il faut bien avouer que j'ai fini par utiliser un système de vision pour l'industrie qui offre des outils franchement faciles à utiliser mais ce n'est pas gratuit !
Partie mécanique : la table 3 axes est industrielle, précise au dixième, équipée de moteurs pas à pas. Les contrôleurs sont pilotée en Ethernet.
Côté logiciel : je pilote le système de vision et la table 3 axes en C#
L'extrait présente juste la détection et la mise sous tension d'un iPhone, un test de dalle tactile, la reconnaissance et la saisie sur le clavier même si on ne connait ni la position ni l'orientation au départ. Vive le cosinus !