en entrée je passe une image de 192*108*1 (noir et blanc) . Le reste du modèle ressemble à ca:

La fonction de perte j'ai utilisé la "categorical crossentropy"

Pour l'algorithm d'optimisation j'ai utilisé le "RMSprop" . J'en est testé plusieurs, celui la avait l'air de mieux fonctionner .

J'utilise le "image data generator" de keras/tensorflow qui permet de modifier les images aléatoirement pour créer des variations et je crois que j'ai été eu la main un peu lourde sur le paramètre de zoom .

Pour le coefficient d'apprentissage . J'ai commencé à 4e-3 et la précision finissait a 0.1 avec 10 catégories . Pour l'apprentissage de la vidéo ci-dessus j'ai descendu le coefficient a 3e-3 mais au bout d'un moment l'accuracy à ateint une certaine valeur puis à commencé à osciller autour de cette valeur pour le reste de l'apprentissage .
Je suis en train de train d'éssayer un coefficient d'apprentissage dégressif en espérant que la précision se stabilise plus sur la fin, les résultats ont l'air prometteurs pour le moment .

Y a t'il un bon moyen d'estimer les paramètres correctes sans employer une méthode empirique? 

Après avoir collecté quelques milliers de nouvelles images de bonne qualité et une autre session d'apprentissage les résultats s'améliorent mais il y a encore des moments ou il reste coincé dans des boucles .
 

ici le but du jeu c'est de mettre le cercle sur le carré blanc et de le tenir dans cette position pendant une demi seconde .

Voila la donnée qui me manquait pour apprendre c'est en effet un très bon exercice ! je suis content que mes vidéos aident ! si vous voulez un avis sur le modèle, le code ou l'algo, n’hésitez pas c'est un très beau projet !

Merci pour l'offre! Je ferais signe si je me retrouve coincé ou que j'ai quelque chose sur lequel j'ai besoin d'un avis . Pour le moment je me base sur les exemples du site de tensorflow et je joue un peu avec l'architectures et les paramères du modèle . J'ai pas mal de rattrapage à faire niveau math et je préfère me documenter un peu de mon coté avant demander surtout qu'il me faut pas mal de temps pour assimiler certains concepts .
 

Yep je pense que changer le dataset peut-être une bonne idée. Tu pourrais commencer par prendre des photos à partir de différents angles, différents luminosités, différentes distances pour te constituer la base de ton dataset. Et puis tu peux modifier ces photos numériquement par après pour compliquer la tâche à ton réseau.

Je pense que je vais ecrire un petit script qui va prendre des photos de l'écran automatiquement . en le laissant tourner une journée entière je devrais avoir une bonne collection d'images avec differentes luminosités . Il y a une fonction dans tensorflow qui permet "d'augmenter" le data . Elle permet de zoomer, translater et changer la perspective des images aléatoirement . J'espère que ca fonctionnera mieux avec cette technique !!!

Merci pour le conseil! Je vais tester ca . 

Je ne sais pas si j'ai la bonne approche mais comme le jeu est très simple et consiste juste à mettre le cercle sur la cible, je me suis dis que je pouvais classer les images pour déterminer les décisions à prendre .

Il y a 9 positions de joystick possible (gauche, gauche+haut, haut.......centre) plus une classe pour déterminer si il y a du texte à l'écran (qui apparait entre 2 parties) . 

Chaque action à prendre peut facilement etre déterminer par la position du cercle et de la cible sur l'écran . Par exemple, si le cercle se trouve au dessus de la cible, le joystick doit etre bougé vers le bas, si le cercle se trouve à droite de la cible, le joystick soit etre bougé vers la gauche...etc .

L'idée c'est donc de classer chacune de ces situations pour ensuite bouger le joystick en fonction des prédictions .
 

C'est vrai qu'ici il n'y a aucune finesse dans le resultat . Le robot choisi juste une position de joystick prédéfinie .

Ca fait un petit moment que j'ai le vigibot en tete . Il faut que je m'y mette . Je pense qu'il y a vraiment des trucs cool a faire .
Un truc auquel je pense depuis quelques temps serai de fabriquer deux robot avec des competences differentes et organiser un parcour dans une piece de la maison dont il serait possible d'atteindre le bout qu'en jouant en coopération .
Ou alors un genre d'escape room pour vigibot avec des indices à trouver pour pouvoir sortir de la piece .

Merci pour les conseils !

Je voulais éviter l'approche du traitement "classique" vu que j'avais déjà un expérimenter avec ca dans des projet précédents et que je voulais apprendre quelque chose de nouveau .

Je vais éssayer de voir comment je peux faire pour faire de la régression en partant d'une image . 

Merci, ca a vraiment aidé! Au final je suis resté assez fidèle à votre suggestion :

conv2d(None, ..., ..., 16) kernel=3 stride=2

conv2d(None, ..., ..., 16) kernel=3 stride=2

conv2d(None, ..., ..., 32) kernel=3 stride=2

Dense(128)

Dense(32)

Dense(10)

Le modèle est assez sensilble aux variations d'éclairage, j'imagine que cela vient du fait que l'éclairage de mes images d'apprentissage est relativement similaire .

Le fait de ne pas avoir d'action graduelle sur le joystick rend le jeu difficile à jouer pour le robot quand la vitesse du cercle est élevée . J'en ai conclu que la classification d'image pour ce genre de problème n'est pas idéale .

Après avoir suivi les conseil de Laurent42, les prédictions du réseaux neuronal se sont améliorées . 
Je me suis amusé à essayer de la perturber pendant le jeu mais elle arrive toujours à jouer .

J'ai commencé à m'attaquer à la partie logiciel et surtout à la vision du robot qui ne se passe pas tout à fait comme prevu . J'ai donc commencer par créer un jeu tout simple dont le but est de bouger le portal(le truc rond) au dessus du gateau .

Une fois le jeux fini, j'ai commencé à m'interesser à comment le robot allait voir le jeux . J'ai un peu hésité à utiliser un méthode de traitement d'image 'classique' (détection de couleur et autre) . Et comme le but de ce projet est quand meme d'apprendre de nouvelle chose je me suis dis qu'il serai sympa de créer et entrainer un réseau neuronal convolutif à l'aide de tensorflow .

Le but de ce réseau neuronal convolutif est de prendre une image en entrée et de donner une position de joystick en sortie . Il y a 9 positions de joystick, centre, gauche, haut+gauche, haut, haut+droite...etc
Pour entraîner un réseau de neurones il faut du data et si possible beaucoup . Ici le data consiste en des images du jeu avec le label associé a chaque image est la position du joystick . Collecter toutes ces images prend du temps, j'ai décidé de créer du data synthetique , c'est à dire qu'au lieu de prendre des photos du jeux en train de tourner sur ma télé, j'ai créer des images completements digitales du jeu .



Ici on peu voir que j'ai donc créé un écran noir qui simule l'écran de la télé avec les éléments du jeu dessus . La position de la télé est assez aléatoire de manière à ce que le robot puisse apprendre à jouer sans être parfaitement aligné avec l'écran . Le fond est aussi remplacé par un bruit aléatoire, l'idée derrière cela est que le robot apprendrai à ignorer ce qui se passe en dehors de l'écran .

Avec cette méthode, j'ai pu en quelques heures créer un demi millions d'images labelées . J'ai ensuite créé mon réseau neuronal à l'aide de Tensorflow . J'ai même passé quelques heures a créer un script pour importer les images et labels pour l'entrainement du réseau pour finalement me rendre compte que Tensorflow avait un fonction qui permet de le faire de manière plus efficace en 2 lignes de code!!!

Apres avoir bidouiller un moment avec les paramètres et entraîné le réseau neuronal, il était capable de prédire correctement la bonne position du joystick pour une image donnée a 90% sur le data synthétique.

Malheureusement sur les photos réelles les performances sont très mauvaises .

Je pense que cela vient du fait que mon data synthétique est bien trop simpliste (pas de réflexion sur l'écran et fond trop uniforme) .
Je pense que le travail effectué sur le réseau neuronal peut être gardé mais il faut que les data collectées soient de meilleure qualité .
 

Oui je suis bien conscient que j'aurai pu régler le problème de manière beaucoup plus simple avec openCV mais ce projet est plus un exercice pour apprendre à utiliser tensorflow et en apprendre plus sur les réseaux de neuronnes en général .

Vaut vidéos mon aidé quelques fois d'ailleur . Continuez ce super boulot!

Vraiment sympa ton projet ! Prochaine étape, réaliser le plateau en vrai ?

 
J'y pense, Il faut que je trouve un moyen de recupérer les donnés nécéssaires au réseau de neurones avec une camera . Et aussi espérer que la physique de Unity sois assez fidèle à la réalité .

joli projet ! une prochaine étape sympa serait de faire tout ça avec du traitement de l'image, avec une caméra qui filme l'écran !

J'y pense aussi . Un jeu type pong ou un casse brique il pourrait etre un bon candidat . Un truc en 2D avec pas mal de contrast pour un debut pourrait etre pas mal en tout cas .

Mais, tu m'as rattrapé et même dépassé ! Ta vidéo va faire environ 600 vues les premieres 24h, alors que mes vidéos ne font au mieux que 300 vues.

De plus, ces derniers temps, le nombre de vues s'est écroulé sur YouTube. Il semblerait que ce soit dû au confinement.

Non, à mon avis, tu vas cartonner.

Par contre, va falloir que tu refasses tes pièces et que tu mettes à jour ton blog. Un fan club, ça se ménage . . .

Dans ton titre, il n'y a pas le terme "IA". A mon avis, un titre du style, "Virtual robot Ball balancing, with IA learning", ce serait beaucoup mieux.

Sur la photo de couverture, il faudrait que tu agrandisses le plan avec la balle dessus. C'est certain, l'idée du joystick, c'est génial, mais je ne suis pas sûr que l'on perçoive bien l'idée en raison d'un plateau nettement plus petit que la radiocommande. A mon avis, le plateau à gauche et la radiocommande à droite. Si tu peins un paysage avec un arbre, l'arbre doit être situé à gauche, pas à droite. C'est comme ça ! Et c'est pas négociable.

Encore, bravo !

C'est marrant, j'aurai parié que ca aurait l'inverse . Il y a pas mal de gens avec du temps à perdre .

J'ai fait un miniature avec la manette de l'autre coté avant celle que j'ai utilisé mais ca me parraissait bizare . Jvais tester pour voir si ca marche mieux . 
Jvais réfléchir à un titre a base d'IA . C'est vrai que ca parait evident maintenant que tu le dis !

Je vais commencer par poster la vidéo final du projet avant de commencer a blablater . Elle est en anglais mais sur la deuxième moitié de la vidéo on voit le processus d'apprentissage de l'IA ce qui ne nécéssite pas forcement de comprendre quoi que ce soit à la voie off :

Depuis un petit moment je me balade entre plusieur hobbys vagement en relation les uns avec les autres, l'apprentissage machine, le devellopement de jeux et la mécatronique .

J'ai donc eu l'idée de créer un jeu qui apprendrai à se jouer lui-même a l'aide d'une manette de Xbox . je me suis dis que ca pourrait etre un projet sympa qui combinerait trois choses que j'aime .

Avant d'aller plus loin . Oui, je sais que dans ce projet j'utilise un methode completement inappropriée pour le problème que j'éssaye de résoudre ! Un bon vieux controller PID aurai fait largement l'affaire et aurai surment meme été meilleur . J'ai decidé d'utiliser un réseau de neurones parce que je voulais voir comment il allait s'adapter à tout les défauts liés à un controlleur physique (jeux entre les pièces, inertie des pièces, calibration imparfaite...)

LE PLAN INITIAL :
 

Je voulais que ce projet soit assez rapide sans avoir à faire face a de grosses inconnues, j'ai donc décidé de réutiliser des compétences que j'avais déjà développées au cour de projets précédents . Je pensais que j'aurai fini en deux jours...lol

Pour le jeux et l'apprentissage machine, ca serait donc fait sur Unity avec le 'ML-agents toolkit' aussi développé par Unity . J'étais déjà familier avec ces deux éléments meme si j'ai été assez surpris de voir à quel point ils avaient évolué depuis la dernière fois que je les avais utilisé .

Le choix du jeu s'est fait très tot, il fallait quelque chose qui puisse se controller avec un minimum de button pour garder la partie physique du projet assez simple .

Le 'ML-agents toolkit'  contient quelques examples dont un qui pouvait facilement etre utilisé comme un jeu ne nécéssitant qu'un seul joystick, l'exercice du 'ball balancing' .

LE ROBOT.
 

J'ai commencé par créer un simple bras qui bouge le joystick droit de la manette . J'avais quelques servos MG-90 et un arduino nano qui trainaient dans un tiroir, c'est donc ce que j'ai utilisé .

La seule chose à laquelle j'ai du faire attention était de bien aligner le point de pivot du joystick avec l'axe des servos histoire de rendre la tache plus simple au niveau de la programmation du arduino .

L'étape suivante était d'écrire un programme pour le arduino qui permetterait de controller le joystick .
Une scène basique fut aussi créée pour permettre la calibration des mouvements .

Maintenant, il était temps de faire en sorte que le réseau de neurones puisse prendre le controle de la manette . La scene unity fut modifiée pour permettre au joystick droit d'etre controllé par celui de gauche .
Le joystick gauche est utilisé pour simuler les données de sorti du réseau de neurones, ceci permet de vérifier que la communication entre le PC et le arduino fonctionne correctement .

LE JEU .

Comme mentionné plus tot, j'ai donc recréé le jeu d'équilibrage de balle tout en y ajoutant un peu de difficulté . La première étant que la balle doit etre positionnée le plus près d'une cible se trouvant sur la platform . Le seconde étant que la balles est lancée d'une position et à une vitesse aléatoire en début de partie .

J'ai aussi éssayé de créer quelques magnifiques textures (je dis bien éssayer!)

L'APPRENTISSAGE .

Il était donc temps de commencer l'apprentissage .
Je vais pas rentrer en détail dans l'apprentissage par renforcement parce que c'est un sujet vaste et compliqué mais ici je vais expliquer très brièvement  ce qu'il va se passer durant cette étape .

1 - On va prendre notre IA, appelé agent . Il va observer l'état du jeu . Ici il va collecté la vitesse et position de la ball, la position de la cible et l'inclinaison de la platform .

2 - A partir de cette observation il va accomplir une action . Bouger le joystick .

3 - Suivant le résultat de cette action il va recevoir une punition (score negatif) si la balle est tombée, ou une récompense (score positif) si la balle est toujours sur la platform, plus la balle est proche de la cible plus la récompense est grande .

Le cycle va se répéter jusqu'à ce que l'IA apprend a prendre les décisions lui perméttant de gagner un score maximum .

Arrivé à ce point du projet je pensais que je n'aurai qu'à lancer l'entrainement et que par miracle j'obtienerai un robot en parfait état de marche quelques heures plus tard...J'avais tort .

Après la première session d'entrainement, l'IA avait en effet appris à jouer mais elle était très nerveuse .

J'ai donc relancé une nouvelle session, cette fois ci avec une récompense suplémentaire pour la souplesse .

Le résultat était un peu meilleur mais loin d'etre extraordinaire .

Un des gros facteur limitant en incluant la manette durant l'entrainement est que je ne pouvais entrainer qu'un seul agent à la fois et à vitesse réel .

J'ai donc opté pour une nouvelle stratégie, diviser l'apprentissage en deux . La première partie se fairait en excluant la manette, ceci me permettrai d'entrainer plusieurs agents a la fois et en accéléré . En deuxième partie je réintroduirai la manette à l'entrainement pour laisser le temps à l'IA 'd'apprendre' la manette .
Cette technique me permettrai de tester differents systemes de punitions/récompenses et aussi de tester différents paramètres liés au réseau de neurones lui meme comme le nombre de couches, nombre de neurones...etc . Ceci me permettrait d'économiser plusieurs heures .

La partie de l'entrainement completement virtuelle s'est très bien passé et m'a permit de trouver de bon paramètres . Maheureusement au moment de réintroduire la manette, il était clair que quelque chose ne fonctionnait pas correctement, la balle était constament jetée hors de la platform, la bonne nouvelle était que cela était fait de manière très souple sans aucune nervosité .
Je pense que l'érreur vient de mon code et pas de l'IA elle-meme mais je n'ai pas été capable de la trouver malgré le fait que je suis quasiment sure que c'est quelque chose d'extrement simple . A ce moment la, je savais que j'avais de bon parametres donc je pris la decision de recommencer l'entrainement avec la manette depuis le debut .

Après une dizaine d'heures d'entrainement, j'avais enfin un résultat avec lequel j'était satisfait!!!
 

Mon traffic vient surtout des sites exterieurs comme hackster.io .

J'avais jamais entendu parler de cette règle! Par contre ca ne m'etonne pas plus que ca, je travail dans le milieu du design et il a des choses qui déplaise au yeux/cerveau et il faut juste faire avec .

Comme tu le dis, je pense que le terme AI doit etre inclus dans le titre et que le mot game/gaming est assez vendeur . Je vais essayer de trouver un truc qui mixe un peu tt ca .

Peut etre que les gens qui se sont abonnés au moment ou tu fesais des chars se sont abonnés que pour ca, Je sais que sur Instagram j'ai des vagues de followers qui viennent et qui partent . J'avais eu beaucoup de gens qui m'avaient follower au moment ou j'ai fait la tourelle et quand j'ai commencé a faire autre chose certains sont partis et d'autres sont arrivés . Le plus important c'est de se faire plaisir ! 

Comme tu le dis c'est purement un exercice mais je trouve ca aussi assez interessant de voir que les techniques plus modernes ne sont pas forcement la solution a tout les problemes .

Le nombre d'abonnés monte tout doucement mais j'ai encore du chemin à parcourir pour te rattraper !

Je pense qu'on peut lui faire confiance avec la neurotoxine. Y a rien a craindre!

Le project de l'octo-bouncer est vraiment cool . Sur le site de la personne qui l'a crée et on peut voir qu'il a bien perfectionné sa technique sur plusieur projets . Les mouvements du mecanisme on l'air vraiment bien controllés .

La premiere version c'etait totalement du bricolage mais c'est dur de battre les Colson et le scotch niveau rapidité de montage! Je vais essayé de faire tourner ca sur le Nano . J'ai pas encore eu l'occasion de l'utiliser ducoup j'attend aussi de voir ce que ca donne niveau performance !

La prochaine étape pour ce projet est d'incorporer une caméra et d'éssayer de le faire jouer en regardant la télé . Pour ca je vais tenter d'entrainer un réseaux convolutif .
Niveau design je me suis bien amusé, . Il est basé sur un de mes personnage de jeu vidéo favori, GLaDOS du jeu portal . J'ai éssayé d'imaginer comment la première version du robot aurai pu voir le jour et à quoi il aurai pu ressembler . J'ai aussi créé un jeu qui consiste a essayé d'attraper un gateau histoire de rester sur le thème du jeu .

J'espere que le Jetson Nano va etre efficasse!


 

est il possible d'avoir les plan de la "pince" qui manipule le joystick pour pouvoir l'imprimer ?

Je pensais pas partager le projet au début parce que le code est vraiment degueux mais j'ai eu tellement de demande que j'ai fini par me motiver à mettre mon site à jour! pieces dispo ici : https://www.littlefr...-controller-arm

Je ne sais pas si tu as vu mais tu as eu droit a un jolie article sur le blog arduino :

https://blog.arduino...rduino-control/

J'ai envoyé un email . J'espere que l'article sera corrigé .

Je n'ai pas les chiens des voisins qui se baladent sur mon terrain.
Par contre, je les ai comptés, il y a 12 chats qui font leurs besoins chez moi.

Je pense que c'est un super projet.
L'idée, c'est d'utiliser un pulvérisateur qui sera en pression manuellement.
Il faudra simplement détecter le chat et lui envoyer un jet d'eau (ou H₂SO₄  ) au moyen d'un servo qui appuiera sur la gâchette de la poignée du pulvérisateur.
Bien entendu, tout cela sera filmé.
Succès garanti sur YouTube !

il te faudrait quelque chose comme ca :

Je n'ai pas de problème de chat ou je suis et j'ai aussi trop de projets a finir ! Mais le jour ou je serais motivé, le système pourrait etre adapté pour régler mon problème de pigeon qui s'amuse a faire des pancakes sur le toit de ma voiture presque tout les matins !   

Bien joué! Le résultat final est vraiment cool!

Je suis assez surpris de voir que les roues mecanum fonctionnent dans l'herbe .

Si c'est sur Facebook tu peux voir qui réagi à ce que tu poste . Il y a different type de reactions like, love, tristesse...