Aller au contenu


yougo

Inscrit(e) (le) 28 juil. 2016
Déconnecté Dernière activité nov. 06 2019 10:51
-----

Messages que j'ai postés

Dans le sujet : WALK-E, Crowdfunding sur Ulule, Soutenez nous !!!

15 octobre 2019 - 09:03

Bonjour bonjour;

 

Avant de commencer j'aimerais excuser cette absence et ce manque de communication tout en vous prévenant que cela risque de rester comme cela pendant un petit moment encore. Les raisons sont purement personnelles et je ne veux pas les détailler pour le moment. En plus de ça j'ai la chance d'être maintenant en école d'ingénieurs en robotique et j'aimerais ne pas ratter mon diplôme, comprenez que cela rajoute un poids en plus dans la balance et enlève du temps pour travailler sur le projet.

Voilà,ceci dit, le projet est loin d'etre au point mort,donc permetez moi de vous informer sur l'avancement global ! :)

Niveau hardware, il y a eu peu d'avancées, une V2 a été designée mais pas encore n'imprime ni testée hors des simulations... Oui, maintenant il y a des simulations, beaucoup de simulations.

 

En fait c'est bel et bien au niveau software que tout avance depuis 1 an et surtout ces derniers mois. Après avoir fini de construire un environement de simulation de walk-e pour faire interface avec ROS-Gazebo et OpenAI gym, j'ai enfin pu lancer les premiers entrainements de réseaux de neurones pour le robot.

OpenAI gym est un formidable outil utilisé pour faciliter la comparaison et l'utilisation de différents algorithmes de re-enforcement sur un même environement. Je m'en suis donc servi pour comparer plusieurs algorithmes, Q-learning, Deep-Q-learning, Deep Deterministic Policy gradient.

Tous ces algorithmes fonctionnent sur une base commune, si le robot fait une action que l'on juge "bonne" il est récompensé par son action, et un (ou plusieurs) réseaux de neurones (ou tables, pour le Q learning), apprennent les actions qui font gagner des récompenses au robot et optimisent ces actions pour qu'il en gagne un maximum.Votre façon de juger si votre robot fait des bonnes actions est donc cruciale et va déterminer tout ce qu'il va apprendre.

 

Ex de mauvais jugement: J'avais fait une fonction très basique comme : si le robot avance de x mètres, le récompenser de x*10

résultats, le robot faisait un grand saut en avant pour arriver le plus loin possible... :blink:

En bref, l'AI que vous êtes en train d'éduquer va essayer toutes les solutions pour gagner des points, et si elle est récompensée alors qu'elle ne le devrait pas, elle va essayer d'optimiser une solution qui ne serait pas la solution optimale et vous perdrez simplement votre temps. Pour pallier à ça vous pouvez:

Designer une fonction de jugement la plus parfaite possible.

Ajouter une part d'aléatoire, le plus utilise étant le processus d'Ornstein-Uhlenbeck.

Choisir son algorithme est tout aussi important :

le premier n'était pas du tout concluant et je le déconseille fortement si votre probleme est relativement complexe, les tables de Q learning ne permettent pas de stocker assez d'information pour apprendre à marcher par exemple. Cependant il est simple et formateur et est une porte d'entree pour apprendre le reinforcement learning.

 

Le DQN a permis au robot de faire ses premiers pas", c'est aussi là qu'il a appris à se jeter le plus loin possible la tete la première. Je ne me suis pas beaucoup attardé sur le DQN et je suis passé sur le DDPG pour plusieurs raisons :

le DDPG a un énorme avantage sur le DQN, il permet au robot de deviner la valeur de tous les angles à chaque moment, là ou le DQN ne peut qu'incrémenter/décrémenter un seul angle et attendre le moment t+1 pour réajuster un autre angle. De façon plus mathématique Le DQN permet de prendre des décisions discrètes alors que le DDPG permet de prendre des décisions continues.

 

Si vous êtes curieux tous ces algorithmes sont passionnants et je conseille de vous renseigner là-dessus. Commencez par les tables de Q learning puis le DQN puis le DDPG, car ils sont tous plus ou moins une amélioration du précédent.

 

Je suis donc en train d'expérimenter avec cet algorithme, le fameux DDPG, en fait j'ai fini de l'implémenter, je m'assure que les paramètres que le réseau de neurones ne peut pas modifier par lui-même (hyperparametres), comme le nombre de couches dans le réseau, le nombre de neurones et l'intensité du processus de randomisation des actions soient optimales pour que le robot puisse apprendre comme il faut. En fait je suis en train d'automatiser ce processus pour pouvoir suivre mes cours plutôt que de passer mes soirées à essayer de deviner un set de nombres en espérant tomber sur la parfaite combinaison :unsure: .

 

Pour résumer grossièrement, on en est au stade ou le robot passe des journées à essayer d'apprendre à marcher dans une simulation, pour l'instant le record est de 3 pas avant de s'effondrer au sol.

.

Ceux qui nous suivent sur twitter ont déjà pu voit les premiers entrainements du robot en simulation. J'aimerais faire une vidéo (travaillée cette fois) pour présenter tout ça quand le robot marchera d'une façon moins aléatoire dans les simulations (bientot esperons ).

 

Merci encore a tous ceux qui soutiennent le projet et encore désolé du manque d'info, je peux vous assurer que je donne tout ce que j'ai pour ce projet. :heart:


Dans le sujet : Walk-e sondage

02 décembre 2018 - 01:06

Fichier joint  23.10.2018 Quest_RobotMaker (Responses).zip   14,94 Ko   42 téléchargement(s)

 

 

Fichier joint  Capture1.PNG   13,43 Ko   26 téléchargement(s)

 

Fichier joint  Capture2.PNG   21,62 Ko   24 téléchargement(s)

 

Fichier joint  Capture3.PNG   17,08 Ko   24 téléchargement(s)

 

Fichier joint  Capture4.PNG   21,8 Ko   24 téléchargement(s)

 

Fichier joint  Capture5.PNG   26,54 Ko   25 téléchargement(s)

 

Fichier joint  Capture7.PNG   35,65 Ko   23 téléchargement(s)

 

Fichier joint  Capture8.PNG   19,58 Ko   24 téléchargement(s)

 

Fichier joint  Capture9.PNG   50,3 Ko   24 téléchargement(s)

 

Fichier joint  Capture10.PNG   21,98 Ko   25 téléchargement(s)

 

Fichier joint  Capture11.PNG   27,14 Ko   23 téléchargement(s)

 

Fichier joint  Capture12.PNG   20,68 Ko   23 téléchargement(s)

 

Fichier joint  Capture13.PNG   31,66 Ko   25 téléchargement(s)

 

Fichier joint  Capture14.PNG   20,29 Ko   23 téléchargement(s)

 

Fichier joint  Capture15.PNG   42,24 Ko   22 téléchargement(s)

 

 

 

 


Dans le sujet : WALK-E, Crowdfunding sur Ulule, Soutenez nous !!!

07 novembre 2018 - 08:08

Salut, Merci!

 

Le crowdfunding est terminé, maintenant on fait tout pour que ca marche !


Dans le sujet : WALK-E, Crowdfunding sur Ulule, Soutenez nous !!!

31 octobre 2018 - 04:04

Salut, 

Pour tous ceux qui n'auraient pas vu mais qui suivent ce sujet, il y a un questionnaire pour aider le projet juste ici : 

 

Le lien du sondage : 

https://goo.gl/sD4kDB 

 

Le post est ici si vous voulez en savoir plus :

https://www.robot-ma...walk-e-sondage/

 

 

Pour l'instant il y a juste 4 réponses, c'est un peu tristounet... Donc si vous avez un peu de temps n’hésitez pas a faire un tour dessus. 

Merci d'avance !


Dans le sujet : Walk-e sondage

29 octobre 2018 - 10:27

Forthman

 

SI tu as bien répondu, pas de soucis c'est exactement le principe, c'est le prix que tu te vois y mettre en fonction de l'utilité que tu y vois. 

 

Oracid

 

1-Tu peux mettre: production, qutidien , ect.. sur la meme ligne

 

2-J'ai ajouté une réponse du coup effectivement c'est con , merci !