Et bien déjà chacun en vous lisant à ça façon de voir les choses, certes très intéressant mais il est facile de se noyer avec ces informations, car dans quelle direction allez.
Ce qui serait intéressant c'est de montrer des exemples, quelque chose de concret similaire tout simplement à un échange de données entre PI et ESP (ou Arduino). (et sans utiliser Python, Path tu sors --> lol)
En vous lisant j'ai pu constater trois façons de faire, montrez moi concrètement en vous rappelant bien que je suis un amateur.
1 - Sandro : qui est d'ajouter au début de chaque paquet un octet constant (par exemple 42 ou autre), et à la fin du paquet une checksum (par exemple le xor de tous les octets du paquet), histoire que l'information arrive bien, le hic ça ne résoudra peut être pas ma latence, mais j'aime beaucoup l'idée de vérification.
2 - Thot : Que la Raspberry envoie un signal à l'ESP pour une demande de lecture. L'ESP renvoie ses données du moment.
Si j'ai bien compris, la PI interroge l'ESP pour une demande de lecture et si une nouvelle information est disponible l'ESP renvoie les données en cours...pourquoi pas, c'est une idée.
3 - Mike : en fait j'ai suivi les conseils de Mike que je ne remercierai jamais assez (ainsi que tous les membres qui participe de loin comme de prés), et j'ai appris aussi à associer une structure avec une union faisant office de buffer pour tout envoyer en un seul paquet toutes les informations voulu, si je ne dis pas de bêtise via la lib RS232, pourtant je trouve que ça fonctionne bien, juste cette latence, et donc je ne remet aucunement en cause la lib, ni même vos conseils, c'est juste moi qui patauge sans réussir à trouver du coup.
Et surtout sans trouver la bonne façon de faire.
Je reste tout de même super content car j'ai énormément progressé grâce aux membres du forum, j'y vais étape par étape etc etc, je sais que le projet peut sembler énorme mais c'est la seule façon pour moi d'apprendre, me donner de gros challenge, ceci dis (et là je rie tout seul lol) je ne cherche aucunement créer le super humanoïde de la mort qui tue, mais juste me faire plaisir avec ce p'tit robot, sinon j'aurai économisé pour acheter un NAO mais il aurait vite fini au placard
(me connaissant), car je n'aurais pas réussi à exploiter comme il faut NAO.
@Mike :
C'est exactement ce que je fais, j'essaye toujours de faire comme tu me l'a toujours dis, étape par étape 
1 déjà fais avec tous les capteurs, écran ou autre led's.
2 c'est fais tout fonctionnent ensemble sur l'esp.
3 c'est là qu'il me faudrait quelque chose de concret, pour l'instant j'ai avancé avec l'aide que vous m'avez apporté sur l'utilisation de la lib RS232 je trouve que je m'en suis pas trop mal sorti pour un noob (sans prétention) grâce à vos conseils...je bloque surtout sur cette latence avec l'échange entre la Pi et l'ESP, car l'info en elle même lorsqu'elle apparaît sur l'écran oled brancher sur l'ESP je n'ai pas de latence, du moins c'est plutôt rapide.
Mais pour le test du timestamp je ne sais pas faire.
J'ai déjà fais plusieurs tests pour avoir un bon "échange" entre les deux cartes, ça me semblait pas mal...mais par la suite dans le temps et oui j'ai cette latence flagrante avec le VL par contre ce n'est pas flagrant sur l'IMU, le truc c'est qu'il faut respecter se temps entres les deux cartes de 100ms, donc si je place 90ms d'un coté et que de l'autre j'ai 100ms sans avoir testé, c'est clair que ça va merdouiller, je vous invites à lire les exemples ou à voir la lib si vous avez le temps.
Tout est déjà "fusionné", je ne sais pas si c'est bien ce que j'ai fais, mais bon, j'essaye aussi de me débrouiller tout seul pour éviter de poser une question tout les 4 matin en sachant qu'il faut juste réfléchir par moment un p'tit peu pour avoir la réponse, alors quitte à passer plusieurs jours pour une broutille la plus part je trouve la solution, même si ce n'est peut être pas la meilleur 
Le seul truc que je test pour l'instant c'est via cet échange, je joue juste avec le capteur de distance je met la main devant et j’enlève, et c'est comme ça qu'au bout d'un moment je peux observer cette latence, alors jouer avec la tête et les servos j'y suis pas encore, tant que pour moi je n'aurai pas un échange comme il se doit 
Après si vous voulez que je vous balances tout le code (zippé) pas de soucis, mais je pense que vous allez saigner des yeux en essayent de comprend le pourquoi du comment, ceci dis ce n'est pas non plus un code difficile à comprendre 
Mais avant d'en arriver là, je pense qu'il doit y avoir une solution pour cet échange...
Merci ^^