Avant de commencer
Connaissances de départ
- Confort avec Python, les tableaux de données et les concepts d'apprentissage supervisé.
- Comprendre la procédure d'étalonnage du robot et de la caméra.
Équipement & environnement
Utilisez d’abord un ensemble de données ou un simulateur hors ligne. Les démonstrations matérielles nécessitent un espace d'enregistrement supervisé et une procédure de réinitialisation documentée.
Pas de délai de réalisation fixe : utilisez les portes de preuves ci-dessous pour décider quand avancer. Les liens vers les ressources ouvrent l'entrée du répertoire botstest ; consultez la documentation de son éditeur pour connaître la version et la configuration exactes.
Débutant
Inspecter les données avant l'entraînement
Comprendre comment les observations, les actions et les épisodes sont représentés.
Comment fonctionne cette étape
Une démonstration est une preuve synchronisée de l’observation et de l’action, et pas seulement une vidéo d’une tâche réussie. Inspectez sa représentation avant de collecter d’autres épisodes.
Travailler sur un exemple
Exercice d'étude illustratif · rédigé par botstest
Inspectez un axe dans un épisode enregistré : la position actuelle est de 0,4 radians et l'action stockée est de 0,1. Si l'action est un objectif absolu, l'objectif est de 0,1 ; s'il s'agit d'un delta, l'objectif est de 0,5. Le même tableau décrit donc un comportement différent. Résolvez la convention à partir des métadonnées de la collection et du contrôleur avant d’utiliser l’exemple.
- Inspectez les métadonnées et les limites des épisodes.
- Visualisez les observations avec des traces d’état/d’action.
- Documentez les échantillons manquants, périmés ou corrompus.
Une vidéo fluide peut masquer une erreur de timing d’action ; inspectez l’état et les horodatages associés.
Base de référence : LeRobotDataset v3.0. L'exemple et la procédure pas à pas sont des applications éditoriales de la source.
Apprenez dans cet ordre
- Limites des épisodes, horodatages et unités
- Représentation et incarnation de l'action
- Provenance de l'ensemble de données et utilisation autorisée
Lisez, puis postulez
Hugging Face · LeRobot · Documentation de référence
LeRobotDataset v3.0
Lire : Inspectez la structure de l'ensemble de données et les métadonnées avant de modifier ou de combiner des épisodes.
Utilisez la structure des données pour rendre les épisodes, les observations, les actions et la provenance du traitement inspectables.
Appliquez-le : Auditez un épisode à partir des observations de la caméra via les métadonnées d'action/état et l'alignement temporel.
Mettez-le en pratique
- Chargez un petit ensemble de données de démonstration et inspectez les cadres et les actions.
- Rédigez une note de schéma et identifiez les observations manquantes ou mal alignées.
Un cahier d’inspection de l’ensemble de données et une note de schéma/autorisation.
Prêt pour la prochaine étape quand…
Ressources pour cette étape
Suivez les workflows d’enregistrement des données du robot, d’ensembles de données, de politiques et d’évaluation pour le matériel et les logiciels pris en charge.
Inspectez un ensemble de données de manipulation et ses conditions de collecte avant de concevoir des divisions de formation et d’évaluation.
Examinez les données de démonstration multi-modes de réalisation, les métadonnées, les licences et les conventions d'action.
Intermédiaire
Enregistrer et entraîner une tâche délimitée
Créez une boucle de collecte à formation fiable pour une seule tâche.
Comment fonctionne cette étape
La collecte, la formation et l’évaluation doivent utiliser des conventions de robots et de données compatibles. Une petite boucle propre expose les problèmes plus tôt qu’un grand ensemble de données non contrôlé.
Travailler sur un exemple
Exercice d'étude illustratif · rédigé par botstest
Utilisez une tâche de table avec des réinitialisations cohérentes. Conservez l'identité du robot et l'enregistrement d'étalonnage avec l'ensemble de données, formez une base de référence et évaluez-la sur des démarrages pré-déclarés sous supervision.
- Vérifiez d’abord l’étalonnage et les observations de la caméra.
- Enregistrez et inspectez un petit ensemble de données avant la mise à l’échelle.
- Enregistrez les configurations de formation et d’évaluation avec le point de contrôle.
Lorsque le comportement rejoué change après la reconnexion, inspectez l’identité de l’étalonnage et les conventions d’action avant de procéder à un nouvel entraînement.
Base de référence : Apprentissage par imitation sur des robots du monde réel. L'exemple et la procédure pas à pas sont des applications éditoriales de la source.
Apprenez dans cet ordre
- Étalonnage de la téléopération et cohérence des opérateurs
- Épisodes retenus et fuite d’objets
- Configuration de la formation de base et sélection du point de contrôle
Lisez, puis postulez
Hugging Face · LeRobot · Tutoriel technique
Apprentissage par imitation sur des robots du monde réel
Lire : Suivre la configuration et l'enregistrement avant la formation et l'évaluation ; inspectez d’abord les prérequis spécifiques au robot.
Utilisez la séquence de bout en bout pour que l’étalonnage, l’enregistrement, la formation et l’évaluation du robot restent connectés.
Appliquez-le : Maintenir la cohérence de l’identité et de l’étalonnage du robot tout au long de l’enregistrement et de l’évaluation ; enregistrer les choix de téléchargement des ensembles de données.
Mettez-le en pratique
- Collectez ou organisez un petit ensemble de données à tâches fixes et formez une référence prise en charge.
- Comparez deux conditions de qualité des données en utilisant la même configuration d'évaluation.
Un sous-ensemble de données versionné, un point de contrôle de base et une comparaison de qualité.
Prêt pour la prochaine étape quand…
Ressources pour cette étape
Explorez un petit bras de téléopération ; confirmer l'assemblage, l'étalonnage et la prise en charge exacte de la révision du matériel.
Suivez les workflows d’enregistrement des données du robot, d’ensembles de données, de politiques et d’évaluation pour le matériel et les logiciels pris en charge.
Étudiez les workflows d’apprentissage-démonstration hors ligne et les comparaisons de politiques contrôlées.
Professionnel
Évaluer la généralisation et libérer le flux de travail
Indiquez où la politique apprise fonctionne et où elle nécessite une intervention.
Comment fonctionne cette étape
La généralisation est une limite testée, et non une propriété établie par quelques déploiements attrayants. Des changements de conception qui examinent une hypothèse à la fois.
Travailler sur un exemple
Exercice d'étude illustratif · rédigé par botstest
Utilisez une feuille de travail proposée en dix essais : huit essais se terminent de manière autonome, un se termine après une correction humaine et un temps mort. L'achèvement autonome est de huit sur dix ; le résultat assisté est enregistré séparément. Répétez cette opération en tenant compte d'un objet ou d'une scène modifiée plutôt que de fusionner des essais de base plus faciles avec des conditions modifiées.
- Déclarez les conditions d’évaluation avant le réglage.
- Enregistrez séparément l’achèvement autonome et les corrections humaines.
- Traitement des versions, modèle et provenance de l'évaluation ensemble.
Ne fusionnez pas les essais corrigés par l’homme en succès autonomes ; signaler quelle aide a changé le résultat.
Base de référence : Reproduire les expériences et les résultats publiés. L'exemple et la procédure pas à pas sont des applications éditoriales de la source.
Apprenez dans cet ordre
- Objets, scènes et états de départ décalés
- Comptabilité des interventions et recouvrement
- Limitations entre modes de réalisation et transfert de matériel
Lisez, puis postulez
robomimic core team · Tutoriel technique
Reproduire les expériences et les résultats publiés
Lire : Suivez les didacticiels de formation et de résultats liés avant de tenter une reproduction publiée.
Utilisez les conditions préalables à la reproduction pour distinguer une expérience comparable d’une démonstration vaguement similaire.
Appliquez-le : Publiez les instructions exactes de traitement, de configuration et d’évaluation des ensembles de données utilisées pour chaque point de contrôle.
Mettez-le en pratique
- Exécutez une matrice d’évaluation prédéfinie avec des réinitialisations répétables.
- Libérez les instructions de collecte, de traitement et d’évaluation avec un rapport d’échec honnête.
Un rapport complet de démonstration à évaluation et des artefacts reproductibles.
Prêt pour la prochaine étape quand…
Ressources pour cette étape
Étudiez le modèle de recherche bimanuel original. Le matériel commercial ALOHA existant est en fin de vie ; vérifier les pièces et les alternatives actuelles.
Examinez la collection de démonstration portable et comment son étalonnage et sa représentation d'action sont transférés à un robot cible.
Étudiez un flux de travail de collecte de données de manipulation et ses hypothèses de mise en œuvre et d'environnement.
Pièges courants
- En supposant que davantage de démonstrations corrigent une convention d'horodatage rompue.
- Mélanger des scènes d’évaluation dans une formation sans divulgation.
Où aller ensuite
Procédez à la comparaison VLA uniquement lorsque la politique plus simple et la qualité de base des données sont comprises.
Explorer d'autres recherche chemins →