Avant de commencer
Connaissances de départ
- Python de base, tableaux et traitement d'images.
- Comprenez la différence entre une observation par capteur et la vérité terrain.
Équipement & environnement
Commencez avec des données existantes sous licence et une scène contrôlée. Capturez les personnes identifiables uniquement dans le cadre d’un processus de consentement et de gouvernance approprié.
Pas de délai de réalisation fixe : utilisez les portes de preuves ci-dessous pour décider quand avancer. Les liens vers les ressources ouvrent l'entrée du répertoire botstest ; consultez la documentation de son éditeur pour connaître la version et la configuration exactes.
Débutant
Définir les observations et les étiquettes
Connectez une question de perception à des annotations mesurables.
Comment fonctionne cette étape
Les étiquettes de perception représentent une interprétation des observations spécifique à une tâche. Définissez ce qui ne peut être observé avec autant de précision que ce qui est visible.
Travailler sur un exemple
Exercice d'étude illustratif · rédigé par botstest
Pour un exercice de pose d'objet connu, comparez une vue complète, une vue partielle et un cadre avec une profondeur invalide. Décidez quels cas peuvent prendre en charge l’étiquette prévue et lesquels nécessitent un état inconnu ou révisé.
- Définir l'observation et la quantité cible.
- Écrivez des règles d’ambiguïté et d’occlusion.
- Auditez un petit échantillon avec un autre annotateur.
Un objet inobservable n’est pas nécessairement un exemple négatif ; garder la visibilité séparée des étiquettes de catégorie.
Base de référence : Estimation de la pose géométrique. L'exemple et la procédure pas à pas sont des applications éditoriales de la source.
Apprenez dans cet ordre
- Définitions des tâches de détection, de pose et de géométrie
- Propriétés intrinsèques de la caméra, conventions de trame et horodatages
- Provenance de l'étiquette, ambiguïté et autorisations
Lisez, puis postulez
Russ Tedrake · MIT · Chapitre du cours
Estimation de la pose géométrique
Lire : Commencez par les caméras, les observations de profondeur, les retours manquants et les vues partielles avant les méthodes d'enregistrement.
Utilisez les hypothèses de détection pour identifier les cas inobservables avant d’étiqueter les données ou de faire confiance à une estimation géométrique.
Appliquez-le : Étiquetez les observations manquantes, masquées ou en dehors du modèle géométrique choisi.
Mettez-le en pratique
- Inspectez une petite image ou un échantillon de nuage de points et ses étiquettes.
- Écrivez des règles d'annotation pour les cas difficiles et inobservables.
Un dictionnaire de données, un guide d'annotation et un exemple d'audit.
Prêt pour la prochaine étape quand…
Ressources pour cette étape
Inspectez les nuages de points et les résultats du traitement géométrique avant de les utiliser dans un pipeline de perception.
Étudiez le traitement de l’image et les outils liés à la caméra à travers sa documentation de projet en amont.
Inspectez les observations d’objets manuels, les annotations et les hypothèses d’évaluation pour une étude de perception ciblée.
Intermédiaire
Construire une évaluation résistante aux fuites
Mesurez le comportement du modèle sur une distribution significativement maintenue.
Comment fonctionne cette étape
Les images d'une même session peuvent partager des dépendances cachées. Divisé selon l'affirmation de généralisation plutôt que par commodité.
Travailler sur un exemple
Exercice d'étude illustratif · rédigé par botstest
Si l'objectif est la performance des nouvelles sessions de capture, conservez des sessions entières ensemble. Vérifiez les images quasi-dupliquées et les objets répétés avant d'utiliser une répartition aléatoire qui peut distribuer des preuves presque identiques sur les partitions.
- Choisissez la variante retenue prévue.
- Créez un manifeste fractionné reproductible.
- Signaler les erreurs par scène et condition d’observation.
Des résultats d’évaluation étonnamment excellents devraient déclencher un audit de fuite avant une affirmation de modèle plus solide.
Base de référence : Validation croisée : évaluation des performances de l'estimateur. L'exemple et la procédure pas à pas sont des applications éditoriales de la source.
Apprenez dans cet ordre
- Divisions de scène, d'objet et de session
- Qualité de l'étalonnage et alignement du capteur
- Définitions d'erreurs de précision/rappel ou adaptées à la tâche
Lisez, puis postulez
scikit-learn developers · Guide pratique
Validation croisée : évaluation des performances de l'estimateur
Lire : Lisez la discussion d'évaluation retenue et la stratégie de répartition adaptée à vos dépendances de données.
Utilisez des divisions tenant compte des dépendances pour protéger les preuves retenues contre les décisions de formation et de réglage.
Appliquez-le : Créez des divisions au niveau de la session de capture ou de l'objet et inspectez un échantillon délibérément presque dupliqué.
Mettez-le en pratique
- Divisé par session de capture ou par objet là où la tâche l'exige.
- Comparez une ligne de base simple sur des observations normales, occluses et décalées.
Un bloc-notes de répartition d'ensemble de données versionné et d'évaluation de base.
Prêt pour la prochaine étape quand…
Ressources pour cette étape
Inspectez un ensemble de données de manipulation et ses conditions de collecte avant de concevoir des divisions de formation et d’évaluation.
Étudiez un flux de travail de collecte de données de manipulation et ses hypothèses de mise en œuvre et d'environnement.
Explorez la détection des repères et posez des observations avec une géométrie de marqueur connue et un étalonnage de la caméra.
Professionnel
Publier un ensemble de données avec une portée honnête
Rendre les données réutilisables et leurs limites visibles.
Comment fonctionne cette étape
Un ensemble de données réutilisables explique comment les observations brutes sont devenues des échantillons diffusés. Préservez la provenance, les conventions et les limites des données.
Travailler sur un exemple
Exercice d'étude illustratif · rédigé par botstest
Sélectionnez un épisode ou une image publié et reconstruisez sa session de capture, son calibrage, son traitement et sa décision d'étiquetage. Demandez à un collègue de reproduire l’évaluation en utilisant uniquement les métadonnées publiées.
- Rédigez un dictionnaire de données et une note sur les autorisations.
- Décisions de traitement des versions et d’annotation.
- Publier l'évaluateur et les limites de distribution.
Un dossier d'ensemble de données avec des transformations sans nom et des étiquettes non documentées ne peut pas prendre en charge une réutilisation fiable.
Base de référence : LeRobotDataset v3.0. L'exemple et la procédure pas à pas sont des applications éditoriales de la source.
Apprenez dans cet ordre
- Documentation des ensembles de données et droits d'utilisation
- Rapports de distribution de capteurs et de scènes
- Confiance du modèle, dérive et conséquences en aval
Lisez, puis postulez
Hugging Face · LeRobot · Documentation de référence
LeRobotDataset v3.0
Lire : Inspectez la structure de l'ensemble de données et les métadonnées avant de modifier ou de combiner des épisodes.
Utilisez la structure des données pour rendre les épisodes, les observations, les actions et la provenance du traitement inspectables.
Appliquez-le : Publiez l'organisation, les versions et la provenance des données afin qu'un autre chercheur puisse reconstruire un épisode.
Mettez-le en pratique
- Préparez une carte de données avec les détails de la collecte, du traitement et du fractionnement.
- Demandez à un deuxième chercheur de reproduire l’évaluation à partir des métadonnées publiées.
Une fiche d'ensemble de données, un évaluateur reproductible et un rapport sur les limites.
Prêt pour la prochaine étape quand…
Ressources pour cette étape
Examinez les données de démonstration multi-modes de réalisation, les métadonnées, les licences et les conventions d'action.
Explorez les actifs d'objets avec des vérifications de provenance et de licence avant de les inclure dans la simulation.
Visualisez les observations spatiales et comparez-les avec les résultats du modèle et de la trajectoire.
Pièges courants
- Diviser aléatoirement les images vidéo adjacentes et appeler le résultat en généralisation.
- Utiliser des données rendues ou vidéo humaines comme s'il s'agissait d'une vérité terrain sur l'action d'un robot.
Où aller ensuite
S'étendre à la manipulation ou à l'inspection industrielle avec le même contrat de données et d'évaluation.
Explorer d'autres recherche chemins →