Prima di iniziare
Conoscenza iniziale
- Comodità con Python, array di dati e concetti di apprendimento supervisionato.
- Comprendere la procedura di calibrazione del robot e della telecamera.
Attrezzatura & ambiente
Utilizza prima un set di dati o un simulatore offline. Le dimostrazioni hardware necessitano di uno spazio di registrazione supervisionato e di una procedura di ripristino documentata.
Nessun tempo di completamento fisso: usa i cancelli delle prove qui sotto per decidere quando avanzare. I collegamenti alle risorse aprono la voce della directory botstest; controlla la documentazione dell'editore per la versione e la configurazione esatte.
Principiante
Esaminare i dati prima dell'allenamento
Comprendere come vengono rappresentate osservazioni, azioni ed episodi.
Come funziona questa fase
Una dimostrazione è una prova sincronizzata sull'osservazione e sull'azione, non solo un video di un'attività riuscita. Ispeziona la sua rappresentazione prima di raccogliere più episodi.
Lavora attraverso un esempio
Esercizio di studio illustrativo · scritto da botstest
Ispeziona un asse in un episodio registrato: la posizione corrente è 0,4 radianti e l'azione memorizzata è 0,1. Se l'azione è un obiettivo assoluto, l'obiettivo è 0,1; se è un delta, l'obiettivo è 0,5. Lo stesso array descrive quindi un comportamento diverso. Risolvere la convenzione dalla raccolta e dai metadati del controller prima di utilizzare l'esempio.
- Ispeziona i metadati e i confini degli episodi.
- Visualizza le osservazioni con tracce di stato/azione.
- Documento campioni mancanti, obsoleti o danneggiati.
Un video fluido può nascondere un errore di timing dell'azione; ispezionare lo stato e i timestamp associati.
Base di riferimento: LeRobotDataset v3.0. L'esempio e la procedura dettagliata sono applicazioni editoriali della fonte.
Impara in questo ordine
- Confini degli episodi, timestamp e unità
- Rappresentazione e incarnazione dell'azione
- Provenienza del set di dati e uso consentito
Leggi, quindi applica
Hugging Face · LeRobot · Documentazione di riferimento
LeRobotDataset v3.0
Leggi: Ispeziona la struttura del set di dati e i metadati prima di modificare o combinare episodi.
Utilizzare la struttura dati per rendere ispezionabili episodi, osservazioni, azioni e provenienza delle elaborazioni.
Applicalo: Controlla un episodio dalle osservazioni della telecamera attraverso i metadati di azione/stato e l'allineamento temporale.
Mettilo in pratica
- Carica un piccolo set di dati dimostrativi ed esamina frame e azioni.
- Scrivere una nota sullo schema e identificare le osservazioni mancanti o disallineate.
Un quaderno di ispezione del set di dati e una nota di schema/autorizzazione.
Pronti per il passo successivo quando...
Risorse per questa fase
Segui i flussi di lavoro di registrazione dei dati del robot, set di dati, policy e valutazione per l'hardware e il software supportati.
Ispezionare un set di dati di manipolazione e le relative condizioni di raccolta prima di progettare le suddivisioni di addestramento e valutazione.
Esaminare i dati dimostrativi delle multi-incarnazioni, i metadati, le licenze e le convenzioni di azione.
Intermedio
Registra e addestra un'attività delimitata
Costruisci un ciclo affidabile dalla raccolta alla formazione per un'attività.
Come funziona questa fase
La raccolta, la formazione e la valutazione devono utilizzare convenzioni robot e dati compatibili. Un piccolo ciclo pulito espone i problemi prima di un grande set di dati non controllato.
Lavora attraverso un esempio
Esercizio di studio illustrativo · scritto da botstest
Utilizza un'attività da tavolo con ripristini coerenti. Conserva l'identità del robot e il record di calibrazione con il set di dati, addestra una linea di base e valutala su avvii ritardati predichiarati sotto supervisione.
- Verificare innanzitutto la calibrazione e le osservazioni della fotocamera.
- Registra e ispeziona un piccolo set di dati prima di ridimensionarlo.
- Salva le configurazioni di formazione e valutazione con il checkpoint.
Quando il comportamento riprodotto cambia dopo la riconnessione, ispezionare l'identità di calibrazione e le convenzioni di azione prima di ripetere l'addestramento.
Base di riferimento: Apprendimento per imitazione sui robot del mondo reale. L'esempio e la procedura dettagliata sono applicazioni editoriali della fonte.
Impara in questo ordine
- Calibrazione della teleoperazione e coerenza dell'operatore
- Episodi trattenuti e fuga di oggetti
- Configurazione dell'addestramento di base e selezione del checkpoint
Leggi, quindi applica
Hugging Face · LeRobot · Tutorial tecnico
Apprendimento per imitazione sui robot del mondo reale
Leggi: Seguire la configurazione e la registrazione prima della formazione e della valutazione; controllare prima i prerequisiti specifici del robot.
Utilizza la sequenza end-to-end per mantenere connesse la calibrazione, la registrazione, la formazione e la valutazione del robot.
Applicalo: Mantenere l'identità e la calibrazione del robot coerenti durante la registrazione e la valutazione; registrare le scelte di caricamento del set di dati.
Mettilo in pratica
- Raccogli o cura un piccolo set di dati con attività fisse e addestra una linea di base supportata.
- Confronta due condizioni di qualità dei dati utilizzando la stessa configurazione di valutazione.
Un sottoinsieme di set di dati con versione, punto di controllo della linea di base e confronto della qualità.
Pronti per il passo successivo quando...
Risorse per questa fase
Esplora un piccolo braccio di teleoperazione; confermare l'assemblaggio, la calibrazione e il supporto esatto della revisione dell'hardware.
Segui i flussi di lavoro di registrazione dei dati del robot, set di dati, policy e valutazione per l'hardware e il software supportati.
Studia i flussi di lavoro di apprendimento dimostrativo offline e i confronti controllati delle politiche.
Professionale
Valutare la generalizzazione e rilasciare il flusso di lavoro
Indicare dove la politica appresa funziona e dove necessita di intervento.
Come funziona questa fase
La generalizzazione è un confine testato, non una proprietà stabilita da poche implementazioni interessanti. Modifiche di progettazione che sondano un presupposto alla volta.
Lavora attraverso un esempio
Esercizio di studio illustrativo · scritto da botstest
Utilizzare un foglio di lavoro proposto con dieci prove: otto prove terminano autonomamente, una termina dopo una correzione umana e una termina in timeout. Il completamento autonomo è otto su dieci; il risultato assistito viene registrato separatamente. Ripetere l'operazione tenendo conto di un oggetto o di una scena modificati anziché unire prove di base più semplici con condizioni modificate.
- Dichiarare le condizioni di valutazione prima della messa a punto.
- Registra separatamente il completamento autonomo e le correzioni umane.
- Elaborazione del rilascio, provenienza del modello e della valutazione insieme.
Non unire le prove corrette dall’uomo in successi autonomi; segnalare quale assistenza ha modificato il risultato.
Base di riferimento: Riproduzione di esperimenti e risultati pubblicati. L'esempio e la procedura dettagliata sono applicazioni editoriali della fonte.
Impara in questo ordine
- Oggetti spostati, scene e stati iniziali
- Contabilità e recupero degli interventi
- Limitazioni all'incarnazione incrociata e al trasferimento hardware
Leggi, quindi applica
robomimic core team · Tutorial tecnico
Riproduzione di esperimenti e risultati pubblicati
Leggi: Completare i tutorial di formazione e risultati collegati prima di tentare una riproduzione pubblicata.
Utilizzare i prerequisiti di riproduzione per distinguere un esperimento comparabile da una dimostrazione vagamente simile.
Applicalo: Rilasciare le istruzioni esatte per l'elaborazione, la configurazione e la valutazione del set di dati utilizzate per ciascun checkpoint.
Mettilo in pratica
- Esegui una matrice di valutazione predichiarata con ripristini ripetibili.
- Rilasciare istruzioni per la raccolta, l'elaborazione e la valutazione con un rapporto onesto sui guasti.
Un rapporto completo dalla dimostrazione alla valutazione e artefatti riproducibili.
Pronti per il passo successivo quando...
Risorse per questa fase
Studiare il progetto di ricerca bimanuale originale. L'hardware ALOHA commerciale legacy è al termine del suo ciclo di vita; verificare le parti e le alternative attuali.
Esamina la raccolta dimostrativa portatile e il modo in cui la calibrazione e la rappresentazione dell'azione vengono trasferite a un robot target.
Studiare un flusso di lavoro di raccolta dati di manipolazione e le sue ipotesi di realizzazione e ambiente.
Insidie comuni
- Supponendo che più dimostrazioni risolvano una convenzione di timestamp interrotta.
- Mescolare scene di valutazione nella formazione senza divulgazione.
Dove andare dopo
Procedere al confronto VLA solo quando si comprendono la politica più semplice e la base di riferimento per la qualità dei dati.
Esplora altro ricerca percorsi →