Prima di iniziare
Conoscenza iniziale
- Comprendere l'apprendimento supervisionato e una pipeline di base di apprendimento per imitazione.
- Essere in grado di ispezionare le suddivisioni dei set di dati e le convenzioni sulle azioni dei robot.
Attrezzatura & ambiente
Iniziare con la documentazione del modello pubblicata e la valutazione offline o di simulazione; evitare l'esecuzione incontrollata dell'hardware.
Nessun tempo di completamento fisso: usa i cancelli delle prove qui sotto per decidere quando avanzare. I collegamenti alle risorse aprono la voce della directory botstest; controlla la documentazione dell'editore per la versione e la configurazione esatte.
Principiante
Mappare le ipotesi del modello all'attività
Decidi se l'output di un modello può essere valutato in modo significativo nella tua configurazione.
Come funziona questa fase
Un modello VLA produce azioni in base a particolari presupposti visivi, linguistici e di incarnazione. La compatibilità deve essere stabilita prima di confrontare le prestazioni.
Lavora attraverso un esempio
Esercizio di studio illustrativo · scritto da botstest
Per un'attività di manipolazione, crea una tabella di input di immagini, formato delle istruzioni, dimensioni dell'azione, unità e interfaccia del robot. Contrassegnare qualsiasi campo che la documentazione del modello disponibile non risolve.
- Ispezionare il modello e la documentazione dei dati.
- Traccia un'osservazione attraverso la preelaborazione.
- Controlla cosa significa un'azione di output per il robot target.
Una risposta linguistica plausibile non dice nulla sul fatto che la rappresentazione dell'azione corrisponda al tuo controllore.
Base di riferimento: OpenVLA: un modello visione-linguaggio-azione open source. L'esempio e la procedura dettagliata sono applicazioni editoriali della fonte.
Impara in questo ordine
- Preelaborazione delle immagini, input linguistici e formati di azione
- Distribuzioni della formazione e copertura dell'incarnazione
- Pesi dei modelli, licenze e requisiti di calcolo
Leggi, quindi applica
OpenVLA authors · Documento di ricerca
OpenVLA: un modello visione-linguaggio-azione open source
Leggi: Leggi la descrizione del modello e dei dati, quindi segui la carta/codice per la valutazione che intendi riprodurre.
Utilizza il modello e la descrizione dell'incarnazione per decidere quali ipotesi di valutazione la tua configurazione può effettivamente supportare.
Applicalo: Mappare gli input, gli output e le ipotesi di realizzazione del modello su un compito di valutazione del candidato.
Mettilo in pratica
- Confrontare gli input e gli output documentati di due modelli candidati.
- Traccia un episodio del set di dati nel formato richiesto da una linea di base scelta.
Una matrice di compatibilità modello/attività e un campione convalidato.
Pronti per il passo successivo quando...
Risorse per questa fase
Studiare un modello visione-linguaggio-azione, i suoi presupposti di formazione e le interfacce di implementazione previste.
Esplora una risorsa di apprendimento VLA compatta; verificare la politica e i presupposti hardware nella documentazione.
Esaminare i dati dimostrativi delle multi-incarnazioni, i metadati, le licenze e le convenzioni di azione.
Intermedio
Creare un cablaggio di valutazione abbinato
Mantieni attività, reimpostazioni e metriche costanti nelle scelte del modello.
Come funziona questa fase
Costruisci un valutatore e mantieni costanti le condizioni del suo compito. Altrimenti la preelaborazione, la selezione della scena o la messa a punto del punto di controllo possono dominare il confronto.
Lavora attraverso un esempio
Esercizio di studio illustrativo · scritto da botstest
Valutare due checkpoint candidati sullo stesso set di attività dichiarato. Mantieni fisse le regole di reset, i timeout e il conteggio degli interventi; variare la condizione di un'immagine solo in un'ablazione etichettata separatamente.
- Congela attività e suddivisioni prima della selezione del modello.
- Salva istruzioni e pre-elaborazione con ogni esecuzione.
- Includere record di errori, timeout e latenza.
Se un modello riceve scene più facili o una regola di successo diversa, il suo punteggio non è direttamente confrontabile.
Base di riferimento: Convalida incrociata: valutazione delle prestazioni dello stimatore. L'esempio e la procedura dettagliata sono applicazioni editoriali della fonte.
Impara in questo ordine
- Suddivisione dei compiti, checkpoint e configurazione deterministica
- Metriche di latenza, intervento e completamento
- Modifiche tempestive e categorizzazione dei guasti
Leggi, quindi applica
scikit-learn developers · Guida pratica
Convalida incrociata: valutazione delle prestazioni dello stimatore
Leggi: Leggi la discussione sulla valutazione e la strategia di suddivisione adeguata alle tue dipendenze dai dati.
Utilizzare le suddivisioni sensibili alle dipendenze per proteggere le prove conservate dalle decisioni di formazione e ottimizzazione.
Applicalo: Congelare l'attività/scena divisa in sospeso prima di selezionare prompt, checkpoint o impostazioni di ottimizzazione.
Mettilo in pratica
- Valutare un piccolo insieme di attività fisse utilizzando protocolli di benchmark documentati.
- Eseguire un'ablazione su una condizione di input e mantenere il resto invariato.
Un cablaggio di valutazione con versione e un confronto della linea di base.
Pronti per il passo successivo quando...
Risorse per questa fase
Indagare un benchmark di manipolazione e preservarne le definizioni di compiti, le suddivisioni e le condizioni di valutazione.
Segui i flussi di lavoro di registrazione dei dati del robot, set di dati, policy e valutazione per l'hardware e il software supportati.
Costruisci attività di manipolazione ripetibili in un ambiente di benchmark simulato.
Professionale
Verifica robustezza e limiti di distribuzione
Produrre una dichiarazione basata sull’evidenza della capacità del modello.
Come funziona questa fase
Una decisione di implementazione necessita di più di un punteggio di riferimento. Descrivere la distribuzione testata e i limiti di esecuzione del sistema attuale.
Lavora attraverso un esempio
Esercizio di studio illustrativo · scritto da botstest
Costruisci un foglio decisionale per il modello scelto: oggetti supportati, condizioni visive, interfaccia di comando e tempi di risposta misurati. Lasciare le combinazioni non testate esplicitamente irrisolte anziché dedurre funzionalità dai video correlati.
- La sonda ha dichiarato modifiche visive e alle istruzioni.
- Ispezionare l'effetto sul flusso di lavoro di controllo.
- Scrivere separatamente le condizioni supportate, non supportate e non testate.
Non tradurre il successo della simulazione in una richiesta di autonomia fisica senza una valutazione del trasferimento supervisionata separatamente.
Base di riferimento: Riproduzione di esperimenti e risultati pubblicati. L'esempio e la procedura dettagliata sono applicazioni editoriali della fonte.
Impara in questo ordine
- Generalizzazione rispetto alle condizioni della scena memorizzata
- Vincoli di calcolo e di ciclo di controllo
- Trasferimento di robot reali e convalida supervisionata
Leggi, quindi applica
robomimic core team · Tutorial tecnico
Riproduzione di esperimenti e risultati pubblicati
Leggi: Completare i tutorial di formazione e risultati collegati prima di tentare una riproduzione pubblicata.
Utilizzare i prerequisiti di riproduzione per distinguere un esperimento comparabile da una dimostrazione vagamente simile.
Applicalo: Traccia ogni risultato riportato nelle versioni di configurazione del modello, dei dati, dell'ambiente e della valutazione.
Mettilo in pratica
- Prova un insieme dichiarato di oggetti, linguaggio o cambiamenti visivi.
- Scrivi una decisione di distribuzione con condizioni e regole di escalation non supportate.
Un rapporto sulla robustezza, un budget di risorse e una decisione sulla disponibilità all'implementazione.
Pronti per il passo successivo quando...
Risorse per questa fase
Esplorare come vengono valutate le politiche di manipolazione; prove di riferimento separate dalle dichiarazioni di implementazione.
Studiare un flusso di lavoro di raccolta dati di manipolazione e le sue ipotesi di realizzazione e ambiente.
Esplora la simulazione robotica e le scene sintetiche; verificare i requisiti hardware e la compatibilità delle versioni.
Insidie comuni
- Confronto dei punteggi principali di protocolli di valutazione incompatibili.
- Trattare la fluidità del linguaggio come prova di un'azione fisica affidabile.
Dove andare dopo
Collegare il modello valutato a un progetto di manipolazione supervisionata solo dopo aver soddisfatto i requisiti di compatibilità e latenza.
Esplora altro ricerca percorsi →