Prima di iniziare
Conoscenza iniziale
- Python di base, array ed elaborazione di immagini.
- Comprendere la differenza tra l'osservazione di un sensore e la verità sul terreno.
Attrezzatura & ambiente
Inizia con dati esistenti concessi in licenza e una scena controllata. Catturare persone identificabili solo nell'ambito di un adeguato processo di consenso e governance.
Nessun tempo di completamento fisso: usa i cancelli delle prove qui sotto per decidere quando avanzare. I collegamenti alle risorse aprono la voce della directory botstest; controlla la documentazione dell'editore per la versione e la configurazione esatte.
Principiante
Definire osservazioni ed etichette
Collega una domanda sulla percezione ad annotazioni misurabili.
Come funziona questa fase
Le etichette di percezione rappresentano un'interpretazione delle osservazioni specifica per il compito. Definisci ciò che non può essere osservato con la stessa attenzione di ciò che è visibile.
Lavora attraverso un esempio
Esercizio di studio illustrativo · scritto da botstest
Per un esercizio di posa di un oggetto noto, confronta una vista completa, una vista parziale e una cornice con profondità non valida. Decidi quali casi possono supportare l'etichetta prevista e quali richiedono uno stato sconosciuto o di revisione.
- Definire l'osservazione e la quantità target.
- Scrivere regole per ambiguità e occlusione.
- Controlla un piccolo campione con un altro annotatore.
Un oggetto non osservabile non è necessariamente un esempio negativo; mantenere la visibilità separata dalle etichette delle categorie.
Base di riferimento: Stima della posa geometrica. L'esempio e la procedura dettagliata sono applicazioni editoriali della fonte.
Impara in questo ordine
- Definizioni dei compiti di rilevamento, posa e geometria
- Caratteristiche intrinseche della telecamera, convenzioni dei fotogrammi e timestamp
- Provenienza delle etichette, ambiguità e permessi
Leggi, quindi applica
Russ Tedrake · MIT · Capitolo del corso
Stima della posa geometrica
Leggi: Inizia con telecamere, osservazioni di profondità, ritorni mancanti e viste parziali prima dei metodi di registrazione.
Utilizzare le ipotesi di rilevamento per identificare casi non osservabili prima di etichettare i dati o fidarsi di una stima geometrica.
Applicalo: Etichetta quali osservazioni sono mancanti, occluse o esterne al modello geometrico scelto.
Mettilo in pratica
- Ispeziona una piccola immagine o un campione di nuvola di punti e le relative etichette.
- Scrivi regole di annotazione per casi difficili e non osservabili.
Un dizionario dei dati, una guida alle annotazioni e una verifica dei campioni.
Pronti per il passo successivo quando...
Risorse per questa fase
Ispeziona le nuvole di punti e i risultati dell'elaborazione della geometria prima di utilizzarli in una pipeline di percezione.
Studia l'elaborazione delle immagini e gli strumenti relativi alla fotocamera attraverso la documentazione del progetto a monte.
Esamina le osservazioni, le annotazioni e le ipotesi di valutazione degli oggetti manuali per uno studio mirato sulla percezione.
Intermedio
Costruire una valutazione resistente alle perdite
Misurare il comportamento del modello su una distribuzione significativamente mantenuta.
Come funziona questa fase
Le immagini della stessa sessione possono condividere dipendenze nascoste. Suddividere secondo l'affermazione della generalizzazione piuttosto che per comodità.
Lavora attraverso un esempio
Esercizio di studio illustrativo · scritto da botstest
Se la richiesta riguarda le prestazioni nelle nuove sessioni di acquisizione, mantieni insieme le intere sessioni. Controllare i fotogrammi quasi duplicati e gli oggetti ripetuti prima di utilizzare una suddivisione casuale che potrebbe distribuire prove quasi identiche tra le partizioni.
- Scegli la variazione prevista.
- Crea un manifest diviso riproducibile.
- Segnalare errori per scena e condizione di osservazione.
Risultati di valutazione inaspettatamente eccellenti dovrebbero innescare una verifica delle perdite prima di una dichiarazione di modello più forte.
Base di riferimento: Convalida incrociata: valutazione delle prestazioni dello stimatore. L'esempio e la procedura dettagliata sono applicazioni editoriali della fonte.
Impara in questo ordine
- Suddivisioni di scena, oggetto e sessione
- Qualità della calibrazione e allineamento del sensore
- Definizioni di errore di precisione/richiamo o appropriate all'attività
Leggi, quindi applica
scikit-learn developers · Guida pratica
Convalida incrociata: valutazione delle prestazioni dello stimatore
Leggi: Leggi la discussione sulla valutazione e la strategia di suddivisione adeguata alle tue dipendenze dai dati.
Utilizzare le suddivisioni sensibili alle dipendenze per proteggere le prove conservate dalle decisioni di formazione e ottimizzazione.
Applicalo: Crea suddivisioni a livello di sessione o di oggetto e ispeziona un campione deliberatamente quasi duplicato.
Mettilo in pratica
- Diviso per sessione di acquisizione o oggetto dove l'attività lo richiede.
- Confrontare una semplice linea di base su osservazioni normali, occluse e spostate.
Una suddivisione del set di dati con versione e un quaderno di valutazione della linea di base.
Pronti per il passo successivo quando...
Risorse per questa fase
Ispezionare un set di dati di manipolazione e le relative condizioni di raccolta prima di progettare le suddivisioni di addestramento e valutazione.
Studiare un flusso di lavoro di raccolta dati di manipolazione e le sue ipotesi di realizzazione e ambiente.
Esplora il rilevamento fiduciale e posiziona le osservazioni con la geometria del marcatore nota e la calibrazione della fotocamera.
Professionale
Rilascia un set di dati con un ambito onesto
Rendere i dati riutilizzabili e visibili i relativi limiti.
Come funziona questa fase
Un set di dati riutilizzabile spiega come le osservazioni grezze sono diventate campioni rilasciati. Preservare provenienza, convenzioni e limitazioni dei dati.
Lavora attraverso un esempio
Esercizio di studio illustrativo · scritto da botstest
Selezionare un episodio o un'immagine rilasciata e ricostruirne la sessione di acquisizione, la calibrazione, l'elaborazione e la decisione sull'etichetta. Chiedi a un collega di riprodurre la valutazione utilizzando solo i metadati pubblicati.
- Scrivere un dizionario dati e una nota sulle autorizzazioni.
- Decisioni sull'elaborazione delle versioni e sulle annotazioni.
- Pubblicare il valutatore e i limiti di distribuzione.
Una cartella di set di dati con trasformazioni senza nome ed etichette non documentate non può supportare un riutilizzo affidabile.
Base di riferimento: LeRobotDataset v3.0. L'esempio e la procedura dettagliata sono applicazioni editoriali della fonte.
Impara in questo ordine
- Documentazione del set di dati e diritti di utilizzo
- Reporting sulla distribuzione dei sensori e delle scene
- Fiducia del modello, deriva e conseguenze a valle
Leggi, quindi applica
Hugging Face · LeRobot · Documentazione di riferimento
LeRobotDataset v3.0
Leggi: Ispeziona la struttura del set di dati e i metadati prima di modificare o combinare episodi.
Utilizzare la struttura dati per rendere ispezionabili episodi, osservazioni, azioni e provenienza delle elaborazioni.
Applicalo: Pubblica l'organizzazione dei dati, le versioni e la provenienza in modo che un altro ricercatore possa ricostruire un episodio.
Mettilo in pratica
- Preparare una scheda dati con i dettagli di raccolta, elaborazione e suddivisione.
- Chiedi a un secondo ricercatore di riprodurre la valutazione dai metadati rilasciati.
Una scheda del set di dati, un valutatore riproducibile e un rapporto sulle limitazioni.
Pronti per il passo successivo quando...
Risorse per questa fase
Esaminare i dati dimostrativi delle multi-incarnazioni, i metadati, le licenze e le convenzioni di azione.
Esplora le risorse degli oggetti con controlli di provenienza e licenza prima di includerli nella simulazione.
Visualizza le osservazioni spaziali e confrontale con i risultati del modello e della traiettoria.
Insidie comuni
- Suddivisione casuale dei fotogrammi video adiacenti e chiamata alla generalizzazione del risultato.
- Utilizzando dati renderizzati o video umani come se si trattasse di una realtà concreta dell'azione dei robot.
Dove andare dopo
Estendere alla manipolazione o all'ispezione industriale con gli stessi dati e contratto di valutazione.
Esplora altro ricerca percorsi →