Zanim zaczniesz
Początkowa wiedza
- Komfort dzięki Pythonowi, tablicom danych i koncepcji uczenia się pod nadzorem.
- Zapoznaj się z procedurą kalibracji robota i kamery.
Sprzęt & środowisko
Najpierw użyj zbioru danych offline lub symulatora. Demonstracje sprzętu wymagają nadzorowanej przestrzeni do nagrywania i udokumentowanej procedury resetowania.
Brak ustalonego czasu ukończenia: skorzystaj z bramek dowodów poniżej, aby zdecydować, kiedy przejść dalej. Linki do zasobów otwierają najsilniejszy wpis w katalogu; sprawdź dokumentację wydawcy, aby uzyskać dokładną wersję i konfigurację.
Początkujący
Sprawdź dane przed treningiem
Zrozum, w jaki sposób reprezentowane są obserwacje, działania i epizody.
Jak działa ten etap
Demonstracja to zsynchronizowany dowód obserwacji i działania, a nie tylko film wideo przedstawiający udane zadanie. Sprawdź jego reprezentację przed zebraniem kolejnych odcinków.
Przepracuj przykład
Przykładowe ćwiczenie studyjne · napisane przez botstest
Sprawdź jedną oś w zarejestrowanym odcinku: bieżąca pozycja to 0,4 radiana, a zapisana akcja to 0,1. Jeśli akcja jest celem bezwzględnym, celem jest 0,1; jeśli jest to delta, celem jest 0,5. Dlatego ta sama tablica opisuje różne zachowanie. Przed użyciem przykładu rozwiąż konwencję z metadanych kolekcji i kontrolera.
- Sprawdź metadane i granice odcinków.
- Wizualizuj obserwacje ze śladami stanu/działania.
- Brak dokumentu, próbki nieaktualne lub uszkodzone.
Płynne wideo może ukryć błąd synchronizacji akcji; sprawdź powiązany stan i znaczniki czasu.
Podstawa odniesienia: LeRobotDataset v3.0. Przykład i solucja to zastosowania redakcyjne źródła.
Ucz się w tej kolejności
- Granice odcinków, znaczniki czasu i jednostki
- Reprezentacja i ucieleśnienie działania
- Pochodzenie zbioru danych i dozwolone wykorzystanie
Przeczytaj, a potem zastosuj
Hugging Face · LeRobot · Dokumentacja referencyjna
LeRobotDataset v3.0
Przeczytaj: Przed zmodyfikowaniem lub połączeniem odcinków sprawdź strukturę zbioru danych i metadane.
Użyj struktury danych, aby umożliwić kontrolę epizodów, obserwacji, działań i pochodzenia przetwarzania.
Zastosuj to: Przeprowadź audyt jednego odcinka na podstawie obserwacji z kamery poprzez metadane akcji/stanu i wyrównanie czasowe.
Wprowadź to w życie
- Załaduj mały demonstracyjny zestaw danych i sprawdź ramki i akcje.
- Napisz notatkę do schematu i zidentyfikuj brakujące lub źle dopasowane obserwacje.
Notatnik z inspekcji zbioru danych i notatka dotycząca schematu/pozwolenia.
Gotowy do następnego kroku, gdy…
Zasoby na ten etap
Śledź przepływy pracy związane z rejestrowaniem danych robota, zestawem danych, polityką i oceną obsługiwanego sprzętu i oprogramowania.
Przed zaprojektowaniem podziału szkolenia i oceny sprawdź zbiór danych manipulacyjnych i warunki jego gromadzenia.
Zbadaj dane demonstracyjne dotyczące wielu rozwiązań, metadane, licencje i konwencje działania.
Średnio zaawansowany
Nagraj i przetrenuj ograniczone zadanie
Zbuduj niezawodną pętlę od kolekcji do szkolenia dla jednego zadania.
Jak działa ten etap
Gromadzenie, szkolenie i ocena muszą wykorzystywać kompatybilne konwencje dotyczące robotów i danych. Mała, czysta pętla ujawnia problemy wcześniej niż duży, niekontrolowany zbiór danych.
Przepracuj przykład
Przykładowe ćwiczenie studyjne · napisane przez botstest
Użyj jednego zadania stołowego ze spójnymi resetami. Zachowaj tożsamość robota i zapis kalibracji wraz ze zbiorem danych, wytrenuj linię bazową i oceń ją na podstawie wcześniej zadeklarowanych wstrzymanych startów pod nadzorem.
- Najpierw sprawdź kalibrację i obserwacje kamery.
- Zapisz i sprawdź mały zbiór danych przed skalowaniem.
- Zapisz konfiguracje szkoleń i ocen za pomocą punktu kontrolnego.
Jeśli po ponownym podłączeniu odtworzone zachowanie ulegnie zmianie, przed ponownym szkoleniem sprawdź tożsamość kalibracji i konwencje działania.
Podstawa odniesienia: Uczenie się przez imitację na robotach w świecie rzeczywistym. Przykład i solucja to zastosowania redakcyjne źródła.
Ucz się w tej kolejności
- Kalibracja teleoperacji i spójność operatora
- Wstrzymywane epizody i wycieki obiektów
- Konfiguracja treningu bazowego i wybór punktu kontrolnego
Przeczytaj, a potem zastosuj
Hugging Face · LeRobot · Poradnik techniczny
Uczenie się przez imitację na robotach w świecie rzeczywistym
Przeczytaj: Postępuj zgodnie z konfiguracją i nagrywaniem przed szkoleniem i oceną; najpierw sprawdź wymagania wstępne specyficzne dla robota.
Skorzystaj z kompleksowej sekwencji, aby zapewnić łączność między kalibracją, rejestrowaniem, szkoleniem i oceną robota.
Zastosuj to: Zachowaj spójność tożsamości robota i kalibracji podczas rejestrowania i oceny; rejestrowanie wyborów dotyczących przesyłania zbioru danych.
Wprowadź to w życie
- Zbierz lub zarządzaj małym zestawem danych o ustalonym zadaniu i trenuj obsługiwaną linię bazową.
- Porównaj dwa warunki jakości danych przy użyciu tej samej konfiguracji oceny.
Wersjonowany podzbiór zbioru danych, bazowy punkt kontrolny i porównanie jakości.
Gotowy do następnego kroku, gdy…
Zasoby na ten etap
Poznaj małe ramię teleoperacyjne; potwierdzić montaż, kalibrację i dokładną obsługę rewizji sprzętu.
Śledź przepływy pracy związane z rejestrowaniem danych robota, zestawem danych, polityką i oceną obsługiwanego sprzętu i oprogramowania.
Zapoznaj się z przepływami pracy w zakresie uczenia się demonstracyjnego w trybie offline i kontrolowanymi porównaniami zasad.
Profesjonalny
Oceń uogólnienie i zwolnij przepływ pracy
Określ, gdzie wyuczona polityka działa, a gdzie wymaga interwencji.
Jak działa ten etap
Generalizacja to sprawdzona granica, a nie właściwość ustalona w wyniku kilku atrakcyjnych wdrożeń. Zmiany projektowe sprawdzają jedno założenie na raz.
Przepracuj przykład
Przykładowe ćwiczenie studyjne · napisane przez botstest
Skorzystaj z proponowanego arkusza dziesięciu prób: osiem prób kończy się autonomicznie, jedna kończy się po korekcie przez człowieka, a jedna kończy się z opóźnieniem. Ukończenie autonomiczne to osiem na dziesięć; wynik wspomagany jest rejestrowany oddzielnie. Powtórz tę czynność, uwzględniając zmieniony obiekt lub scenę, zamiast łączyć łatwiejsze próby bazowe ze zmienionymi warunkami.
- Zadeklaruj warunki oceny przed strojeniem.
- Rejestruj oddzielnie ukończenie autonomiczne i poprawki wykonywane przez człowieka.
- Przetwarzanie wersji, model i pochodzenie oceny razem.
Nie łącz prób skorygowanych przez ludzi w autonomiczne sukcesy; zgłoś, jaka pomoc zmieniła wynik.
Podstawa odniesienia: Odtwarzanie opublikowanych eksperymentów i wyników. Przykład i solucja to zastosowania redakcyjne źródła.
Ucz się w tej kolejności
- Przesunięte obiekty, sceny i stany początkowe
- Rachunkowość interwencyjna i odzysk
- Ograniczenia dotyczące różnych wykonań i transferu sprzętu
Przeczytaj, a potem zastosuj
robomimic core team · Poradnik techniczny
Odtwarzanie opublikowanych eksperymentów i wyników
Przeczytaj: Przed przystąpieniem do opublikowanej reprodukcji wykonaj powiązane samouczki szkoleniowe i dotyczące wyników.
Skorzystaj z warunków wstępnych reprodukcji, aby odróżnić porównywalny eksperyment od luźno podobnej demonstracji.
Zastosuj to: Opublikuj dokładne instrukcje przetwarzania, konfiguracji i oceny zestawu danych stosowane w każdym punkcie kontrolnym.
Wprowadź to w życie
- Uruchom zadeklarowaną macierz ewaluacyjną z powtarzalnymi resetami.
- Wydaj instrukcje dotyczące gromadzenia, przetwarzania i oceny wraz z uczciwym raportem o błędach.
Kompletny raport z demonstracji do oceny i powtarzalne artefakty.
Gotowy do następnego kroku, gdy…
Zasoby na ten etap
Przestudiuj oryginalny projekt badań dwuręcznych. Starszy, komercyjny sprzęt ALOHA dobiegł końca; sprawdź części i aktualne alternatywy.
Sprawdź podręczną kolekcję demonstracyjną oraz sposób przeniesienia jej kalibracji i reprezentacji działania na robota docelowego.
Przeanalizuj przepływ pracy związany z manipulacją gromadzeniem danych oraz jego ucieleśnienie i założenia dotyczące środowiska.
Typowe pułapki
- Zakładając, że więcej demonstracji naprawi złamaną konwencję znacznika czasu.
- Mieszanie scen ewaluacyjnych w szkoleniu bez ujawniania informacji.
Gdzie iść dalej
Do porównania VLA należy przystąpić dopiero po zrozumieniu prostszych zasad i podstaw jakości danych.
Poznaj inne badania ścieżki →