Zanim zaczniesz
Początkowa wiedza
- Zrozumienie uczenia się pod nadzorem i podstawowego procesu uczenia się przez naśladownictwo.
- Być w stanie sprawdzić podział zbioru danych i konwencje działania robota.
Sprzęt & środowisko
Rozpocznij od opublikowanej dokumentacji modelu i oceny offline lub symulacyjnej; uniknąć niekontrolowanego wykonania sprzętu.
Brak ustalonego czasu ukończenia: skorzystaj z bramek dowodów poniżej, aby zdecydować, kiedy przejść dalej. Linki do zasobów otwierają najsilniejszy wpis w katalogu; sprawdź dokumentację wydawcy, aby uzyskać dokładną wersję i konfigurację.
Początkujący
Odwzoruj założenia modelu na zadanie
Zdecyduj, czy dane wyjściowe modelu można w znaczący sposób ocenić w Twojej konfiguracji.
Jak działa ten etap
Model VLA generuje działania przy określonych założeniach wizualnych, językowych i ucieleśnienia. Przed porównaniem wydajności należy ustalić zgodność.
Przepracuj przykład
Przykładowe ćwiczenie studyjne · napisane przez botstest
Dla jednego zadania manipulacyjnego utwórz tabelę danych wejściowych obrazu, formatu instrukcji, wymiarów akcji, jednostek i interfejsu robota. Zaznacz dowolne pole, którego nie rozwiązuje dostępna dokumentacja modelu.
- Sprawdź dokumentację modelu i danych.
- Prześledź jedną obserwację poprzez przetwarzanie wstępne.
- Sprawdź, co oznacza jedno działanie wyjściowe dla robota docelowego.
Wiarygodna odpowiedź językowa nie mówi nic o tym, czy reprezentacja akcji odpowiada Twojemu kontrolerowi.
Podstawa odniesienia: OpenVLA: Model wizji, języka i działania o otwartym kodzie źródłowym. Przykład i solucja to zastosowania redakcyjne źródła.
Ucz się w tej kolejności
- Wstępne przetwarzanie obrazu, wprowadzanie języków i formaty akcji
- Dystrybucja szkoleń i zasięg realizacji
- Wagi modeli, licencje i wymagania obliczeniowe
Przeczytaj, a potem zastosuj
OpenVLA authors · Artykuł badawczy
OpenVLA: Model wizji, języka i działania o otwartym kodzie źródłowym
Przeczytaj: Przeczytaj opis modelu i danych, a następnie postępuj zgodnie z dokumentem/kodem dotyczącym oceny, którą chcesz odtworzyć.
Skorzystaj z opisu modelu i wykonania, aby zdecydować, które założenia ewaluacyjne faktycznie obsługuje Twoja konfiguracja.
Zastosuj to: Przypisz dane wejściowe, wyniki i założenia modelu do jednego zadania oceny kandydata.
Wprowadź to w życie
- Porównaj udokumentowane dane wejściowe i wyjściowe dwóch kandydatów na modele.
- Prześledź jeden odcinek zbioru danych do formatu wymaganego przez wybraną linię bazową.
Macierz zgodności modelu/zadania i jedna zwalidowana próbka.
Gotowy do następnego kroku, gdy…
Zasoby na ten etap
Przeanalizuj model wizja-język-działanie, jego założenia szkoleniowe i zamierzone interfejsy wdrażania.
Poznaj kompaktowe zasoby edukacyjne VLA; zweryfikować założenia polityki i sprzętu w swojej dokumentacji.
Zbadaj dane demonstracyjne dotyczące wielu rozwiązań, metadane, licencje i konwencje działania.
Średnio zaawansowany
Utwórz dopasowaną wiązkę ewaluacyjną
Utrzymuj stałe zadania, resetowania i metryki w przypadku różnych modeli.
Jak działa ten etap
Zbuduj jeden ewaluator i utrzymuj stałe warunki jego zadania. W przeciwnym razie porównanie może zdominować przetwarzanie wstępne, wybór sceny lub dostrajanie punktu kontrolnego.
Przepracuj przykład
Przykładowe ćwiczenie studyjne · napisane przez botstest
Oceń dwa kandydujące punkty kontrolne w tym samym zadeklarowanym zestawie zadań. Zachowaj stałe zasady resetowania, limity czasu i zliczanie interwencji; zmieniać stan obrazu tylko w przypadku oddzielnie oznaczonej ablacji.
- Zablokuj zadania i podziały przed wyborem modelu.
- Zapisz podpowiedzi i przetwarzanie wstępne przy każdym uruchomieniu.
- Uwzględnij zapisy dotyczące awarii, przekroczeń limitu czasu i opóźnień.
Jeśli jeden model ma łatwiejsze sceny lub inną zasadę sukcesu, jego wynik nie jest bezpośrednio porównywalny.
Podstawa odniesienia: Walidacja krzyżowa: ocena wydajności estymatora. Przykład i solucja to zastosowania redakcyjne źródła.
Ucz się w tej kolejności
- Podział zadań, punkty kontrolne i konfiguracja deterministyczna
- Wskaźniki opóźnienia, interwencji i ukończenia
- Szybkie zmiany i kategoryzacja błędów
Przeczytaj, a potem zastosuj
scikit-learn developers · Praktyczny przewodnik
Walidacja krzyżowa: ocena wydajności estymatora
Przeczytaj: Przeczytaj przeciągniętą dyskusję na temat oceny i strategię podziału odpowiednią do zależności danych.
Użyj podziałów uwzględniających zależności, aby chronić przechowywane dowody przed decyzjami dotyczącymi szkolenia i dostrajania.
Zastosuj to: Zablokuj wstrzymany podział zadania/sceny przed wybraniem podpowiedzi, punktów kontrolnych lub ustawień dostrajania.
Wprowadź to w życie
- Oceń mały, ustalony zestaw zadań, korzystając z udokumentowanych protokołów porównawczych.
- Przeprowadź ablację jednego warunku wejściowego, a resztę pozostaw bez zmian.
Wersjonowana ocena i porównanie wartości bazowych.
Gotowy do następnego kroku, gdy…
Zasoby na ten etap
Zbadaj punkt odniesienia manipulacji i zachowaj jego definicje zadań, podziały i warunki oceny.
Śledź przepływy pracy związane z rejestrowaniem danych robota, zestawem danych, polityką i oceną obsługiwanego sprzętu i oprogramowania.
Twórz powtarzalne zadania manipulacyjne w symulowanym środowisku porównawczym.
Profesjonalny
Inspekcja niezawodności i granic wdrożenia
Przygotuj oparte na dowodach zestawienie możliwości modelu.
Jak działa ten etap
Decyzja o wdrożeniu wymaga czegoś więcej niż tylko wyniku testu porównawczego. Opisz testowaną dystrybucję i ograniczenia wykonawcze rzeczywistego systemu.
Przepracuj przykład
Przykładowe ćwiczenie studyjne · napisane przez botstest
Skonstruuj arkusz decyzyjny dla wybranego modelu: obsługiwane obiekty, warunki wizualne, interfejs poleceń i zmierzony czas reakcji. Pozostaw nieprzetestowane kombinacje wyraźnie nierozwiązane, zamiast wnioskować o możliwościach na podstawie powiązanych filmów.
- Sonda zadeklarowała zmiany wizualne i instrukcje.
- Sprawdź wpływ na przepływ pracy kontrolnej.
- Zapisz oddzielnie obsługiwane, nieobsługiwane i nieprzetestowane warunki.
Nie przekładaj sukcesu symulacji na twierdzenie o autonomii fizycznej bez oddzielnie nadzorowanej oceny transferu.
Podstawa odniesienia: Odtwarzanie opublikowanych eksperymentów i wyników. Przykład i solucja to zastosowania redakcyjne źródła.
Ucz się w tej kolejności
- Uogólnianie a zapamiętane warunki sceny
- Ograniczenia obliczeniowe i pętli sterującej
- Transfer prawdziwego robota i nadzorowana walidacja
Przeczytaj, a potem zastosuj
robomimic core team · Poradnik techniczny
Odtwarzanie opublikowanych eksperymentów i wyników
Przeczytaj: Przed przystąpieniem do opublikowanej reprodukcji wykonaj powiązane samouczki szkoleniowe i dotyczące wyników.
Skorzystaj z warunków wstępnych reprodukcji, aby odróżnić porównywalny eksperyment od luźno podobnej demonstracji.
Zastosuj to: Śledzenie każdego zgłoszonego wyniku w wersjach konfiguracji modelu, danych, środowiska i ewaluacji.
Wprowadź to w życie
- Przetestuj zadeklarowany zestaw zmian obiektowych, językowych lub wizualnych.
- Napisz decyzję o wdrożeniu, zawierającą nieobsługiwane warunki i reguły eskalacji.
Raport solidności, budżet zasobów i decyzja o gotowości do wdrożenia.
Gotowy do następnego kroku, gdy…
Zasoby na ten etap
Zbadaj, w jaki sposób oceniane są zasady manipulacji; oddziel dowody porównawcze od twierdzeń dotyczących wdrożenia.
Przeanalizuj przepływ pracy związany z manipulacją gromadzeniem danych oraz jego ucieleśnienie i założenia dotyczące środowiska.
Poznaj symulację robotyki i sceny syntetyczne; sprawdź wymagania sprzętowe i zgodność wersji.
Typowe pułapki
- Porównywanie głównych wyników z niezgodnych protokołów oceny.
- Traktowanie płynności językowej jako dowodu rzetelnego działania fizycznego.
Gdzie iść dalej
Podłącz oceniany model do projektu nadzorowanej manipulacji dopiero po spełnieniu bramek zgodności i opóźnień.
Poznaj inne badania ścieżki →