Zanim zaczniesz
Początkowa wiedza
- Podstawy Pythona, tablice i przetwarzanie obrazu.
- Zrozum różnicę między obserwacją czujnika a prawdą naziemną.
Sprzęt & środowisko
Zacznij od licencjonowanych istniejących danych i kontrolowanej sceny. Przechwytuj możliwe do zidentyfikowania osoby wyłącznie w ramach odpowiedniej zgody i procesu zarządzania.
Brak ustalonego czasu ukończenia: skorzystaj z bramek dowodów poniżej, aby zdecydować, kiedy przejść dalej. Linki do zasobów otwierają najsilniejszy wpis w katalogu; sprawdź dokumentację wydawcy, aby uzyskać dokładną wersję i konfigurację.
Początkujący
Zdefiniuj obserwacje i etykiety
Połącz pytanie dotyczące percepcji z mierzalnymi adnotacjami.
Jak działa ten etap
Etykiety percepcji reprezentują specyficzną dla zadania interpretację obserwacji. Zdefiniuj to, czego nie można zaobserwować, równie dokładnie, jak to, co widać.
Przepracuj przykład
Przykładowe ćwiczenie studyjne · napisane przez botstest
W przypadku ćwiczenia ułożenia znanego obiektu porównaj widok pełny, częściowy i klatkę o nieprawidłowej głębokości. Zdecyduj, które przypadki mogą obsługiwać zamierzoną etykietę, a które wymagają stanu nieznanego lub sprawdzonego.
- Zdefiniuj obserwację i ilość docelową.
- Zapisz reguły dotyczące niejednoznaczności i okluzji.
- Audyt małej próbki z innym adnotatorem.
Obiekt, którego nie można zaobserwować, niekoniecznie jest przykładem negatywnym; zachowaj widoczność oddzielnie od etykiet kategorii.
Podstawa odniesienia: Oszacowanie pozycji geometrycznej. Przykład i solucja to zastosowania redakcyjne źródła.
Ucz się w tej kolejności
- Definicje zadań wykrywania, ułożenia i geometrii
- Elementy aparatu, konwencje klatek i znaczniki czasu
- Oznacz pochodzenie, niejednoznaczność i uprawnienia
Przeczytaj, a potem zastosuj
Russ Tedrake · MIT · Rozdział kursu
Oszacowanie pozycji geometrycznej
Przeczytaj: Rozpocznij od kamer, obserwacji głębokości, brakujących zwrotów i częściowych widoków przed metodami rejestracji.
Skorzystaj z założeń dotyczących wykrywania, aby zidentyfikować przypadki nieobserwowalne, zanim oznaczysz dane etykietą lub zaufasz szacunkowi geometrycznemu.
Zastosuj to: Oznacz, których obserwacji brakuje, są zasłonięte lub znajdują się poza wybranym modelem geometrycznym.
Wprowadź to w życie
- Sprawdź mały obraz lub próbkę chmury punktów i jego etykiety.
- Napisz zasady adnotacji dla trudnych i nieobserwowalnych przypadków.
Słownik danych, przewodnik po adnotacjach i przykładowy audyt.
Gotowy do następnego kroku, gdy…
Zasoby na ten etap
Sprawdź chmury punktów i wyniki przetwarzania geometrii przed użyciem ich w potoku percepcji.
Zapoznaj się z przetwarzaniem obrazu i narzędziami związanymi z kamerą, korzystając z dokumentacji projektu.
Sprawdź obserwacje, adnotacje i założenia oceny na potrzeby ukierunkowanego badania percepcji.
Średnio zaawansowany
Skonstruuj ocenę odporną na wycieki
Zmierz zachowanie modelu na sensownie utrzymanym rozkładzie.
Jak działa ten etap
Obrazy z tej samej sesji mogą mieć wspólne ukryte zależności. Podziel według twierdzeń uogólniających, a nie dla wygody.
Przepracuj przykład
Przykładowe ćwiczenie studyjne · napisane przez botstest
Jeśli roszczenie dotyczy wydajności nowych sesji przechwytywania, zachowaj całe sesje razem. Przed użyciem losowego podziału, który może rozdzielić niemal identyczne dowody na partycje, sprawdź prawie zduplikowane klatki i powtarzające się obiekty.
- Wybierz zamierzoną odmianę trzymania.
- Utwórz powtarzalny podzielony manifest.
- Zgłaszaj błędy według sceny i warunków obserwacji.
Niespodziewanie doskonałe wyniki oceny powinny skutkować audytem szczelności przed złożeniem silniejszej reklamacji dotyczącej modelu.
Podstawa odniesienia: Walidacja krzyżowa: ocena wydajności estymatora. Przykład i solucja to zastosowania redakcyjne źródła.
Ucz się w tej kolejności
- Podział sceny, obiektu i sesji
- Jakość kalibracji i ustawienie czujnika
- Definicje błędów dotyczące precyzji/przypomnienia lub odpowiedniego zadania
Przeczytaj, a potem zastosuj
scikit-learn developers · Praktyczny przewodnik
Walidacja krzyżowa: ocena wydajności estymatora
Przeczytaj: Przeczytaj przeciągniętą dyskusję na temat oceny i strategię podziału odpowiednią do zależności danych.
Użyj podziałów uwzględniających zależności, aby chronić przechowywane dowody przed decyzjami dotyczącymi szkolenia i dostrajania.
Zastosuj to: Twórz podziały na poziomie sesji przechwytywania lub obiektu i sprawdzaj celowo prawie zduplikowaną próbkę.
Wprowadź to w życie
- Podziel według sesji przechwytywania lub obiektu, jeśli zadanie tego wymaga.
- Porównaj prostą linię bazową z obserwacjami normalnymi, przesłoniętymi i przesuniętymi.
Wersjonowany notatnik dotyczący podziału zestawu danych i oceny linii bazowej.
Gotowy do następnego kroku, gdy…
Zasoby na ten etap
Przed zaprojektowaniem podziału szkolenia i oceny sprawdź zbiór danych manipulacyjnych i warunki jego gromadzenia.
Przeanalizuj przepływ pracy związany z manipulacją gromadzeniem danych oraz jego ucieleśnienie i założenia dotyczące środowiska.
Przeglądaj wykrywanie odniesienia i obserwacje pozycji ze znaną geometrią znaczników i kalibracją kamery.
Profesjonalny
Wydaj zestaw danych z uczciwym zakresem
Spraw, aby dane były ponownie wykorzystywane i widoczne były ich ograniczenia.
Jak działa ten etap
Zbiór danych wielokrotnego użytku wyjaśnia, w jaki sposób surowe obserwacje stały się uwolnionymi próbkami. Zachowaj pochodzenie, konwencje i ograniczenia dzięki danym.
Przepracuj przykład
Przykładowe ćwiczenie studyjne · napisane przez botstest
Wybierz jeden opublikowany odcinek lub obraz i zrekonstruuj sesję przechwytywania, kalibrację, przetwarzanie i decyzję dotyczącą etykiety. Poproś kolegę o odtworzenie oceny, korzystając wyłącznie z opublikowanych metadanych.
- Napisz słownik danych i notatkę dotyczącą uprawnień.
- Decyzje dotyczące przetwarzania wersji i adnotacji.
- Opublikuj limity oceniające i dystrybucyjne.
Folder zestawu danych z nienazwanymi transformacjami i nieudokumentowanymi etykietami nie umożliwia niezawodnego ponownego wykorzystania.
Podstawa odniesienia: LeRobotDataset v3.0. Przykład i solucja to zastosowania redakcyjne źródła.
Ucz się w tej kolejności
- Dokumentacja zbioru danych i prawa do użytkowania
- Raportowanie dystrybucji czujników i scen
- Model pewności, dryfu i dalszych konsekwencji
Przeczytaj, a potem zastosuj
Hugging Face · LeRobot · Dokumentacja referencyjna
LeRobotDataset v3.0
Przeczytaj: Przed zmodyfikowaniem lub połączeniem odcinków sprawdź strukturę zbioru danych i metadane.
Użyj struktury danych, aby umożliwić kontrolę epizodów, obserwacji, działań i pochodzenia przetwarzania.
Zastosuj to: Publikuj organizację danych, wersje i pochodzenie, aby inny badacz mógł zrekonstruować odcinek.
Wprowadź to w życie
- Przygotuj kartę danych ze szczegółami dotyczącymi gromadzenia, przetwarzania i podziału.
- Poproś drugiego badacza o odtworzenie oceny na podstawie udostępnionych metadanych.
Karta zbioru danych, powtarzalny moduł oceniający i raport ograniczeń.
Gotowy do następnego kroku, gdy…
Zasoby na ten etap
Zbadaj dane demonstracyjne dotyczące wielu rozwiązań, metadane, licencje i konwencje działania.
Przeglądaj zasoby obiektów, sprawdzając ich pochodzenie i licencje przed włączeniem ich do symulacji.
Wizualizuj obserwacje przestrzenne i porównuj je z wynikami modelu i trajektorii.
Typowe pułapki
- Losowe dzielenie sąsiednich klatek wideo i wywoływanie uogólnienia wyniku.
- Wykorzystywanie danych renderowanych lub wideo pochodzących od ludzi tak, jakby była to prawda oparta na działaniu robota.
Gdzie iść dalej
Rozszerzenie na manipulację lub inspekcję przemysłową z tymi samymi danymi i umową o ocenę.
Poznaj inne badania ścieżki →