Bevor Sie beginnen
Einstiegswissen
- Komfort mit Python, Datenarrays und Konzepten für überwachtes Lernen.
- Verstehen Sie das Verfahren zur Roboter- und Kamerakalibrierung.
Ausrüstung & Umgebung
Verwenden Sie zunächst einen Offline-Datensatz oder Simulator. Hardware-Demonstrationen erfordern einen überwachten Aufnahmeraum und einen dokumentierten Reset-Vorgang.
Keine feste Fertigstellungszeit: Nutzen Sie die unten stehenden Beweise, um zu entscheiden, wann Sie fortfahren möchten. Ressourcenlinks öffnen den Botstest-Verzeichniseintrag; Die genaue Version und Konfiguration finden Sie in der Dokumentation des Herausgebers.
Anfänger
Überprüfen Sie die Daten vor dem Training
Verstehen Sie, wie Beobachtungen, Aktionen und Episoden dargestellt werden.
Wie diese Phase funktioniert
Eine Demonstration ist ein synchronisierter Beweis über Beobachtung und Aktion, nicht nur ein Video einer erfolgreichen Aufgabe. Überprüfen Sie die Darstellung, bevor Sie weitere Episoden sammeln.
Arbeiten Sie ein Beispiel durch
Anschauliche Lernübung · geschrieben von botstest
Überprüfen Sie eine Achse in einer aufgezeichneten Episode: Die aktuelle Position beträgt 0,4 Bogenmaß und die gespeicherte Aktion beträgt 0,1. Handelt es sich bei der Aktion um ein absolutes Ziel, beträgt das Ziel 0,1; Handelt es sich um ein Delta, beträgt das Ziel 0,5. Das gleiche Array beschreibt daher ein unterschiedliches Verhalten. Lösen Sie die Konvention aus den Sammlungs- und Controller-Metadaten auf, bevor Sie das Beispiel verwenden.
- Untersuchen Sie Metadaten und Episodengrenzen.
- Visualisieren Sie Beobachtungen mit Zustands-/Aktionsspuren.
- Dokumentieren Sie fehlende, veraltete oder beschädigte Proben.
Ein flüssiges Video kann einen Aktions-Timing-Fehler verbergen; Überprüfen Sie den zugehörigen Status und die Zeitstempel.
Referenzbasis: LeRobotDataset v3.0. Das Beispiel und die exemplarische Vorgehensweise sind redaktionelle Anwendungen der Quelle.
Lernen Sie in dieser Reihenfolge
- Episodengrenzen, Zeitstempel und Einheiten
- Handlungsdarstellung und Verkörperung
- Herkunft des Datensatzes und zulässige Verwendung
Lesen und dann bewerben
Hugging Face · LeRobot · Referenzdokumentation
LeRobotDataset v3.0
Lesen Sie: Überprüfen Sie die Struktur und Metadaten des Datensatzes, bevor Sie Episoden ändern oder kombinieren.
Nutzen Sie die Datenstruktur, um Episoden, Beobachtungen, Aktionen und Verarbeitungsherkunft einsehbar zu machen.
Wenden Sie es an: Prüfen Sie eine Episode anhand von Kamerabeobachtungen anhand von Aktions-/Zustandsmetadaten und Zeitabgleich.
Setzen Sie es in die Praxis um
- Laden Sie einen kleinen Demonstrationsdatensatz und überprüfen Sie Frames und Aktionen.
- Schreiben Sie eine Schemanotiz und identifizieren Sie fehlende oder falsch ausgerichtete Beobachtungen.
Ein Datensatz-Inspektionsnotizbuch und eine Schema-/Berechtigungsnotiz.
Bereit für den nächsten Schritt, wenn…
Ressourcen für diese Phase
Befolgen Sie Roboterdatenaufzeichnungs-, Datensatz-, Richtlinien- und Bewertungsworkflows für unterstützte Hardware und Software.
Überprüfen Sie einen Manipulationsdatensatz und seine Erfassungsbedingungen, bevor Sie Trainings- und Bewertungsaufteilungen entwerfen.
Untersuchen Sie Demonstrationsdaten, Metadaten, Lizenzen und Aktionskonventionen für mehrere Ausführungsformen.
Mittelstufe
Zeichnen Sie eine begrenzte Aufgabe auf und trainieren Sie sie
Erstellen Sie eine zuverlässige Sammlung-zu-Training-Schleife für eine Aufgabe.
Wie diese Phase funktioniert
Erfassung, Training und Auswertung müssen kompatible Roboter- und Datenkonventionen verwenden. Eine kleine saubere Schleife macht Probleme früher sichtbar als ein großer unkontrollierter Datensatz.
Arbeiten Sie ein Beispiel durch
Anschauliche Lernübung · geschrieben von botstest
Verwenden Sie eine Tischaufgabe mit konsistenten Resets. Bewahren Sie die Roboteridentität und die Kalibrierungsaufzeichnung mit dem Datensatz auf, trainieren Sie eine Basislinie und werten Sie sie bei vorab deklarierten ausgehaltenen Starts unter Aufsicht aus.
- Überprüfen Sie zunächst die Kalibrierung und die Kamerabeobachtungen.
- Zeichnen Sie vor der Skalierung einen kleinen Datensatz auf und prüfen Sie ihn.
- Speichern Sie Trainings- und Evaluierungskonfigurationen mit dem Checkpoint.
Wenn sich das wiedergegebene Verhalten nach der erneuten Verbindung ändert, überprüfen Sie vor dem erneuten Training die Kalibrierungsidentität und die Aktionskonventionen.
Referenzbasis: Nachahmungslernen an realen Robotern. Das Beispiel und die exemplarische Vorgehensweise sind redaktionelle Anwendungen der Quelle.
Lernen Sie in dieser Reihenfolge
- Teleoperationskalibrierung und Bedienerkonsistenz
- Ausgehaltene Episoden und Objektlecks
- Grundlegende Trainingskonfiguration und Checkpoint-Auswahl
Lesen und dann bewerben
Hugging Face · LeRobot · Technisches Tutorial
Nachahmungslernen an realen Robotern
Lesen Sie: Befolgen Sie vor dem Training und der Evaluierung die Einrichtung und Aufzeichnung; Überprüfen Sie zunächst die roboterspezifischen Voraussetzungen.
Nutzen Sie die End-to-End-Sequenz, um die Roboterkalibrierung, -aufzeichnung, -schulung und -auswertung miteinander in Verbindung zu halten.
Wenden Sie es an: Halten Sie die Roboteridentität und -kalibrierung bei der Aufzeichnung und Auswertung konsistent. Optionen zum Hochladen von Datensätzen aufzeichnen.
Setzen Sie es in die Praxis um
- Sammeln oder kuratieren Sie einen kleinen Datensatz mit fester Aufgabe und trainieren Sie eine unterstützte Basislinie.
- Vergleichen Sie zwei Datenqualitätsbedingungen mit demselben Auswertungsaufbau.
Eine versionierte Datensatzteilmenge, ein Basiskontrollpunkt und ein Qualitätsvergleich.
Bereit für den nächsten Schritt, wenn…
Ressourcen für diese Phase
Erkunden Sie einen kleinen Teleoperationsarm. Bestätigen Sie die Montage, Kalibrierung und die genaue Unterstützung der Hardware-Revision.
Befolgen Sie Roboterdatenaufzeichnungs-, Datensatz-, Richtlinien- und Bewertungsworkflows für unterstützte Hardware und Software.
Studieren Sie Offline-Demonstrations-Lern-Workflows und kontrollierte Richtlinienvergleiche.
Professionell
Generalisierung auswerten und Workflow freigeben
Geben Sie an, wo die erlernte Richtlinie funktioniert und wo ein Eingreifen erforderlich ist.
Wie diese Phase funktioniert
Bei der Generalisierung handelt es sich um eine erprobte Grenze, nicht um eine Eigenschaft, die durch ein paar attraktive Rollouts festgelegt wird. Designänderungen, die jeweils eine Annahme prüfen.
Arbeiten Sie ein Beispiel durch
Anschauliche Lernübung · geschrieben von botstest
Verwenden Sie ein vorgeschlagenes Arbeitsblatt mit zehn Versuchen: Acht Versuche werden autonom beendet, einer wird nach einer menschlichen Korrektur beendet und einer endet mit einer Zeitüberschreitung. Die autonome Vervollständigung liegt bei acht von zehn; das betreute Ergebnis wird gesondert erfasst. Wiederholen Sie diesen Vorgang und berücksichtigen Sie dabei ein verändertes Objekt oder eine veränderte Szene, anstatt einfachere Basisversuche mit veränderten Bedingungen zusammenzuführen.
- Deklarieren Sie die Evaluierungsbedingungen vor der Optimierung.
- Erfassen Sie autonome Vervollständigungen und menschliche Korrekturen getrennt.
- Freigabeverarbeitung, Modell- und Evaluierungsherkunft zusammen.
Verschmelzen Sie nicht von Menschen korrigierte Versuche zu autonomen Erfolgen; Berichten Sie, welche Hilfe das Ergebnis verändert hat.
Referenzbasis: Reproduktion veröffentlichter Experimente und Ergebnisse. Das Beispiel und die exemplarische Vorgehensweise sind redaktionelle Anwendungen der Quelle.
Lernen Sie in dieser Reihenfolge
- Verschobene Objekte, Szenen und Startzustände
- Interventionsabrechnung und -wiederherstellung
- Einschränkungen bei Cross-Embody-Übertragung und Hardware-Übertragung
Lesen und dann bewerben
robomimic core team · Technisches Tutorial
Reproduktion veröffentlichter Experimente und Ergebnisse
Lesen Sie: Schließen Sie die verknüpften Schulungs- und Ergebnis-Tutorials ab, bevor Sie eine veröffentlichte Reproduktion versuchen.
Nutzen Sie die Reproduktionsvoraussetzungen, um ein vergleichbares Experiment von einer annähernd ähnlichen Demonstration zu unterscheiden.
Wenden Sie es an: Geben Sie die genauen Anweisungen zur Datensatzverarbeitung, Konfiguration und Auswertung frei, die für jeden Kontrollpunkt verwendet werden.
Setzen Sie es in die Praxis um
- Führen Sie eine vorab deklarierte Bewertungsmatrix mit wiederholbaren Zurücksetzungen aus.
- Geben Sie Anweisungen zur Sammlung, Verarbeitung und Auswertung mit einem ehrlichen Fehlerbericht frei.
Ein vollständiger Bericht von der Demonstration bis zur Evaluierung und reproduzierbare Artefakte.
Bereit für den nächsten Schritt, wenn…
Ressourcen für diese Phase
Studieren Sie das ursprüngliche bimanuelle Forschungsdesign. Ältere kommerzielle ALOHA-Hardware hat das Ende ihrer Lebensdauer erreicht. Überprüfen Sie Teile und aktuelle Alternativen.
Untersuchen Sie die Handheld-Demonstrationssammlung und wie ihre Kalibrierung und Aktionsdarstellung auf einen Zielroboter übertragen wird.
Studieren Sie einen Arbeitsablauf zur Erfassung von Manipulationsdaten und seine Verkörperung und Umgebungsannahmen.
Häufige Fallstricke
- Vorausgesetzt, weitere Demonstrationen beheben eine fehlerhafte Zeitstempelkonvention.
- Bewertungsszenen ohne Offenlegung in das Training einbinden.
Wohin als nächstes?
Fahren Sie mit dem VLA-Vergleich erst fort, wenn Sie die einfachere Richtlinie und die Datenqualitätsgrundlinie verstanden haben.
Entdecken Sie andere forschung Wege →