Voordat je begint
Beginnende kennis
- Comfort met Python, data-arrays en begeleide leerconcepten.
- Begrijp de kalibratieprocedure van de robot en de camera.
Uitrusting & omgeving
Gebruik eerst een offline dataset of simulator. Voor hardwaredemonstraties is een bewaakte opnameruimte en een gedocumenteerde resetprocedure nodig.
Geen vaste voltooiingstijd: gebruik de onderstaande bewijspoorten om te beslissen wanneer je verder moet gaan. Bronkoppelingen openen de meest botste mapvermelding; controleer de documentatie van de uitgever voor de exacte versie en configuratie.
Beginner
Controleer de gegevens vóór de training
Begrijp hoe observaties, acties en episoden worden weergegeven.
Hoe deze fase werkt
Een demonstratie is gesynchroniseerd bewijsmateriaal over observatie en actie, en niet slechts een video van een succesvolle taak. Inspecteer de weergave ervan voordat u meer afleveringen verzamelt.
Werk een voorbeeld door
Illustratieve studieoefening · geschreven door botstest
Inspecteer één as in een opgenomen episode: de huidige positie is 0,4 radialen en de opgeslagen actie is 0,1. Als de actie een absoluut doel is, is het doel 0,1; als het een delta is, is het doel 0,5. Dezelfde array beschrijft dus ander gedrag. Los de conventie op uit de verzameling en metagegevens van de controller voordat u het voorbeeld gebruikt.
- Inspecteer metadata en afleveringsgrenzen.
- Visualiseer observaties met status-/actiesporen.
- Ontbrekende, verouderde of beschadigde documenten.
Vloeiende video kan een fout in de timing van een actie verbergen; inspecteer de bijbehorende status en tijdstempels.
Referentiebasis: LeRobotDataset v3.0. Het voorbeeld en de walkthrough zijn redactionele toepassingen van de bron.
Leer in deze volgorde
- Afleveringsgrenzen, tijdstempels en eenheden
- Actierepresentatie en belichaming
- Herkomst en toegestaan gebruik van de dataset
Lezen en dan solliciteren
Hugging Face · LeRobot · Referentiedocumentatie
LeRobotDataset v3.0
Lees: Inspecteer de datasetstructuur en metagegevens voordat u afleveringen wijzigt of combineert.
Gebruik de datastructuur om episoden, observaties, handelingen en verwerkingsherkomsten inzichtelijk te maken.
Pas het toe: Audit één aflevering van cameraobservaties via metagegevens over acties/statussen en tijdafstemming.
Breng het in de praktijk
- Laad een kleine demonstratiedataset en inspecteer frames en acties.
- Schrijf een schemanotitie en identificeer ontbrekende of verkeerd uitgelijnde observaties.
Een dataset-inspectieboekje en schema/toestemmingsnota.
Klaar voor de volgende stap wanneer…
Hulpmiddelen voor deze fase
Volg de workflows voor het vastleggen van robotgegevens, datasets, beleid en evaluatie voor ondersteunde hardware en software.
Inspecteer een manipulatiedataset en de verzamelvoorwaarden voordat u trainings- en evaluatiesplitsingen ontwerpt.
Onderzoek demonstratiegegevens van meerdere uitvoeringsvormen, metadata, licenties en actieconventies.
Gemiddeld
Een begrensde taak opnemen en trainen
Bouw een betrouwbare verzameling-naar-training-lus voor één taak.
Hoe deze fase werkt
Bij het verzamelen, trainen en evalueren moeten compatibele robot- en dataconventies worden gebruikt. Een kleine schone lus legt eerder problemen bloot dan een grote, ongecontroleerde dataset.
Werk een voorbeeld door
Illustratieve studieoefening · geschreven door botstest
Gebruik één tabletop-taak met consistente resets. Bewaar de robotidentiteit en het kalibratierecord bij de dataset, train een basislijn en evalueer deze op vooraf aangegeven uitgestelde starts onder toezicht.
- Controleer eerst de kalibratie en camerawaarnemingen.
- Registreer en inspecteer een kleine dataset voordat u deze opschaalt.
- Bewaar trainings- en evaluatieconfiguraties met het checkpoint.
Als het herhaalde gedrag verandert nadat er opnieuw verbinding is gemaakt, controleer dan de kalibratie-identiteit en actieconventies voordat u opnieuw traint.
Referentiebasis: Imitatieleren op echte robots. Het voorbeeld en de walkthrough zijn redactionele toepassingen van de bron.
Leer in deze volgorde
- Kalibratie van teleoperaties en consistentie van de operator
- Langdurige episodes en lekkage van objecten
- Configuratie van basislijntraining en selectie van controlepunten
Lezen en dan solliciteren
Hugging Face · LeRobot · Technische handleiding
Imitatieleren op echte robots
Lees: Volg de installatie en opname vóór training en evaluatie; inspecteer eerst de robotspecifieke vereisten.
Gebruik de end-to-end-reeks om robotkalibratie, registratie, training en evaluatie verbonden te houden.
Pas het toe: Houd de identiteit en kalibratie van de robot consistent bij opname en evaluatie; registreer keuzes voor het uploaden van datasets.
Breng het in de praktijk
- Verzamel of beheer een kleine dataset met vaste taken en train een ondersteunde basislijn.
- Vergelijk twee gegevenskwaliteitsomstandigheden met dezelfde evaluatieopstelling.
Een dataset-subset met versiebeheer, basislijncontrolepunt en kwaliteitsvergelijking.
Klaar voor de volgende stap wanneer…
Hulpmiddelen voor deze fase
Ontdek een kleine teleoperatiearm; bevestig montage, kalibratie en exacte ondersteuning voor hardwarerevisie.
Volg de workflows voor het vastleggen van robotgegevens, datasets, beleid en evaluatie voor ondersteunde hardware en software.
Bestudeer offline demonstratie-leerworkflows en gecontroleerde beleidsvergelijkingen.
Professioneel
Evalueer de generalisatie en geef de workflow vrij
Geef aan waar het geleerde beleid werkt en waar interventie nodig is.
Hoe deze fase werkt
Generalisatie is een beproefde grens, geen eigenschap die door een paar aantrekkelijke implementaties wordt vastgesteld. Ontwerp veranderingen die één aanname tegelijk onderzoeken.
Werk een voorbeeld door
Illustratieve studieoefening · geschreven door botstest
Gebruik een voorgesteld werkblad met tien pogingen: acht pogingen eindigen autonoom, één eindigt na een menselijke correctie en één keer eindigt. Autonome voltooiing is acht op tien; het ondersteunde resultaat wordt afzonderlijk geregistreerd. Herhaal dit, rekening houdend met een veranderd object of scène, in plaats van gemakkelijkere basisstudies samen te voegen met verschoven omstandigheden.
- Verklaar de evaluatievoorwaarden vóór het afstemmen.
- Registreer autonome voltooiing en menselijke correcties afzonderlijk.
- Geef verwerking, model en evaluatie herkomst samen vrij.
Voeg door mensen gecorrigeerde beproevingen niet samen in autonome successen; rapporteer welke hulp de uitkomst heeft veranderd.
Referentiebasis: Gepubliceerde experimenten en resultaten reproduceren. Het voorbeeld en de walkthrough zijn redactionele toepassingen van de bron.
Leer in deze volgorde
- Verschoven objecten, scènes en startstatussen
- Interventieboekhouding en herstel
- Cross-uitvoeringsvormen en hardware-overdrachtsbeperkingen
Lezen en dan solliciteren
robomimic core team · Technische handleiding
Gepubliceerde experimenten en resultaten reproduceren
Lees: Voltooi de gekoppelde training en resultatentutorials voordat u een gepubliceerde reproductie probeert.
Gebruik de reproductievoorwaarden om een vergelijkbaar experiment te onderscheiden van een losjes vergelijkbare demonstratie.
Pas het toe: Geef de exacte gegevenssetverwerkings-, configuratie- en evaluatie-instructies vrij die voor elk controlepunt zijn gebruikt.
Breng het in de praktijk
- Voer een vooraf aangegeven evaluatiematrix uit met herhaalbare resets.
- Geef verzamel-, verwerkings- en evaluatie-instructies vrij met een eerlijke storingsrapportage.
Een compleet demonstratie-tot-evaluatierapport en reproduceerbare artefacten.
Klaar voor de volgende stap wanneer…
Hulpmiddelen voor deze fase
Bestudeer het originele bimanuele onderzoeksontwerp. Oudere commerciële ALOHA-hardware heeft het einde van zijn levensduur; verifieer onderdelen en huidige alternatieven.
Onderzoek de draagbare demonstratiecollectie en hoe de kalibratie en actierepresentatie ervan worden overgedragen naar een doelrobot.
Bestudeer een workflow voor het verzamelen van manipulatiegegevens en de belichaming ervan en de omgevingsaannames.
Veelvoorkomende valkuilen
- Ervan uitgaande dat meer demonstraties een gebroken tijdstempelconventie repareren.
- Evaluatiescènes combineren met training zonder openbaarmaking.
Waar moet je heen?
Ga alleen verder met VLA-vergelijking als het eenvoudigere beleid en de basislijn voor gegevenskwaliteit worden begrepen.
Ontdek andere onderzoek paden →