Innan du börjar
Startkunskap
- Komfort med Python, datamatriser och övervakade inlärningskoncept.
- Förstå robot- och kamerakalibreringsproceduren.
Utrustning & miljö
Använd en offlinedatauppsättning eller simulator först. Hårdvarudemonstrationer kräver ett övervakat inspelningsutrymme och dokumenterad återställningsprocedur.
Ingen fast slutföringstid: använd bevisportarna nedan för att bestämma när du ska avancera. Resurslänkar öppnar botstest-katalogposten; kontrollera dess utgivardokumentation för den exakta versionen och konfigurationen.
Nybörjare
Inspektera data före träning
Förstå hur observationer, handlingar och episoder representeras.
Hur det här steget fungerar
En demonstration är synkroniserade bevis om observation och handling, inte bara en video av en lyckad uppgift. Inspektera dess representation innan du samlar in fler avsnitt.
Arbeta igenom ett exempel
Illustrativ studieövning · skriven av botstest
Inspektera en axel i en inspelad episod: aktuell position är 0,4 radianer och den lagrade åtgärden är 0,1. Om åtgärden är ett absolut mål är målet 0,1; om det är ett delta är målet 0,5. Samma array beskriver därför olika beteende. Lös konventionen från insamlingen och kontrollanternas metadata innan du använder provet.
- Inspektera metadata och avsnittsgränser.
- Visualisera observationer med tillstånd/handlingsspår.
- Dokument saknade, inaktuella eller skadade prover.
Smidig video kan dölja ett åtgärdstidsfel; inspektera tillhörande tillstånd och tidsstämplar.
Referensbas: LeRobotDataset v3.0. Exemplet och genomgången är redaktionella tillämpningar av källan.
Lär dig i den här ordningen
- Avsnittsgränser, tidsstämplar och enheter
- Handlingsrepresentation och förkroppsligande
- Dataset härkomst och tillåten användning
Läs och ansök sedan
Hugging Face · LeRobot · Referensdokumentation
LeRobotDataset v3.0
Läs: Inspektera datasetstrukturen och metadata innan du ändrar eller kombinerar episoder.
Använd datastrukturen för att göra episoder, observationer, handlingar och bearbetning av härkomst inspekterbara.
Använd det: Granska en episod från kameraobservationer genom handling/tillståndsmetadata och tidsjustering.
Omsätt det i praktiken
- Ladda en liten demonstrationsdatauppsättning och inspektera ramar och åtgärder.
- Skriv en schemanotering och identifiera saknade eller felaktiga observationer.
En anteckningsbok för datauppsättningsinspektion och schema/tillståndsanteckning.
Redo för nästa steg när...
Resurser för detta skede
Följ robotdatainspelning, datauppsättning, policy och utvärderingsarbetsflöden för hårdvara och mjukvara som stöds.
Inspektera en manipulationsdatauppsättning och dess insamlingsförhållanden innan du utformar utbildnings- och utvärderingsdelar.
Undersök demonstrationsdata, metadata, licenser och handlingskonventioner med flera utföranden.
Mellanliggande
Spela in och träna en avgränsad uppgift
Bygg en pålitlig samling-till-träningsslinga för en uppgift.
Hur det här steget fungerar
Insamling, utbildning och utvärdering måste använda kompatibla robot- och datakonventioner. En liten ren loop avslöjar problem tidigare än en stor okontrollerad datauppsättning.
Arbeta igenom ett exempel
Illustrativ studieövning · skriven av botstest
Använd en bordsuppgift med konsekventa återställningar. Behåll robotidentiteten och kalibreringsposten med datamängden, träna en baslinje och utvärdera den på fördeklarerade uthållna starter under övervakning.
- Verifiera kalibrering och kameraobservationer först.
- Spela in och inspektera en liten datauppsättning före skalning.
- Spara tränings- och utvärderingskonfigurationer med kontrollpunkten.
När uppspelat beteende ändras efter återanslutning, inspektera kalibreringsidentitet och åtgärdskonventioner innan omträning.
Referensbas: Imitationsinlärning på verkliga robotar. Exemplet och genomgången är redaktionella tillämpningar av källan.
Lär dig i den här ordningen
- Teleoperationskalibrering och operatörskonsistens
- Uthållna episoder och föremålsläckage
- Baslinjeutbildningskonfiguration och val av kontrollpunkt
Läs och ansök sedan
Hugging Face · LeRobot · Teknisk handledning
Imitationsinlärning på verkliga robotar
Läs: Följ uppsättning och inspelning innan träning och utvärdering; inspektera de robotspecifika förutsättningarna först.
Använd end-to-end-sekvensen för att hålla robotkalibrering, registrering, träning och utvärdering uppkopplade.
Använd det: Håll robotens identitet och kalibrering konsekvent under inspelning och utvärdering; registrera datauppladdningsval.
Omsätt det i praktiken
- Samla eller kurera en liten datauppsättning med fasta uppgifter och träna en baslinje som stöds.
- Jämför två datakvalitetsförhållanden med samma utvärderingsinställning.
En versionerad datamängd, baslinjekontrollpunkt och kvalitetsjämförelse.
Redo för nästa steg när...
Resurser för detta skede
Utforska en liten teleoperationsarm; bekräfta montering, kalibrering och exakt hårdvaruversionsstöd.
Följ robotdatainspelning, datauppsättning, policy och utvärderingsarbetsflöden för hårdvara och mjukvara som stöds.
Studera offline demonstrations-inlärningsarbetsflöden och kontrollerade policyjämförelser.
Professionell
Utvärdera generalisering och släpp arbetsflödet
Ange var den lärda policyn fungerar och var den behöver ingripa.
Hur det här steget fungerar
Generalisering är en beprövad gräns, inte en egenskap som etablerats av ett fåtal attraktiva lanseringar. Designändringar som undersöker ett antagande i taget.
Arbeta igenom ett exempel
Illustrativ studieövning · skriven av botstest
Använd ett föreslaget arbetsblad med tio försök: åtta försök avslutas autonomt, en avslutas efter en mänsklig korrigering och en timeout. Autonomt slutförande är åtta av tio; det assisterade resultatet registreras separat. Upprepa detta med hänsyn till ett ändrat objekt eller scen istället för att slå samman enklare baslinjeförsök med ändrade förhållanden.
- Deklarera utvärderingsvillkoren före justering.
- Spela in autonomt slutförande och mänskliga korrigeringar separat.
- Release bearbetning, modell och utvärdering proveniens tillsammans.
Slå inte samman mänskligt korrigerade försök till autonoma framgångar; rapportera vilken assistans som förändrade resultatet.
Referensbas: Reproducera publicerade experiment och resultat. Exemplet och genomgången är redaktionella tillämpningar av källan.
Lär dig i den här ordningen
- Flyttade objekt, scener och starttillstånd
- Interventionsredovisning och återvinning
- Begränsningar för tvärutförande och hårdvaruöverföring
Läs och ansök sedan
robomimic core team · Teknisk handledning
Reproducera publicerade experiment och resultat
Läs: Slutför den länkade utbildningen och resultathandledningarna innan du försöker en publicerad reproduktion.
Använd reproduktionsförutsättningarna för att skilja ett jämförbart experiment från en löst liknande demonstration.
Använd det: Släpp de exakta databearbetnings-, konfigurations- och utvärderingsinstruktionerna som används för varje kontrollpunkt.
Omsätt det i praktiken
- Kör en fördeklarerad utvärderingsmatris med repeterbara återställningar.
- Släpp insamlings-, bearbetnings- och utvärderingsinstruktioner med en ärlig misslyckanderapport.
En komplett rapport från demonstration till utvärdering och reproducerbara artefakter.
Redo för nästa steg när...
Resurser för detta skede
Studera den ursprungliga bimanuella forskningsdesignen. Äldre kommersiell ALOHA-hårdvara är uttjänt; verifiera delar och aktuella alternativ.
Undersök handhållen demonstrationssamling och hur dess kalibrering och handlingsrepresentation överförs till en målrobot.
Studera ett arbetsflöde för manipulation av datainsamling och dess utformning och miljöantaganden.
Vanliga fallgropar
- Förutsatt att fler demonstrationer fixar en trasig tidsstämpelkonvention.
- Blanda utvärderingsscener till träning utan avslöjande.
Vart ska man gå härnäst
Fortsätt till VLA-jämförelse endast när den enklare policyn och baslinjen för datakvalitet förstås.
Utforska andra forskning vägar →