Innan du börjar
Startkunskap
- Förstå övervakat lärande och en grundläggande imitations-inlärningspipeline.
- Kunna inspektera datauppdelningar och robothandlingskonventioner.
Utrustning & miljö
Börja med publicerad modelldokumentation och offline- eller simuleringsutvärdering; undvika okontrollerad hårdvaruexekvering.
Ingen fast slutföringstid: använd bevisportarna nedan för att bestämma när du ska avancera. Resurslänkar öppnar botstest-katalogposten; kontrollera dess utgivardokumentation för den exakta versionen och konfigurationen.
Nybörjare
Kartlägg modellantaganden till uppgiften
Bestäm om en modellutgång på ett meningsfullt sätt kan utvärderas på din inställning.
Hur det här steget fungerar
En VLA-modell producerar åtgärder under speciella antaganden om visuella, språkliga och utförandeformer. Kompatibilitet måste fastställas innan prestanda jämförs.
Arbeta igenom ett exempel
Illustrativ studieövning · skriven av botstest
För en manipulationsuppgift, gör en tabell med bildinmatningar, instruktionsformat, åtgärdsdimensioner, enheter och robotgränssnitt. Markera alla fält som den tillgängliga modelldokumentationen inte löser.
- Inspektera modell och datadokumentation.
- Spåra en observation genom förbearbetning.
- Kontrollera vad en utgångsåtgärd betyder för målroboten.
Ett rimligt språksvar säger ingenting om huruvida åtgärdsrepresentationen matchar din kontroller.
Referensbas: OpenVLA: En öppen källkod Vision-Language-Action Model. Exemplet och genomgången är redaktionella tillämpningar av källan.
Lär dig i den här ordningen
- Bildförbehandling, språkinmatningar och handlingsformat
- Utbildningsdistributioner och utföringstäckning
- Modellvikter, licenser och beräkningskrav
Läs och ansök sedan
OpenVLA authors · Forskningsuppsats
OpenVLA: En öppen källkod Vision-Language-Action Model
Läs: Läs modell- och databeskrivningarna, följ sedan papperet/koden för den utvärdering du tänker återge.
Använd beskrivningen av modellen och utförandet för att bestämma vilka utvärderingsantaganden din installation faktiskt kan stödja.
Använd det: Kartlägg modellens indata, utdata och antaganden om utförande till en kandidatutvärderingsuppgift.
Omsätt det i praktiken
- Jämför de dokumenterade indata och utdata från två kandidatmodeller.
- Spåra en datauppsättningsepisod till det format som krävs av en vald baslinje.
En modell/uppgiftskompatibilitetsmatris och ett validerat prov.
Redo för nästa steg när...
Resurser för detta skede
Studera en vision-språk-handlingsmodell, dess utbildningsantaganden och avsedda implementeringsgränssnitt.
Utforska en kompakt VLA-inlärningsresurs; verifiera policy- och hårdvaruantagandena i dess dokumentation.
Undersök demonstrationsdata, metadata, licenser och handlingskonventioner med flera utföranden.
Mellanliggande
Skapa en matchad utvärderingssele
Håll uppgifter, återställningar och mätvärden konstanta över modellval.
Hur det här steget fungerar
Bygg en utvärderare och håll dess uppgiftsförhållanden konstanta. Annars kan förbearbetning, scenval eller kontrollpunktsinställning dominera jämförelsen.
Arbeta igenom ett exempel
Illustrativ studieövning · skriven av botstest
Utvärdera två kandidatkontrollpunkter på samma deklarerade uppgiftsuppsättning. Håll återställningsregler, timeouts och interventionsräkning fixade; variera ett bildtillstånd endast i en separat märkt ablation.
- Frys uppgifter och uppdelningar innan modellval.
- Spara uppmaningar och förbearbetning med varje körning.
- Inkludera fel-, timeout- och latensposter.
Om en modell får lättare scener eller en annan framgångsregel är dess poäng inte direkt jämförbar.
Referensbas: Korsvalidering: Utvärdera Estimatorprestanda. Exemplet och genomgången är redaktionella tillämpningar av källan.
Lär dig i den här ordningen
- Uppgiftsfördelningar, kontrollpunkter och deterministisk inställning
- Mätvärden för latens, intervention och slutförande
- Snabba ändringar och felkategorisering
Läs och ansök sedan
scikit-learn developers · Praktisk guide
Korsvalidering: Utvärdera Estimatorprestanda
Läs: Läs den utdragna utvärderingsdiskussionen och den delade strategin som är lämplig för dina databeroende.
Använd beroendemedvetna splittringar för att skydda bevisen från träning och justeringsbeslut.
Använd det: Frys den uthållna uppgiften/scenuppdelningen innan du väljer uppmaningar, kontrollpunkter eller finjusteringsinställningar.
Omsätt det i praktiken
- Utvärdera en liten fast uppgiftsuppsättning med hjälp av dokumenterade benchmarkprotokoll.
- Kör en ablation på ett ingångsvillkor och håll resten oförändrat.
En versionerad utvärderingssele och jämförelse av baslinje.
Redo för nästa steg när...
Resurser för detta skede
Undersök ett manipulationsriktmärke och bevara dess uppgiftsdefinitioner, uppdelningar och utvärderingsvillkor.
Följ robotdatainspelning, datauppsättning, policy och utvärderingsarbetsflöden för hårdvara och mjukvara som stöds.
Bygg repeterbara manipulationsuppgifter i en simulerad benchmarkmiljö.
Professionell
Granskningens robusthet och distributionsgränser
Ta fram en evidensbaserad redogörelse för modellens förmåga.
Hur det här steget fungerar
Ett implementeringsbeslut kräver mer än ett riktmärke. Beskriv den testade distributionen och exekveringsgränserna för det faktiska systemet.
Arbeta igenom ett exempel
Illustrativ studieövning · skriven av botstest
Konstruera ett beslutsblad för den valda modellen: objekt som stöds, visuella förhållanden, kommandogränssnitt och uppmätt svarstid. Lämna otestade kombinationer uttryckligen olösta i stället för att sluta sig till kapacitet från relaterade videor.
- Sonden deklarerade visuella förändringar och instruktionsändringar.
- Inspektera effekten på kontrollarbetsflödet.
- Skriv stödda, ostödda och oprövade villkor separat.
Översätt inte simuleringsframgång till ett anspråk på fysisk autonomi utan en separat övervakad överföringsutvärdering.
Referensbas: Reproducera publicerade experiment och resultat. Exemplet och genomgången är redaktionella tillämpningar av källan.
Lär dig i den här ordningen
- Generalisering kontra memorerade scenförhållanden
- Beräknings- och kontrollloopbegränsningar
- Real-robot överföring och övervakad validering
Läs och ansök sedan
robomimic core team · Teknisk handledning
Reproducera publicerade experiment och resultat
Läs: Slutför den länkade utbildningen och resultathandledningarna innan du försöker en publicerad reproduktion.
Använd reproduktionsförutsättningarna för att skilja ett jämförbart experiment från en löst liknande demonstration.
Använd det: Spåra varje rapporterat resultat till modell-, data-, miljö- och utvärderingskonfigurationsversioner.
Omsätt det i praktiken
- Testa en deklarerad uppsättning objekt, språk eller visuella förändringar.
- Skriv ett implementeringsbeslut med villkor som inte stöds och eskaleringsregler.
En robusthetsrapport, resursbudget och beslut om beredskap för driftsättning.
Redo för nästa steg när...
Resurser för detta skede
Utforska hur manipulationspolicyer utvärderas; separata riktmärkebevis från implementeringsanspråk.
Studera ett arbetsflöde för manipulation av datainsamling och dess utformning och miljöantaganden.
Utforska robotsimulering och syntetiska scener; kontrollera hårdvarukrav och släppkompatibilitet.
Vanliga fallgropar
- Jämför rubrikresultat från inkompatibla utvärderingsprotokoll.
- Behandla språkflytande som bevis på tillförlitlig fysisk handling.
Vart ska man gå härnäst
Anslut den utvärderade modellen till ett övervakat manipulationsprojekt först efter att kompatibilitets- och latensgrindarna är uppfyllda.
Utforska andra forskning vägar →