Antes de comenzar
Conocimiento inicial
- Comodidad con Python, matrices de datos y conceptos de aprendizaje supervisado.
- Comprender el procedimiento de calibración del robot y la cámara.
Equipo & medio ambiente
Utilice primero un conjunto de datos o un simulador fuera de línea. Las demostraciones de hardware necesitan un espacio de grabación supervisado y un procedimiento de reinicio documentado.
No hay un tiempo de finalización fijo: utiliza las puertas de evidencia a continuación para decidir cuándo avanzar. Los enlaces de recursos abren la entrada del directorio botstest; consulte la documentación del editor para conocer la versión y configuración exactas.
principiante
Inspeccionar los datos antes del entrenamiento.
Comprender cómo se representan observaciones, acciones y episodios.
Cómo funciona esta etapa
Una demostración es evidencia sincronizada sobre observación y acción, no solo un video de una tarea exitosa. Inspecciona su representación antes de recopilar más episodios.
Trabajar a través de un ejemplo
Ejercicio de estudio ilustrativo · escrito por botstest
Inspeccione un eje en un episodio grabado: la posición actual es 0,4 radianes y la acción almacenada es 0,1. Si la acción es un objetivo absoluto, el objetivo es 0,1; si es un delta, el objetivo es 0,5. Por tanto, la misma matriz describe un comportamiento diferente. Resuelva la convención de los metadatos de la colección y del controlador antes de usar la muestra.
- Inspeccione los metadatos y los límites de los episodios.
- Visualice observaciones con seguimientos de estado/acción.
- Documentos faltantes, muestras obsoletas o corruptas.
Un vídeo fluido puede ocultar un error de sincronización de la acción; inspeccionar el estado asociado y las marcas de tiempo.
Base de referencia: LeRobotDataset v3.0. El ejemplo y el tutorial son aplicaciones editoriales de la fuente.
Aprende en este orden
- Límites, marcas de tiempo y unidades del episodio
- Representación y encarnación de la acción.
- Procedencia del conjunto de datos y uso permitido
Leer y luego aplicar
Hugging Face · LeRobot · Documentación de referencia
LeRobotDataset v3.0
Leer: Inspeccione la estructura del conjunto de datos y los metadatos antes de modificar o combinar episodios.
Utilice la estructura de datos para hacer que los episodios, observaciones, acciones y procedencia del procesamiento sean inspeccionables.
Aplicarlo: Audite un episodio a partir de observaciones de la cámara a través de metadatos de acción/estado y alineación temporal.
Ponlo en practica
- Cargue un pequeño conjunto de datos de demostración e inspeccione fotogramas y acciones.
- Escriba una nota de esquema e identifique observaciones faltantes o desalineadas.
Un cuaderno de inspección del conjunto de datos y una nota de esquema/permiso.
Listo para el siguiente paso cuando...
Recursos para esta etapa
Siga los flujos de trabajo de registro de datos de robots, conjuntos de datos, políticas y evaluación para el hardware y software compatibles.
Inspeccione un conjunto de datos de manipulación y sus condiciones de recopilación antes de diseñar divisiones de capacitación y evaluación.
Examine datos de demostración de múltiples realizaciones, metadatos, licencias y convenciones de acción.
Intermedio
Grabar y entrenar una tarea acotada
Cree un circuito confiable de recopilación a entrenamiento para una tarea.
Cómo funciona esta etapa
La recopilación, la capacitación y la evaluación deben utilizar convenciones de datos y robots compatibles. Un pequeño bucle limpio expone los problemas antes que un gran conjunto de datos no controlado.
Trabajar a través de un ejemplo
Ejercicio de estudio ilustrativo · escrito por botstest
Utilice una tarea de mesa con reinicios consistentes. Mantenga la identidad del robot y el registro de calibración con el conjunto de datos, entrene una línea de base y evalúela en arranques retenidos previamente declarados bajo supervisión.
- Primero verifique la calibración y las observaciones de la cámara.
- Registre e inspeccione un pequeño conjunto de datos antes de escalarlo.
- Guarde las configuraciones de capacitación y evaluación con el punto de control.
Cuando el comportamiento reproducido cambia después de la reconexión, inspeccione la identidad de calibración y las convenciones de acción antes de volver a entrenar.
Base de referencia: Aprendizaje por imitación en robots del mundo real. El ejemplo y el tutorial son aplicaciones editoriales de la fuente.
Aprende en este orden
- Calibración de teleoperación y coherencia del operador.
- Episodios retenidos y fuga de objetos.
- Configuración de entrenamiento de referencia y selección de puntos de control
Leer y luego aplicar
Hugging Face · LeRobot · tutorial técnico
Aprendizaje por imitación en robots del mundo real
Leer: Siga la configuración y grabación antes de la capacitación y evaluación; Inspeccione primero los requisitos previos específicos del robot.
Utilice la secuencia de un extremo a otro para mantener conectadas la calibración, el registro, la capacitación y la evaluación del robot.
Aplicarlo: Mantenga la identidad y la calibración del robot consistentes durante el registro y la evaluación; registrar opciones de carga de conjuntos de datos.
Ponlo en practica
- Recopile o seleccione un pequeño conjunto de datos de tareas fijas y capacite una línea de base compatible.
- Compare dos condiciones de calidad de datos utilizando la misma configuración de evaluación.
Un subconjunto de conjuntos de datos versionados, punto de control de referencia y comparación de calidad.
Listo para el siguiente paso cuando...
Recursos para esta etapa
Explora un pequeño brazo de teleoperación; Confirme el soporte de montaje, calibración y revisión exacta del hardware.
Siga los flujos de trabajo de registro de datos de robots, conjuntos de datos, políticas y evaluación para el hardware y software compatibles.
Estudie flujos de trabajo de demostración y aprendizaje fuera de línea y comparaciones controladas de políticas.
Profesional
Evaluar la generalización y liberar el flujo de trabajo.
Indique dónde funciona la política aprendida y dónde necesita intervención.
Cómo funciona esta etapa
La generalización es un límite probado, no una propiedad establecida por unos pocos lanzamientos atractivos. Cambios de diseño que prueban una suposición a la vez.
Trabajar a través de un ejemplo
Ejercicio de estudio ilustrativo · escrito por botstest
Utilice una hoja de trabajo propuesta de diez ensayos: ocho ensayos finalizan de forma autónoma, uno termina después de una corrección humana y el tercero se agota. La finalización autónoma es ocho sobre diez; el resultado asistido se registra por separado. Repita eso teniendo en cuenta un objeto o escena modificado en lugar de fusionar pruebas de referencia más sencillas con condiciones modificadas.
- Declare las condiciones de evaluación antes de realizar la sintonización.
- Registre la finalización autónoma y las correcciones humanas por separado.
- Procesamiento de versiones, modelo y procedencia de evaluación juntos.
No fusiones pruebas corregidas por humanos en éxitos autónomos; informar qué asistencia cambió el resultado.
Base de referencia: Reproducción de experimentos y resultados publicados. El ejemplo y el tutorial son aplicaciones editoriales de la fuente.
Aprende en este orden
- Objetos desplazados, escenas y estados de inicio.
- Contabilidad de intervención y recuperación.
- Limitaciones entre realizaciones y transferencia de hardware
Leer y luego aplicar
robomimic core team · tutorial técnico
Reproducción de experimentos y resultados publicados
Leer: Complete los tutoriales de capacitación y resultados vinculados antes de intentar una reproducción publicada.
Utilice los requisitos previos de reproducción para distinguir un experimento comparable de una demostración vagamente similar.
Aplicarlo: Publicar las instrucciones exactas de procesamiento, configuración y evaluación del conjunto de datos utilizadas para cada punto de control.
Ponlo en practica
- Ejecute una matriz de evaluación predeclarada con reinicios repetibles.
- Liberar instrucciones de recolección, procesamiento y evaluación con un informe de fallas honesto.
Un informe completo desde la demostración hasta la evaluación y artefactos reproducibles.
Listo para el siguiente paso cuando...
Recursos para esta etapa
Estudiar el diseño de investigación bimanual original. El hardware comercial ALOHA heredado ha llegado al final de su vida útil; verificar piezas y alternativas actuales.
Examine la colección de demostración portátil y cómo su calibración y representación de acción se transfieren a un robot objetivo.
Estudiar un flujo de trabajo de recopilación de datos de manipulación y su realización y supuestos ambientales.
Errores comunes
- Suponiendo que más demostraciones solucionen una convención de marca de tiempo rota.
- Mezclar escenas de evaluación con entrenamiento sin revelar nada.
Adónde ir a continuación
Proceda a la comparación de VLA solo cuando comprenda la política más simple y la línea base de calidad de los datos.
Explorar otros investigación caminos →