Antes de comenzar
Conocimiento inicial
- Comprender el aprendizaje supervisado y un proceso básico de aprendizaje por imitación.
- Ser capaz de inspeccionar divisiones de conjuntos de datos y convenciones de acción de robots.
Equipo & medio ambiente
Comience con la documentación del modelo publicada y la evaluación fuera de línea o mediante simulación; Evite la ejecución incontrolada de hardware.
No hay un tiempo de finalización fijo: utiliza las puertas de evidencia a continuación para decidir cuándo avanzar. Los enlaces de recursos abren la entrada del directorio botstest; consulte la documentación del editor para conocer la versión y configuración exactas.
principiante
Asigne los supuestos del modelo a la tarea.
Decida si el resultado de un modelo se puede evaluar de manera significativa en su configuración.
Cómo funciona esta etapa
Un modelo VLA produce acciones bajo supuestos visuales, de lenguaje y de encarnación particulares. Se debe establecer la compatibilidad antes de comparar el rendimiento.
Trabajar a través de un ejemplo
Ejercicio de estudio ilustrativo · escrito por botstest
Para una tarea de manipulación, cree una tabla de entradas de imágenes, formato de instrucción, dimensiones de acción, unidades e interfaz del robot. Marque cualquier campo que la documentación del modelo disponible no resuelva.
- Inspeccionar la documentación del modelo y de los datos.
- Traza una observación mediante preprocesamiento.
- Compruebe qué significa una acción de salida para el robot objetivo.
Una respuesta en lenguaje plausible no dice nada acerca de si la representación de la acción coincide con su controlador.
Base de referencia: OpenVLA: Un modelo de visión-lenguaje-acción de código abierto. El ejemplo y el tutorial son aplicaciones editoriales de la fuente.
Aprende en este orden
- Preprocesamiento de imágenes, entradas de lenguaje y formatos de acción.
- Distribuciones de formación y cobertura de realización.
- Pesos de modelos, licencias y requisitos informáticos
Leer y luego aplicar
OpenVLA authors · Trabajo de investigación
OpenVLA: Un modelo de visión-lenguaje-acción de código abierto
Leer: Lea las descripciones del modelo y de los datos, luego siga el documento/código para la evaluación que desea reproducir.
Utilice el modelo y la descripción de la realización para decidir qué supuestos de evaluación puede realmente respaldar su configuración.
Aplicarlo: Asigne las entradas, salidas y supuestos de realización del modelo a una tarea de evaluación candidata.
Ponlo en practica
- Compare las entradas y salidas documentadas de dos modelos candidatos.
- Trace un episodio del conjunto de datos en el formato requerido por una línea de base elegida.
Una matriz de compatibilidad modelo/tarea y una muestra validada.
Listo para el siguiente paso cuando...
Recursos para esta etapa
Estudiar un modelo de visión-lenguaje-acción, sus supuestos de entrenamiento y las interfaces de implementación previstas.
Explore un recurso de aprendizaje VLA compacto; verificar las suposiciones de política y hardware en su documentación.
Examine datos de demostración de múltiples realizaciones, metadatos, licencias y convenciones de acción.
Intermedio
Crear un arnés de evaluación coincidente
Mantenga constantes las tareas, los restablecimientos y las métricas en todas las opciones de modelos.
Cómo funciona esta etapa
Construya un evaluador y mantenga constantes las condiciones de su tarea. De lo contrario, el preprocesamiento, la selección de escenas o el ajuste de puntos de control pueden dominar la comparación.
Trabajar a través de un ejemplo
Ejercicio de estudio ilustrativo · escrito por botstest
Evalúe dos puntos de control candidatos en el mismo conjunto de tareas declaradas. Mantener fijas las reglas de reinicio, los tiempos de espera y el conteo de intervenciones; variar la condición de una imagen solo en una ablación etiquetada por separado.
- Congele tareas y divisiones antes de la selección del modelo.
- Guarde indicaciones y preprocesamiento con cada ejecución.
- Incluya registros de fallas, tiempos de espera y latencia.
Si un modelo recibe escenas más fáciles o una regla de éxito diferente, su puntuación no es directamente comparable.
Base de referencia: Validación cruzada: evaluación del rendimiento del estimador. El ejemplo y el tutorial son aplicaciones editoriales de la fuente.
Aprende en este orden
- División de tareas, puntos de control y configuración determinista
- Métricas de latencia, intervención y finalización.
- Cambios rápidos y categorización de fallas.
Leer y luego aplicar
scikit-learn developers · guía practica
Validación cruzada: evaluación del rendimiento del estimador
Leer: Lea la discusión sobre evaluación pendiente y la estrategia de división adecuada a sus dependencias de datos.
Utilice divisiones conscientes de la dependencia para proteger la evidencia retenida de las decisiones de capacitación y ajuste.
Aplicarlo: Congele la división de tarea/escena retenida antes de seleccionar indicaciones, puntos de control o ajustar la configuración.
Ponlo en practica
- Evalúe un pequeño conjunto de tareas fijas utilizando protocolos de referencia documentados.
- Ejecute una ablación en una condición de entrada y mantenga el resto sin cambios.
Un arnés de evaluación versionado y una comparación de referencia.
Listo para el siguiente paso cuando...
Recursos para esta etapa
Investigue un punto de referencia de manipulación y conserve sus definiciones de tareas, divisiones y condiciones de evaluación.
Siga los flujos de trabajo de registro de datos de robots, conjuntos de datos, políticas y evaluación para el hardware y software compatibles.
Cree tareas de manipulación repetibles en un entorno de referencia simulado.
Profesional
Auditar la solidez y los límites de implementación
Producir una declaración basada en evidencia sobre la capacidad del modelo.
Cómo funciona esta etapa
Una decisión de implementación necesita más que una puntuación de referencia. Describa la distribución probada y los límites de ejecución del sistema real.
Trabajar a través de un ejemplo
Ejercicio de estudio ilustrativo · escrito por botstest
Construya una hoja de decisión para el modelo elegido: objetos soportados, condiciones visuales, interfaz de comando y tiempo de respuesta medido. Deje las combinaciones no probadas explícitamente sin resolver en lugar de inferir capacidades a partir de videos relacionados.
- La sonda declaró cambios visuales y de instrucción.
- Inspeccione el efecto en el flujo de trabajo de control.
- Escriba las condiciones admitidas, no admitidas y no probadas por separado.
No traduzca el éxito de la simulación en una afirmación de autonomía física sin una evaluación de transferencia supervisada por separado.
Base de referencia: Reproducción de experimentos y resultados publicados. El ejemplo y el tutorial son aplicaciones editoriales de la fuente.
Aprende en este orden
- Generalización versus condiciones de escena memorizadas
- Restricciones de bucle de control y cálculo
- Transferencia de robot real y validación supervisada
Leer y luego aplicar
robomimic core team · tutorial técnico
Reproducción de experimentos y resultados publicados
Leer: Complete los tutoriales de capacitación y resultados vinculados antes de intentar una reproducción publicada.
Utilice los requisitos previos de reproducción para distinguir un experimento comparable de una demostración vagamente similar.
Aplicarlo: Realice un seguimiento de cada resultado informado hasta las versiones de configuración del modelo, los datos, el entorno y la evaluación.
Ponlo en practica
- Pruebe un conjunto declarado de cambios de objetos, lenguaje o visuales.
- Escriba una decisión de implementación con condiciones no admitidas y reglas de escalamiento.
Un informe de solidez, presupuesto de recursos y decisión de preparación para la implementación.
Listo para el siguiente paso cuando...
Recursos para esta etapa
Explorar cómo se evalúan las políticas de manipulación; separar las pruebas comparativas de las afirmaciones sobre el despliegue.
Estudiar un flujo de trabajo de recopilación de datos de manipulación y su realización y supuestos ambientales.
Explora simulación robótica y escenas sintéticas; verifique los requisitos de hardware y la compatibilidad de versiones.
Errores comunes
- Comparación de puntuaciones de titulares de protocolos de evaluación incompatibles.
- Tratar la fluidez del lenguaje como evidencia de una acción física confiable.
Adónde ir a continuación
Conecte el modelo evaluado a un proyecto de manipulación supervisado solo después de que se cumplan los límites de compatibilidad y latencia.
Explorar otros investigación caminos →