Antes de comenzar
Conocimiento inicial
- Python básico, arrays y procesamiento de imágenes.
- Comprenda la diferencia entre la observación de un sensor y la verdad sobre el terreno.
Equipo & medio ambiente
Comience con datos existentes con licencia y una escena controlada. Capture personas identificables solo bajo un proceso de gobernanza y consentimiento adecuado.
No hay un tiempo de finalización fijo: utiliza las puertas de evidencia a continuación para decidir cuándo avanzar. Los enlaces de recursos abren la entrada del directorio botstest; consulte la documentación del editor para conocer la versión y configuración exactas.
principiante
Definir observaciones y etiquetas.
Conecte una pregunta de percepción con anotaciones mensurables.
Cómo funciona esta etapa
Las etiquetas de percepción representan una interpretación de las observaciones específica de la tarea. Defina lo que no se puede observar con tanta atención como lo que es visible.
Trabajar a través de un ejemplo
Ejercicio de estudio ilustrativo · escrito por botstest
Para un ejercicio de pose de objeto conocido, compare una vista completa, una vista parcial y un cuadro con una profundidad no válida. Decida qué casos pueden respaldar la etiqueta deseada y cuáles requieren un estado desconocido o de revisión.
- Defina la observación y la cantidad objetivo.
- Escribir reglas de ambigüedad y oclusión.
- Audite una pequeña muestra con otro anotador.
Un objeto no observable no es necesariamente un ejemplo negativo; mantenga la visibilidad separada de las etiquetas de categorías.
Base de referencia: Estimación de pose geométrica. El ejemplo y el tutorial son aplicaciones editoriales de la fuente.
Aprende en este orden
- Definiciones de tareas de detección, pose y geometría.
- Intrínsecos de la cámara, convenciones de fotogramas y marcas de tiempo
- Procedencia, ambigüedad y permisos de las etiquetas
Leer y luego aplicar
Russ Tedrake · MIT · Capítulo del curso
Estimación de pose geométrica
Leer: Comience con cámaras, observaciones de profundidad, devoluciones faltantes y vistas parciales antes de los métodos de registro.
Utilice los supuestos de detección para identificar casos no observables antes de etiquetar datos o confiar en una estimación geométrica.
Aplicarlo: Etiquete qué observaciones faltan, están ocluidas o están fuera del modelo geométrico elegido.
Ponlo en practica
- Inspeccione una imagen pequeña o una muestra de nube de puntos y sus etiquetas.
- Escriba reglas de anotación para casos difíciles y no observables.
Un diccionario de datos, una guía de anotaciones y una auditoría de muestra.
Listo para el siguiente paso cuando...
Recursos para esta etapa
Inspeccione las nubes de puntos y los resultados del procesamiento geométrico antes de usarlos en un canal de percepción.
Estudie el procesamiento de imágenes y las herramientas relacionadas con la cámara a través de la documentación del proyecto inicial.
Inspeccione observaciones, anotaciones y supuestos de evaluación de objetos manuales para un estudio de percepción enfocado.
Intermedio
Evaluación de construcción resistente a fugas
Mida el comportamiento del modelo en una distribución significativamente retenida.
Cómo funciona esta etapa
Las imágenes de la misma sesión pueden compartir dependencias ocultas. Dividir según la afirmación de generalización en lugar de la conveniencia.
Trabajar a través de un ejemplo
Ejercicio de estudio ilustrativo · escrito por botstest
Si el reclamo es el rendimiento en nuevas sesiones de captura, mantenga sesiones completas juntas. Compruebe los fotogramas casi duplicados y los objetos repetidos antes de utilizar una división aleatoria que pueda distribuir pruebas casi idénticas entre las particiones.
- Elija la variación retenida prevista.
- Cree un manifiesto dividido reproducible.
- Informar errores por escena y condición de observación.
Los resultados de evaluación inesperadamente excelentes deberían desencadenar una auditoría de fugas antes de una afirmación del modelo más sólida.
Base de referencia: Validación cruzada: evaluación del rendimiento del estimador. El ejemplo y el tutorial son aplicaciones editoriales de la fuente.
Aprende en este orden
- Divisiones de escena, objeto y sesión.
- Calidad de calibración y alineación del sensor.
- Definiciones de errores de precisión/recuperación o apropiadas para la tarea
Leer y luego aplicar
scikit-learn developers · guía practica
Validación cruzada: evaluación del rendimiento del estimador
Leer: Lea la discusión sobre evaluación pendiente y la estrategia de división adecuada a sus dependencias de datos.
Utilice divisiones conscientes de la dependencia para proteger la evidencia retenida de las decisiones de capacitación y ajuste.
Aplicarlo: Cree divisiones de sesión de captura o de nivel de objeto e inspeccione una muestra deliberadamente casi duplicada.
Ponlo en practica
- Dividido por sesión de captura u objeto donde la tarea lo requiera.
- Compare una línea de base simple sobre observaciones normales, ocluidas y desplazadas.
Un cuaderno versionado de evaluación de líneas de base y división de conjuntos de datos.
Listo para el siguiente paso cuando...
Recursos para esta etapa
Inspeccione un conjunto de datos de manipulación y sus condiciones de recopilación antes de diseñar divisiones de capacitación y evaluación.
Estudiar un flujo de trabajo de recopilación de datos de manipulación y su realización y supuestos ambientales.
Explore la detección fiduciaria y pose observaciones con geometría de marcador conocida y calibración de cámara.
Profesional
Publicar un conjunto de datos con un alcance honesto
Hacer que los datos sean reutilizables y visibles sus limitaciones.
Cómo funciona esta etapa
Un conjunto de datos reutilizable explica cómo las observaciones sin procesar se convirtieron en muestras publicadas. Preservar la procedencia, las convenciones y las limitaciones de los datos.
Trabajar a través de un ejemplo
Ejercicio de estudio ilustrativo · escrito por botstest
Seleccione un episodio o imagen publicado y reconstruya su sesión de captura, calibración, procesamiento y decisión de etiqueta. Pídale a un colega que reproduzca la evaluación utilizando únicamente los metadatos publicados.
- Escriba un diccionario de datos y una nota de permisos.
- Procesamiento de versiones y decisiones de anotación.
- Publicar el evaluador y los límites de distribución.
Una carpeta de conjunto de datos con transformaciones sin nombre y etiquetas no documentadas no puede admitir una reutilización confiable.
Base de referencia: LeRobotDataset v3.0. El ejemplo y el tutorial son aplicaciones editoriales de la fuente.
Aprende en este orden
- Documentación del conjunto de datos y derechos de uso.
- Informes de distribución de sensores y escenas
- Confianza en el modelo, deriva y consecuencias posteriores
Leer y luego aplicar
Hugging Face · LeRobot · Documentación de referencia
LeRobotDataset v3.0
Leer: Inspeccione la estructura del conjunto de datos y los metadatos antes de modificar o combinar episodios.
Utilice la estructura de datos para hacer que los episodios, observaciones, acciones y procedencia del procesamiento sean inspeccionables.
Aplicarlo: Publicar la organización de los datos, las versiones y la procedencia para que otro investigador pueda reconstruir un episodio.
Ponlo en practica
- Elaborar una ficha de datos con detalles de recogida, procesamiento y división.
- Haga que un segundo investigador reproduzca la evaluación de los metadatos publicados.
Una tarjeta de conjunto de datos, un evaluador reproducible y un informe de limitaciones.
Listo para el siguiente paso cuando...
Recursos para esta etapa
Examine datos de demostración de múltiples realizaciones, metadatos, licencias y convenciones de acción.
Explore los activos de objetos con comprobaciones de procedencia y licencia antes de incluirlos en la simulación.
Visualice observaciones espaciales y compárelas con los resultados del modelo y la trayectoria.
Errores comunes
- Dividir aleatoriamente fotogramas de vídeo adyacentes y llamar al resultado generalizado.
- Usar datos renderizados o de video humano como si fuera la verdad sobre el terreno de la acción de un robot.
Adónde ir a continuación
Ampliar a manipulación o inspección industrial con el mismo contrato de datos y evaluación.
Explorar otros investigación caminos →