Antes de começar
Iniciando conhecimento
- Python básico, arrays e processamento de imagens.
- Entenda a diferença entre uma observação de sensor e uma verdade fundamental.
Equipamento & meio ambiente
Comece com dados existentes licenciados e uma cena controlada. Capture pessoas identificáveis apenas sob um processo apropriado de consentimento e governança.
Sem tempo de conclusão fixo: use os portões de evidências abaixo para decidir quando avançar. Os links de recursos abrem a entrada do diretório botstest; verifique a documentação do editor para obter a versão e configuração exatas.
Iniciante
Definir observações e rótulos
Conecte uma questão de percepção a anotações mensuráveis.
Como funciona esta etapa
Os rótulos de percepção representam uma interpretação das observações específica da tarefa. Defina o que não pode ser observado com tanto cuidado quanto o que é visível.
Trabalhe com um exemplo
Exercício de estudo ilustrativo · escrito por botstest
Para um exercício de pose de objeto conhecido, compare uma visualização completa, uma visualização parcial e um quadro com profundidade inválida. Decida quais casos podem suportar o rótulo pretendido e quais exigem um estado desconhecido ou de revisão.
- Defina a observação e a quantidade alvo.
- Escreva regras para ambiguidade e oclusão.
- Audite uma pequena amostra com outro anotador.
Um objeto inobservável não é necessariamente um exemplo negativo; mantenha a visibilidade separada dos rótulos das categorias.
Base de referência: Estimativa de pose geométrica. O exemplo e o passo a passo são aplicações editoriais da fonte.
Aprenda nesta ordem
- Definições de tarefas de detecção, pose e geometria
- Intrínsecos da câmera, convenções de quadro e carimbos de data/hora
- Proveniência, ambigüidade e permissões do rótulo
Leia e aplique
Russ Tedrake · MIT · Capítulo do curso
Estimativa de pose geométrica
Leia: Comece com câmeras, observações de profundidade, retornos perdidos e visualizações parciais antes dos métodos de registro.
Use as suposições de detecção para identificar casos não observáveis antes de rotular os dados ou confiar em uma estimativa geométrica.
Aplique: Identifique quais observações estão faltando, ocluídas ou fora do modelo geométrico escolhido.
Coloque em prática
- Inspecione uma pequena imagem ou amostra de nuvem de pontos e seus rótulos.
- Escreva regras de anotação para casos difíceis e não observáveis.
Um dicionário de dados, guia de anotação e auditoria de amostra.
Pronto para a próxima etapa quando…
Recursos para esta etapa
Inspecione nuvens de pontos e resultados de processamento de geometria antes de usá-los em um pipeline de percepção.
Estude o processamento de imagens e ferramentas relacionadas à câmera por meio da documentação do projeto upstream.
Inspecione observações de objetos manuais, anotações e suposições de avaliação para um estudo de percepção focado.
Intermediário
Construir avaliação resistente a vazamentos
Meça o comportamento do modelo em uma distribuição significativamente mantida.
Como funciona esta etapa
Imagens da mesma sessão podem compartilhar dependências ocultas. Divida de acordo com a afirmação de generalização e não de conveniência.
Trabalhe com um exemplo
Exercício de estudo ilustrativo · escrito por botstest
Se a declaração for desempenho em novas sessões de captura, mantenha sessões inteiras juntas. Verifique quadros quase duplicados e objetos repetidos antes de usar uma divisão aleatória que possa distribuir evidências quase idênticas entre partições.
- Escolha a variação mantida pretendida.
- Crie um manifesto dividido reproduzível.
- Relate erros por cena e condição de observação.
Resultados de avaliação inesperadamente excelentes deveriam desencadear uma auditoria de vazamento antes de uma afirmação de modelo mais forte.
Base de referência: Validação cruzada: avaliando o desempenho do estimador. O exemplo e o passo a passo são aplicações editoriais da fonte.
Aprenda nesta ordem
- Divisões de cena, objeto e sessão
- Qualidade de calibração e alinhamento do sensor
- Definições de erro de precisão/recall ou apropriadas à tarefa
Leia e aplique
scikit-learn developers · Guia prático
Validação cruzada: avaliando o desempenho do estimador
Leia: Leia a discussão de avaliação prolongada e a estratégia de divisão apropriada às suas dependências de dados.
Use divisões com reconhecimento de dependência para proteger as evidências mantidas contra decisões de treinamento e ajuste.
Aplique: Crie sessões de captura ou divisões em nível de objeto e inspecione uma amostra deliberadamente quase duplicada.
Coloque em prática
- Dividido por sessão de captura ou objeto onde a tarefa exigir.
- Compare uma linha de base simples em observações normais, ocluídas e deslocadas.
Um caderno de avaliação de linha de base e divisão de conjunto de dados versionado.
Pronto para a próxima etapa quando…
Recursos para esta etapa
Inspecione um conjunto de dados de manipulação e suas condições de coleta antes de projetar divisões de treinamento e avaliação.
Estude um fluxo de trabalho de coleta de dados de manipulação e sua incorporação e suposições ambientais.
Explore a detecção fiducial e faça observações de pose com geometria de marcador conhecida e calibração de câmera.
Profissional
Libere um conjunto de dados com um escopo honesto
Torne os dados reutilizáveis e suas limitações visíveis.
Como funciona esta etapa
Um conjunto de dados reutilizável explica como as observações brutas se tornaram amostras liberadas. Preserve a proveniência, as convenções e as limitações dos dados.
Trabalhe com um exemplo
Exercício de estudo ilustrativo · escrito por botstest
Selecione um episódio ou imagem lançada e reconstrua sua sessão de captura, calibração, processamento e decisão de rótulo. Peça a um colega para reproduzir a avaliação utilizando apenas os metadados publicados.
- Escreva um dicionário de dados e uma nota de permissões.
- Processamento de versão e decisões de anotação.
- Publique o avaliador e os limites de distribuição.
Uma pasta de conjunto de dados com transformações sem nome e rótulos não documentados não pode suportar reutilização confiável.
Base de referência: LeRobotDataset v3.0. O exemplo e o passo a passo são aplicações editoriais da fonte.
Aprenda nesta ordem
- Documentação do conjunto de dados e direitos de uso
- Relatórios de distribuição de sensores e cenas
- Confiança do modelo, desvio e consequências a jusante
Leia e aplique
Hugging Face · LeRobot · Documentação de referência
LeRobotDataset v3.0
Leia: Inspecione a estrutura e os metadados do conjunto de dados antes de modificar ou combinar episódios.
Use a estrutura de dados para tornar inspecionáveis episódios, observações, ações e proveniência de processamento.
Aplique: Publique a organização dos dados, versões e proveniência para que outro pesquisador possa reconstruir um episódio.
Coloque em prática
- Prepare um cartão de dados com detalhes de coleta, processamento e divisão.
- Peça a um segundo pesquisador que reproduza a avaliação dos metadados divulgados.
Um cartão de conjunto de dados, avaliador reproduzível e relatório de limitações.
Pronto para a próxima etapa quando…
Recursos para esta etapa
Examine dados de demonstração de múltiplas modalidades, metadados, licenças e convenções de ação.
Explore ativos de objetos com verificações de procedência e licença antes de incluí-los na simulação.
Visualize observações espaciais e compare-as com resultados de modelos e trajetórias.
Armadilhas comuns
- Dividir aleatoriamente quadros de vídeo adjacentes e chamar a generalização do resultado.
- Usando dados renderizados ou de vídeo humano como se fossem fatos reais da ação do robô.
Para onde ir a seguir
Estender para manipulação ou inspeção industrial com os mesmos dados e contrato de avaliação.
Explorar outros pesquisa caminhos →