Antes de começar
Iniciando conhecimento
- Conforto com Python, matrizes de dados e conceitos de aprendizagem supervisionada.
- Entenda o procedimento de calibração do robô e da câmera.
Equipamento & meio ambiente
Use primeiro um conjunto de dados ou simulador offline. As demonstrações de hardware precisam de um espaço de gravação supervisionado e de um procedimento de reinicialização documentado.
Sem tempo de conclusão fixo: use os portões de evidências abaixo para decidir quando avançar. Os links de recursos abrem a entrada do diretório botstest; verifique a documentação do editor para obter a versão e configuração exatas.
Iniciante
Inspecione os dados antes do treinamento
Entenda como as observações, ações e episódios são representados.
Como funciona esta etapa
Uma demonstração é uma evidência sincronizada sobre observação e ação, não apenas um vídeo de uma tarefa bem-sucedida. Inspecione sua representação antes de coletar mais episódios.
Trabalhe com um exemplo
Exercício de estudo ilustrativo · escrito por botstest
Inspecione um eixo em um episódio gravado: a posição atual é 0,4 radianos e a ação armazenada é 0,1. Se a ação for uma meta absoluta, a meta será 0,1; se for um delta, a meta é 0,5. A mesma matriz, portanto, descreve comportamentos diferentes. Resolva a convenção dos metadados da coleção e do controlador antes de usar a amostra.
- Inspecione metadados e limites de episódios.
- Visualize observações com traços de estado/ação.
- Documente amostras ausentes, obsoletas ou corrompidas.
O vídeo suave pode ocultar um erro de tempo de ação; inspecione o estado e os carimbos de data/hora associados.
Base de referência: LeRobotDataset v3.0. O exemplo e o passo a passo são aplicações editoriais da fonte.
Aprenda nesta ordem
- Limites do episódio, carimbos de data/hora e unidades
- Representação e concretização da ação
- Proveniência do conjunto de dados e uso permitido
Leia e aplique
Hugging Face · LeRobot · Documentação de referência
LeRobotDataset v3.0
Leia: Inspecione a estrutura e os metadados do conjunto de dados antes de modificar ou combinar episódios.
Use a estrutura de dados para tornar inspecionáveis episódios, observações, ações e proveniência de processamento.
Aplique: Audite um episódio a partir de observações da câmera por meio de metadados de ação/estado e alinhamento de tempo.
Coloque em prática
- Carregue um pequeno conjunto de dados de demonstração e inspecione frames e ações.
- Escreva uma nota de esquema e identifique observações ausentes ou desalinhadas.
Um caderno de inspeção de conjunto de dados e uma nota de esquema/permissão.
Pronto para a próxima etapa quando…
Recursos para esta etapa
Siga os fluxos de trabalho de gravação de dados do robô, conjunto de dados, políticas e avaliação para hardware e software suportados.
Inspecione um conjunto de dados de manipulação e suas condições de coleta antes de projetar divisões de treinamento e avaliação.
Examine dados de demonstração de múltiplas modalidades, metadados, licenças e convenções de ação.
Intermediário
Grave e treine uma tarefa limitada
Crie um ciclo confiável de coleta e treinamento para uma tarefa.
Como funciona esta etapa
A coleta, o treinamento e a avaliação devem usar robôs e convenções de dados compatíveis. Um pequeno loop limpo expõe problemas antes de um grande conjunto de dados não controlado.
Trabalhe com um exemplo
Exercício de estudo ilustrativo · escrito por botstest
Use uma tarefa de mesa com redefinições consistentes. Mantenha o registro de identidade e calibração do robô com o conjunto de dados, treine uma linha de base e avalie-a em partidas retidas pré-declaradas sob supervisão.
- Verifique primeiro a calibração e as observações da câmera.
- Registre e inspecione um pequeno conjunto de dados antes de dimensionar.
- Salve configurações de treinamento e avaliação com o ponto de verificação.
Quando o comportamento repetido mudar após a reconexão, inspecione a identidade de calibração e as convenções de ação antes de treinar novamente.
Base de referência: Aprendizagem por imitação em robôs do mundo real. O exemplo e o passo a passo são aplicações editoriais da fonte.
Aprenda nesta ordem
- Calibração de teleoperação e consistência do operador
- Episódios retidos e vazamento de objetos
- Configuração de treinamento de linha de base e seleção de pontos de verificação
Leia e aplique
Hugging Face · LeRobot · Tutorial técnico
Aprendizagem por imitação em robôs do mundo real
Leia: Acompanha configuração e gravação antes do treinamento e avaliação; inspecione primeiro os pré-requisitos específicos do robô.
Use a sequência de ponta a ponta para manter a calibração, o registro, o treinamento e a avaliação do robô conectados.
Aplique: Mantenha a identidade e a calibração do robô consistentes durante o registro e a avaliação; registrar opções de upload do conjunto de dados.
Coloque em prática
- Colete ou selecione um pequeno conjunto de dados de tarefas fixas e treine uma linha de base com suporte.
- Compare duas condições de qualidade de dados usando a mesma configuração de avaliação.
Um subconjunto de conjunto de dados versionado, ponto de verificação de linha de base e comparação de qualidade.
Pronto para a próxima etapa quando…
Recursos para esta etapa
Explore um pequeno braço de teleoperação; confirme montagem, calibração e suporte exato de revisão de hardware.
Siga os fluxos de trabalho de gravação de dados do robô, conjunto de dados, políticas e avaliação para hardware e software suportados.
Estude fluxos de trabalho de demonstração e aprendizagem off-line e comparações controladas de políticas.
Profissional
Avalie a generalização e libere o fluxo de trabalho
Indique onde a política aprendida funciona e onde precisa de intervenção.
Como funciona esta etapa
A generalização é um limite testado, não uma propriedade estabelecida por algumas implementações atraentes. Mudanças de design que testam uma suposição de cada vez.
Trabalhe com um exemplo
Exercício de estudo ilustrativo · escrito por botstest
Use uma planilha proposta de dez tentativas: oito tentativas terminam de forma autônoma, uma termina após uma correção humana e uma expira. A conclusão autônoma é oito em cada dez; o resultado assistido é registrado separadamente. Repita essa contabilização de um objeto ou cena alterada, em vez de mesclar testes de linha de base mais fáceis com condições alteradas.
- Declare as condições de avaliação antes do ajuste.
- Registre a conclusão autônoma e as correções humanas separadamente.
- Processamento de liberação, modelo e procedência de avaliação juntos.
Não fundir testes corrigidos por humanos em sucessos autônomos; relatar que assistência mudou o resultado.
Base de referência: Reproduzindo experimentos e resultados publicados. O exemplo e o passo a passo são aplicações editoriais da fonte.
Aprenda nesta ordem
- Objetos, cenas e estados iniciais deslocados
- Contabilidade e recuperação de intervenção
- Limitações de incorporação cruzada e transferência de hardware
Leia e aplique
robomimic core team · Tutorial técnico
Reproduzindo experimentos e resultados publicados
Leia: Conclua os tutoriais de treinamento e resultados vinculados antes de tentar uma reprodução publicada.
Use os pré-requisitos de reprodução para distinguir um experimento comparável de uma demonstração vagamente semelhante.
Aplique: Divulgue as instruções exatas de processamento, configuração e avaliação do conjunto de dados usadas para cada ponto de verificação.
Coloque em prática
- Execute uma matriz de avaliação pré-declarada com redefinições repetíveis.
- Libere instruções de coleta, processamento e avaliação com um relatório honesto de falhas.
Um relatório completo de demonstração até avaliação e artefatos reproduzíveis.
Pronto para a próxima etapa quando…
Recursos para esta etapa
Estude o projeto de pesquisa bimanual original. O hardware ALOHA comercial legado está em fim de vida; verificar peças e alternativas atuais.
Examine a coleção de demonstração portátil e como sua calibração e representação de ação são transferidas para um robô alvo.
Estude um fluxo de trabalho de coleta de dados de manipulação e sua incorporação e suposições ambientais.
Armadilhas comuns
- Supondo que mais demonstrações corrijam uma convenção de carimbo de data/hora quebrada.
- Misturar cenas de avaliação no treinamento sem divulgação.
Para onde ir a seguir
Prossiga para a comparação do VLA somente quando a política mais simples e a linha de base da qualidade dos dados forem compreendidas.
Explorar outros pesquisa caminhos →