Antes de começar
Iniciando conhecimento
- Compreenda a aprendizagem supervisionada e um pipeline básico de aprendizagem por imitação.
- Ser capaz de inspecionar divisões de conjuntos de dados e convenções de ação de robôs.
Equipamento & meio ambiente
Comece com documentação de modelo publicada e avaliação off-line ou de simulação; evite a execução descontrolada de hardware.
Sem tempo de conclusão fixo: use os portões de evidências abaixo para decidir quando avançar. Os links de recursos abrem a entrada do diretório botstest; verifique a documentação do editor para obter a versão e configuração exatas.
Iniciante
Mapeie as suposições do modelo para a tarefa
Decida se a saída de um modelo pode ser avaliada de forma significativa em sua configuração.
Como funciona esta etapa
Um modelo VLA produz ações sob determinadas suposições visuais, de linguagem e de concretização. A compatibilidade deve ser estabelecida antes de comparar o desempenho.
Trabalhe com um exemplo
Exercício de estudo ilustrativo · escrito por botstest
Para uma tarefa de manipulação, faça uma tabela de entradas de imagem, formato de instrução, dimensões de ação, unidades e interface do robô. Marque qualquer campo que a documentação do modelo disponível não resolva.
- Inspecione o modelo e a documentação de dados.
- Rastreie uma observação por meio do pré-processamento.
- Verifique o que uma ação de saída significa para o robô alvo.
Uma resposta de linguagem plausível não diz nada sobre se a representação da ação corresponde ao seu controlador.
Base de referência: OpenVLA: um modelo de visão-linguagem-ação de código aberto. O exemplo e o passo a passo são aplicações editoriais da fonte.
Aprenda nesta ordem
- Pré-processamento de imagens, entradas de linguagem e formatos de ação
- Distribuições de treinamento e cobertura de incorporação
- Pesos de modelo, licenças e requisitos de computação
Leia e aplique
OpenVLA authors · Artigo de pesquisa
OpenVLA: um modelo de visão-linguagem-ação de código aberto
Leia: Leia as descrições do modelo e dos dados e siga o papel/código da avaliação que pretende reproduzir.
Use a descrição do modelo e da modalidade para decidir quais suposições de avaliação sua configuração pode realmente suportar.
Aplique: Mapeie as entradas, saídas e suposições de incorporação do modelo para uma tarefa de avaliação de candidato.
Coloque em prática
- Compare as entradas e saídas documentadas de dois modelos candidatos.
- Rastreie um episódio do conjunto de dados no formato exigido por uma linha de base escolhida.
Uma matriz de compatibilidade modelo/tarefa e uma amostra validada.
Pronto para a próxima etapa quando…
Recursos para esta etapa
Estude um modelo de visão-linguagem-ação, suas premissas de treinamento e interfaces de implantação pretendidas.
Explore um recurso de aprendizagem VLA compacto; verifique as suposições de política e hardware em sua documentação.
Examine dados de demonstração de múltiplas modalidades, metadados, licenças e convenções de ação.
Intermediário
Crie um equipamento de avaliação correspondente
Mantenha tarefas, redefinições e métricas constantes nas opções de modelo.
Como funciona esta etapa
Construa um avaliador e mantenha suas condições de tarefa constantes. Caso contrário, o pré-processamento, a seleção de cena ou o ajuste do ponto de verificação podem dominar a comparação.
Trabalhe com um exemplo
Exercício de estudo ilustrativo · escrito por botstest
Avalie dois pontos de verificação candidatos no mesmo conjunto de tarefas declarado. Manter fixas as regras de reset, timeouts e contagem de intervenções; variar uma condição de imagem apenas em uma ablação rotulada separadamente.
- Congele tarefas e divisões antes da seleção do modelo.
- Salve prompts e pré-processamento em cada execução.
- Inclui registros de falha, tempo limite e latência.
Se um modelo receber cenas mais fáceis ou uma regra de sucesso diferente, sua pontuação não será diretamente comparável.
Base de referência: Validação cruzada: avaliando o desempenho do estimador. O exemplo e o passo a passo são aplicações editoriais da fonte.
Aprenda nesta ordem
- Divisões de tarefas, pontos de verificação e configuração determinística
- Métricas de latência, intervenção e conclusão
- Solicitar alterações e categorização de falhas
Leia e aplique
scikit-learn developers · Guia prático
Validação cruzada: avaliando o desempenho do estimador
Leia: Leia a discussão de avaliação prolongada e a estratégia de divisão apropriada às suas dependências de dados.
Use divisões com reconhecimento de dependência para proteger as evidências mantidas contra decisões de treinamento e ajuste.
Aplique: Congele a divisão entre tarefa/cena suspensa antes de selecionar prompts, pontos de verificação ou configurações de ajuste.
Coloque em prática
- Avalie um pequeno conjunto de tarefas fixas usando protocolos de benchmark documentados.
- Execute uma ablação em uma condição de entrada e mantenha o restante inalterado.
Um conjunto de avaliação versionado e comparação de linha de base.
Pronto para a próxima etapa quando…
Recursos para esta etapa
Investigue um benchmark de manipulação e preserve suas definições de tarefas, divisões e condições de avaliação.
Siga os fluxos de trabalho de gravação de dados do robô, conjunto de dados, políticas e avaliação para hardware e software suportados.
Crie tarefas de manipulação repetíveis em um ambiente de benchmark simulado.
Profissional
Robustez da auditoria e limites de implantação
Produza uma declaração baseada em evidências da capacidade do modelo.
Como funciona esta etapa
Uma decisão de implantação precisa de mais do que uma pontuação de referência. Descreva a distribuição testada e os limites de execução do sistema real.
Trabalhe com um exemplo
Exercício de estudo ilustrativo · escrito por botstest
Construa uma folha de decisão para o modelo escolhido: objetos suportados, condições visuais, interface de comando e tempo de resposta medido. Deixe as combinações não testadas explicitamente sem solução, em vez de inferir a capacidade de vídeos relacionados.
- Sonda declarada alterações visuais e de instrução.
- Inspecione o efeito no fluxo de trabalho de controle.
- Escreva as condições suportadas, não suportadas e não testadas separadamente.
Não traduza o sucesso da simulação numa reivindicação de autonomia física sem uma avaliação de transferência supervisionada separadamente.
Base de referência: Reproduzindo experimentos e resultados publicados. O exemplo e o passo a passo são aplicações editoriais da fonte.
Aprenda nesta ordem
- Generalização versus condições de cena memorizadas
- Restrições de computação e loop de controle
- Transferência de robô real e validação supervisionada
Leia e aplique
robomimic core team · Tutorial técnico
Reproduzindo experimentos e resultados publicados
Leia: Conclua os tutoriais de treinamento e resultados vinculados antes de tentar uma reprodução publicada.
Use os pré-requisitos de reprodução para distinguir um experimento comparável de uma demonstração vagamente semelhante.
Aplique: Rastreie cada resultado relatado para versões de modelo, dados, ambiente e configuração de avaliação.
Coloque em prática
- Teste um conjunto declarado de mudanças de objeto, linguagem ou visual.
- Escreva uma decisão de implantação com condições e regras de escalonamento sem suporte.
Um relatório de robustez, orçamento de recursos e decisão de prontidão para implantação.
Pronto para a próxima etapa quando…
Recursos para esta etapa
Explorar como as políticas de manipulação são avaliadas; separar as evidências de benchmark das declarações de implantação.
Estude um fluxo de trabalho de coleta de dados de manipulação e sua incorporação e suposições ambientais.
Explore simulação robótica e cenas sintéticas; verifique os requisitos de hardware e a compatibilidade de lançamento.
Armadilhas comuns
- Comparando pontuações de títulos de protocolos de avaliação incompatíveis.
- Tratar a fluência do idioma como evidência de ação física confiável.
Para onde ir a seguir
Conecte o modelo avaliado a um projeto de manipulação supervisionado somente depois que as portas de compatibilidade e latência forem atendidas.
Explorar outros pesquisa caminhos →