O treino usa exemplos para ajustar o modelo; o teste verifica o comportamento em material que não foi usado nesse ajuste. Em vídeo, é importante considerar de onde vieram os clipes: partes quase iguais da mesma gravação podem dar uma impressão otimista da avaliação.
O que acontece se clipes vizinhos forem separados ao acaso?
Suponha um vídeo longo de uma pessoa organizando cartões. Um clipe vai para treino, outro começa dois segundos depois e vai para teste. Mesa, objetos e gestos são quase idênticos. Acertar o segundo recorte diz menos sobre o desempenho em uma mesa nova do que acertar uma sessão que nunca apareceu no treino.
Esse problema tem relação com a finalidade do teste. Se o objetivo é usar o modelo em outras pessoas, uma divisão por participante pode ser importante. Se o objetivo é testar outro lugar, dividir por ambiente pode responder melhor à pergunta.
Treino, validação e teste são três nomes para a mesma coisa?
Não. Treino é o ajuste; validação costuma apoiar decisões durante o desenvolvimento; o teste fica reservado para uma avaliação final. Os papéis exatos devem estar documentados no trabalho ou benchmark.
O Ego4D publica tarefas de avaliação distintas, como memória de vídeo e interação com objetos. Compare modelos apenas quando a tarefa, as métricas e a divisão de dados forem compatíveis. Uma porcentagem isolada não informa se o teste responde à sua pergunta.
Que perguntas ajudam a ler um resultado publicado?
Procure a unidade da separação: clipe, sessão, pessoa ou ambiente. Confira se a avaliação inclui condições parecidas com as que você quer entender. Uma comparação justa não promete que o modelo terá o mesmo resultado fora do conjunto de teste.
A Gravana ajuda na etapa de prática da gravação. A definição de onde cada vídeo entra, porém, pertence ao projeto que coleta e organiza os dados.
| Se a pergunta é… | O teste precisa considerar… |
|---|---|
| Funciona com outra pessoa? | Participantes que não apareceram no treino |
| Funciona em outro lugar? | Ambientes diferentes e documentados |
| Funciona na mesma sessão? | Que partes são independentes o suficiente para a comparação |
Leia também: Como praticar captura antes de participar de uma coleta · Entenda a produção dos vídeos usados em projetos de IA.