Berkeley — InkDesign News — Pesquisadores do Berkeley Artificial Intelligence Research Lab (BAIR) desenvolveram um sistema avançado para controle de robôs com instruções em linguagem natural, aumentando a eficiência e autonomia de manipuladores robóticos em ambientes domésticos e industriais.
Tecnologia aplicada
A técnica denominada GRIF (Goal Representations for Instruction Following) utiliza dois encoders — um para linguagem natural e outro para imagens de objetivos — que mapeiam comandos e metas em um espaço compartilhado de tarefas. Esse método combina aprendizado comportamental condicionado por linguagem (LCBC) e por metas visuais (GCBC), aproveitando grandes conjuntos de dados não anotados para o treinamento. Sensores visuais capturam o estado dos objetos e o cenário, permitindo que o robô compreenda e execute instruções detalhadas como “coloque o pimentão amarelo no pano”. O alinhamento entre linguagem e imagens é aprimorado por aprendizado contrastivo e uso modificado da arquitetura CLIP, que incorpora pares de imagens de estado e objetivo.
Desenvolvimento e testes
O GRIF foi treinado com o conjunto Bridge-v2, contendo 7 mil demonstrações anotadas e 47 mil não anotadas em manipulação de cozinha. A política unificada compartilha a rede neural para execução dos comandos, usando dados anotados para condições de linguagem e meta, enquanto os dados não anotados alimentam o aprendizado condicional por meta. Em testes reais, o sistema executou 15 tarefas em três ambientes distintos, incluindo um cenário com objetos inéditos. Foram identificados dois principais modos de falha: falhas no entendimento da linguagem e execuções manipulativas imprecisas. Mesmo assim, o GRIF superou abordagens anteriores como LCBC, LangLfP e BC-Z em generalização e robustez.
Impacto e aplicações
Este avanço permite a criação de robôs manipuladores mais flexíveis e intuitivos, capazes de executar tarefas complexas a partir de simples comandos verbais, sem necessidade de gerar imagens de metas. A adaptação do CLIP e o alinhamento de representações entre linguagens e metas visuais aumentam a capacidade de generalização a ambientes variados. Pesquisadores projetam a utilização futura de dados humanos em vídeo para ampliar a semântica aprendida, possibilitando robôs que possam atuar em ambientes diversos e se adaptar a instruções qualitativas, como “despeje a água lentamente”.
“GRIF permite que um robô utilize grandes quantidades de dados de trajetórias não anotadas para aprender políticas condicionadas por metas, enquanto oferece uma ‘interface de linguagem’ para estas políticas via representações alinhadas de tarefa em linguagem e objetivo. Em contraste com métodos anteriores, nossas representações alinham mudanças de estado à linguagem, melhorando significativamente o desempenho.”
(“GRIF enables a robot to utilize large amounts of unlabeled trajectory data to learn goal-conditioned policies, while providing a ‘language interface’ to these policies via aligned language-goal task representations. In contrast to prior methods, our representations align changes in state to language, which significantly improves performance.”)— Andre He & Vivek Myers, Berkeley Artificial Intelligence Research Lab
O GRIF oferece avanços na autonomia de robôs manipuladores em tarefas cotidianas, com potencial para integração em automação doméstica e industrial, especialmente onde a flexibilidade do comando por linguagem natural e a robustez operacional são essenciais.
Fonte: (Robohub – Robótica & Automação)
