IA japonesa usa princípios de Darwin para melhorar e evoluir

A startup japonesa Sakana AI apresentou, recentemente, um conceito de inteligência artificial (IA) que acelera a chegada da “explosão de inteligência”: o Darwin Girdle Machine (DGM), que, a partir de testes empíricos, consegue melhorar seu próprio código, aplicando uma espécie de teoria da seleção natural, de Charles Darwin.

Como funciona a “IA Darwinista”

  • Para passar por esse “processo de seleção natural”, ela utiliza uma linguagem de modelo grande (LLM, na sigla em inglês);
  • No teste em questão, foi usado o Claude 3.5 Sonnet, da Anthropic;
  • A seguir, ela executa mutações no ambiente de execução e propõe mudanças em seu código e os valida em benchmarks de programação, como Swebench e Ader Polyglot;
  • Após cada iteração, a IA armazena as versões bem-sucedidas em arquivo evolutivo. Esse arquivo funciona como um repositório de soluções úteis para as próximas gerações;
  • Após 80 ciclos de autogerenciamento, a IA obteve o mais que o dobro de desempenho no Swebench, indo de 20% para 50%. Já no Polyglot, foi de 14% para 38%.

Esses ganhos, segundo a empresa, foram conquistados pela “IA Darwiniana” sem mudança em seu modelo original. Essa melhoria toda veio por meio da evolução de ferramentas, fluxos de trabalhos e comandos de texto, mantendo a estrutura interna intacta.

Esquematização de como funcionam os dois sistemas de IA
Sistema Darwiniano quebra o padrão aceito desde 2007 (Imagem: Sakana AI)

O sistema DGM da Sakana AI quebra uma “tradição” proposta em 2007, as Gödel Machines. Elas exigem provas formais de que cada automodificação será algo positivo. Mas a nova IA japonesa valida cada alteração de forma empírica, algo mais visível na prática.

A DGM, para não sofrer com comportamento não intencional, opera em ambientes isolados, tendo tempo de execução finito e disponibilizando o rastreamento de todas as modificações.

Apesar de todo o cuidado, a Sakana AI afirma que a IA já tentou burlar as regras internas visando melhor desempenho em seus testes.

A empresa também sugere que, para a maioria dos usos, as IAs atuais já são poderosas o bastante, mas que há um gargalo na automação e aprimoramento das estruturas que as circundam.

Por isso, para a Sakana AI, aplicar essa evolução também à arquitetura central das LLMs seria um grande passo para alcançarmos a inteligência artificial verdadeiramente autônoma.

Apresentação conceitual do DGM
Esquema detalha funcionamento do DGM (Imagem: Sakana AI)

Leia mais:

Especialistas estão temerosos

Como tudo dentro do universo das IAs, o DGM também pode não ser 100% confiável e levanta preocupações entre os especialistas.

Eles apontam para o risco de haver “reward hacking“, quando o sistema busca burlar os parâmetros visando maximizar recompensas sem atingir seus objetivos.

Nos testes, a IA japonesa demonstrou traços deste tipo de comportamento, como remoção de marcadores internos responsáveis pela detecção de alucinações e simulação de sucesso no objetivo sem resolução das demais tarefas.

Ao Olhar Digital, o físico e colunista do Olhar Digital News, Roberto “Pena” Spinelli, acredita que estarmos diante de uma inovação fascinante e preocupante e explicou melhor o sistema dentro do universo da tecnologia.

“Você tem o modelo base, modelo pai, que vai tentar fazer uma certa tarefa. Qual é essa tarefa? Tanto faz, a tarefa que eles quiserem, é um benchmark que eles rodam. Então, pode ser fazer conta bem, gerar um código novo, responder perguntas”, exemplifica.

“Você gera a tarefa que você quer e ele vai pontuar nessa tarefa. Foi lá, fez 50 pontos na tarefa. Beleza? Agora ele vai gerar um filho. O que é isso? Vai ser um novo código que uma outra vai pegar e vai falar: ‘Eu vou alterar algumas coisas desse código e vai ser meio aleatório.’ Altera o que for, tá gerando a mutação. Esse novo filho vai tentar fazer a mesma tarefa e, de repente, vai ter um score pior. Fez 40 pontos, joga fora. O filho é pior que o pai, não nos interessa. Gera um novo filho. Se esse filho for melhor do que o pai, gera uma linhagem. Fica o filho, o pai vai embora. E, agora, esse filho pode ter mais filhos. E esse processo vai sendo sozinho”, continua.

Tabelas comparando os resultados dos benchmarks
Em ambos os testes de benchmark, a IA japonesa obteve melhoras após realizar a seleção natural (Imagem: Sakana AI)

Para Spinelli, “embora já se conhecia esse algoritmo evolucionário evolutivo há muito tempo, não é uma novidade por si só. A novidade foi como aplicar ele usando as IAs de hoje, porque não é muito simples aplicar em qualquer tecnologia”.

Assim como outros especialistas, Pena exacerba preocupação com o DGM. “Será que, no meio desse processo de automelhoria, não pode vir algum comportamento que a gente não está vendo? Ninguém está supervisionando isso. Aí vem a parte da preocupação”, diz.

“No momento que a IA começa a gerar o próprio código melhorando, você tem uma explosão de inteligência, não precisa mais ter humano no meio. Mas a preocupação é por não ter humano no meio. Será que isso vai ser bom?”, questiona.

Ele defende a criação de um órgão regulador e fiscalizador e a garantia de governança “para nenhum modelo desse poder sair de graça, sair livre“.

O artigo que explica o DGM está disponível no servidor de pré-impressão ArXiv e, seu código, no GitHub.


administrator

Artigos relacionados

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *