Anrafel Fernandes @anrafernandes - Twitter Profile

7 months ago

Como parte do meu Ph.D. na PUC-Rio, estamos conduzindo um estudo que busca fortalecer a conexão entre pesquisa acadêmica e a prática em Engenharia de Software, e a sua experiência é muito importante! Participe respondendo o questionário: https://t.co/V0aCg1tdf2 Obrigado! 🚀🚀🚀

0

63

AnraFernandes retweeted

Fabrício Carraro

@fabriciocarraro

over 1 year ago

Hoje me deparei com um artigo científico que trouxe um resultado que muita gente esperava (ou temia?): Modelos de Linguagem (LLMs) passaram oficialmente no Teste de Turing clássico! A ideia, proposta por Alan Turing lá nos anos 1950, é simples: um interrogador humano tenta distinguir entre outro humano e uma máquina numa conversa via texto. O estudo, conduzido por pesquisadores do departamento de Ciência Cognitiva da universidade UC San Diego (https://t.co/b4FfkynNUt), colocou modelos de linguagem antigos e novos (como o GPT-4.5) contra a parede no teste com 3 participantes (interrogador + 1 humano + 1 IA) por 5 minutos. E os resultados? 🤖 GPT-4.5 enganou MUITO bem! Quando instruído a adotar uma persona específica - jovem, introvertido, ligado em cultura da internet e usando gírias (essa "persona" foi definida no system prompt) - o GPT-4.5 foi considerado humano pelos interrogadores em 73% das vezes! Isso é mais do que os próprios humanos reais foram escolhidos. Ou seja, ele não só passou, como foi considerado "mais humano" que os humanos em muitas interações. 🤖 O LLaMa-3.1-405B, com essa mesma persona, também mandou bem, sendo escolhido como humano em 56% das vezes, o que é estatisticamente indistinguível dos humanos. Ou seja, também passou no teste. Aparentemente, o segredo deste artigo está realmente no System Prompt (a persona adotada pelo modelo). Sem essa instrução, rodando no "default", os mesmos modelos tiveram um desempenho bem mais baixo (36-38% de "win rate"). O mais interessante é como as pessoas reais julgaram os modelos (e os outros humanos). Os interrogadores se basearam muito mais no estilo linguístico (gírias, erros de digitação, informalidade), personalidade e dinâmica da conversa do que em conhecimento puro ou raciocínio lógico. Mais ainda: em alguns casos, a falta de conhecimento ou um erro foi visto como mais "humano"! Curioso, né? E esse é um assunto que discutimos recentemente no episódio de entrevista do podcast IA Sob Controle com o caro Roberto "Pena" Spinelli (vale muuuito escutar! https://t.co/u975k5Ddo0). Além disso, vale dizer que os modelos "baseline" falharam (e isso é bom!). Modelos mais antigos ou mais simples, como o ELIZA (dos anos 60!) e o GPT-4o (sem persona), foram facilmente identificados como IA (win rates de 21-23%). Isso mostra que o teste funcionou e que os participantes não estavam só chutando. Claro que vale sempre a discussão do que significa realmente "passar no Teste de Turing". As IAs estão ficando mais inteligentes, ou apenas melhores em imitar comportamentos sociais humanos? E no final das contas, isso importa? Os próprios autores reconhecem que o teste não mede diretamente inteligência, mas sim "humanidade aparente". De qualquer forma, um artigo bem interessante pra quem, assim como eu, é fascinado por essa área de estudos!

fabriciocarraro's tweet photo. Hoje me deparei com um artigo científico que trouxe um resultado que muita gente esperava (ou temia?): Modelos de Linguagem (LLMs) passaram oficialmente no Teste de Turing clássico!

A ideia, proposta por Alan Turing lá nos anos 1950, é simples: um interrogador humano tenta distinguir entre outro humano e uma máquina numa conversa via texto.

O estudo, conduzido por pesquisadores do departamento de Ciência Cognitiva da universidade UC San Diego (https://t.co/b4FfkynNUt), colocou modelos de linguagem antigos e novos (como o GPT-4.5) contra a parede no teste com 3 participantes (interrogador + 1 humano + 1 IA) por 5 minutos. E os resultados?

🤖 GPT-4.5 enganou MUITO bem! Quando instruído a adotar uma persona específica - jovem, introvertido, ligado em cultura da internet e usando gírias (essa "persona" foi definida no system prompt) - o GPT-4.5 foi considerado humano pelos interrogadores em 73% das vezes! Isso é mais do que os próprios humanos reais foram escolhidos. Ou seja, ele não só passou, como foi considerado "mais humano" que os humanos em muitas interações.
🤖 O LLaMa-3.1-405B, com essa mesma persona, também mandou bem, sendo escolhido como humano em 56% das vezes, o que é estatisticamente indistinguível dos humanos. Ou seja, também passou no teste.

Aparentemente, o segredo deste artigo está realmente no System Prompt (a persona adotada pelo modelo). Sem essa instrução, rodando no "default", os mesmos modelos tiveram um desempenho bem mais baixo (36-38% de "win rate").

O mais interessante é como as pessoas reais julgaram os modelos (e os outros humanos). Os interrogadores se basearam muito mais no estilo linguístico (gírias, erros de digitação, informalidade), personalidade e dinâmica da conversa do que em conhecimento puro ou raciocínio lógico.

Mais ainda: em alguns casos, a falta de conhecimento ou um erro foi visto como mais "humano"! Curioso, né? E esse é um assunto que discutimos recentemente no episódio de entrevista do podcast IA Sob Controle com o caro Roberto "Pena" Spinelli (vale muuuito escutar! https://t.co/u975k5Ddo0).

Além disso, vale dizer que os modelos "baseline" falharam (e isso é bom!). Modelos mais antigos ou mais simples, como o ELIZA (dos anos 60!) e o GPT-4o (sem persona), foram facilmente identificados como IA (win rates de 21-23%). Isso mostra que o teste funcionou e que os participantes não estavam só chutando.

Claro que vale sempre a discussão do que significa realmente "passar no Teste de Turing". As IAs estão ficando mais inteligentes, ou apenas melhores em imitar comportamentos sociais humanos? E no final das contas, isso importa? Os próprios autores reconhecem que o teste não mede diretamente inteligência, mas sim "humanidade aparente".

De qualquer forma, um artigo bem interessante pra quem, assim como eu, é fascinado por essa área de estudos!

0

9

1

434

Anrafel Fernandes

@AnraFernandes

Who to follow

Last Seen Users on Sotwe

Trends for you

Most Popular Users