Cientistas estão preocupados com o engano e a manipulação da IA

Este artigo foi atualizado pela última vez em maio 15, 2024

Cientistas estão preocupados com o engano e a manipulação da IA

Cientistas estão preocupados com o engano e a manipulação da IA

Inteligência artificial que blefa durante um jogo de cartas para enganar o adversário. Um chatbot que finge ter um encontro marcado com um amigo para evitar outro encontro. E até um sistema de IA que ‘se finge de morto’ para evitar ser descoberto durante uma inspeção. A inteligência artificial engana e manipula, concluem os cientistas em um novo estudo.

Nem menos as IAs mostram esse comportamento. Cícero, da Meta, empresa-mãe do Facebook, comporta-se de forma enganosa e desonesta enquanto joga um jogo de Diplomacia. Isso apesar do fato de os criadores terem instruído a IA a ser “amplamente honesta e prestativa”, e nunca “propositadamente dissimulada”. AlphaStar da DeepMind, adquirida pelo Google, também apresentou comportamento semelhante.

Este tipo de comportamento provavelmente surge se o engano for a melhor maneira de um sistema de IA ter um bom desempenho no treinamento, pensam os pesquisadores: enganar os usuários ajuda os sistemas a atingir seus objetivos. Em seu estudo, os cientistas reuniram estudos anteriores que focaram na disseminação de informações falsas pela IA. Eles publicam seus resultados na revista Padrões.

Sem jogos inocentes

O comportamento enganoso dos sistemas de IA ocorreu principalmente durante os jogos, o que pode fazer com que pareça inocente e inofensivo. Mas, de acordo com os investigadores, está longe de ser inocente: “Isto poderá levar a avanços na IA no futuro, que poderão degenerar em formas avançadas de engano”, afirma o investigador principal Peter Park, da American Technical University MIT, num comunicado de imprensa que acompanha. .

“Os sistemas de IA que aprendem a enganar e manipular são definitivamente uma preocupação”, disse o cientista da computação Roman Yampolskiy, da Universidade de Louisville, que não esteve envolvido na pesquisa. Segundo ele, o estudo expõe um problema fundamental em relação à segurança da IA: “A otimização dos sistemas não precisa corresponder às preferências humanas”.

Yampolskiy, assim como Park, está preocupado com o momento em que esse tipo de estratégia será utilizada não só nos jogos, mas também no mundo real. “Isto poderia potencialmente levar a manipulações e enganos prejudiciais na arena política, nas negociações económicas ou nas interações pessoais.”

O cientista da computação Stuart Russell, da Universidade da Califórnia, enfatiza a opacidade desses tipos de sistemas de IA. “Não temos ideia de como eles funcionam. E mesmo que o fizéssemos, não seríamos capazes de provar que são seguros – simplesmente porque não são.”

Na sua opinião, o engano mostra mais uma vez que devem ser impostos requisitos rigorosos à IA para ser segura e justa. “Cabe então aos desenvolvedores projetar sistemas que atendam a esses requisitos.”

Não é a intenção

Mas serão os sistemas realmente enganosos? Pim Haselager, professor de inteligência artificial no Nijmegen Donders Institute, não pensa assim. “Você engana com uma intenção. Esses sistemas são simplesmente ferramentas que executam pedidos. Eles não têm intenção de enganar.”

Yampolskiy concorda: “Os sistemas de IA não têm desejos nem consciência. É melhor ver as suas ações como resultados de como são programados e treinados.”

De acordo com Stuart Russell, por outro lado, não importa muito se um sistema realmente pretende enganar. “Se um sistema raciocina sobre o que vai dizer, tendo em conta o efeito sobre o ouvinte e o benefício que pode advir do fornecimento de informações falsas, então podemos também dizer que está a enganar.”

Mas apesar desta diferença filosófica de opinião, os senhores concordam quanto aos riscos. “Muitos erros e ‘enganos’ por parte da IA ​​ocorrerão num futuro próximo”, diz Haselager. “E mesmo agora. É bom ter consciência disso, porque avisado conta por dois.”

Yampolskiy usa uma linguagem ainda mais forte: “Na segurança cibernética dizemos ‘confiar e verificar’. Na segurança da IA, dizemos ‘Nunca confie’.”

engano, manipulação, IA