Nível de hype: PesquisaOrigem: Global
Falha fundamental deixa modelos de linguagem vulneráveis a ataques
Pesquisadores argumentam, em artigo apresentado na ICML, uma das principais conferências de aprendizado de máquina, que é impossível tornar modelos de linguagem totalmente seguros contra invasões, por causa de uma falha fundamental no seu funcionamento.
A falha está em como os modelos identificam quem está dando as instruções. Explorando esse ponto, os pesquisadores fizeram modelos populares produzirem conteúdo proibido, segundo a MIT Technology Review.
Pesquisa
Resultado de pesquisa apresentado em conferência.
Critério: Paper, demo ou resultado verificável, sem produto.
Fontes originais
Resumo escrito com palavras próprias a partir destas fontes. Nenhum trecho é reproduzido.
O que muda pra você
- Dev
- Não confie no modelo para separar instruções do usuário de dados externos.
- PM
- Produtos que processam conteúdo de terceiros precisam de proteções fora do modelo.
- Executivo
- Não existe modelo totalmente seguro; planeje defesas em camadas.
- Investidor
- Segurança de IA segue como mercado necessário.
- Educador
- Explique por que modelos confundem dados e instruções.