A IA fala em nome da empresa, então precisa de regra
Chatbot, assistente interno e automação com IA respondem, leem documentos e às vezes agem sozinhos. Dá pra usar com segurança, desde que se teste o que ela pode vazar, prometer ou fazer.
Empresa que já colocou IA de linguagem em produção: atendimento ao cliente, assistente interno com acesso a documentos, agentes que executam ações em sistemas.
Casos reais
O problema, com fonte
2023
Código-fonte colado no ChatGPT
Funcionários da Samsung enviaram dados sensíveis, incluindo código-fonte da empresa, ao ChatGPT. A empresa restringiu temporariamente o uso de IA generativa em aparelhos da companhia até preparar regras de segurança.
O chatbot da Air Canada informou errado a regra de tarifa por luto. A companhia alegou que o robô era responsável pelos próprios atos; o tribunal decidiu que a empresa responde por toda informação do seu site e mandou pagar 812 dólares canadenses.
O OWASP Top 10 para aplicações com LLM coloca prompt injection em primeiro e vazamento de informação sensível em segundo, seguidos por cadeia de suprimento, envenenamento de dados e agência excessiva.