Pular para o conteúdo
Agentes de IA

Quem responde por um agente que decide errado

Um tribunal já decidiu quem responde quando um chatbot erra, e uma consultoria global já pagou por um relatório com fontes inventadas por IA. A maioria dos conselhos ainda não fez essa pergunta.

Por Paulo Castello11 min de leitura

Quem responde por um agente que decide errado

O conselho aprovou o projeto de agentes autônomos. Ninguém perguntou, no dia da aprovação, o que acontece no dia em que um deles decide errado. Um tribunal e uma das maiores consultorias do mundo já responderam essa pergunta, e a resposta não foi a que a empresa queria ouvir.

Um tribunal já decidiu: o agente não é "entidade separada"

Em fevereiro de 2024, um passageiro da Air Canada comprou passagem de preço cheio para o funeral da avó porque o chatbot da própria companhia informou, errado, que ele não teria direito à tarifa de luto depois da viagem. Ele processou. A Air Canada se defendeu alegando que o chatbot era "uma entidade legal separada, responsável por suas próprias ações". O Tribunal de Resolução Civil da Colúmbia Britânica rejeitou o argumento e condenou a empresa: o chatbot é parte do site da companhia, e a companhia responde pelo que ele diz.

"Todo projeto de agente autônomo que vi fracassar não fracassou porque o agente errou. Fracassou porque, quando errou, ninguém sabia dizer de quem era a culpa, nem o que fazer a seguir."

— Paulo Castello, CEO Fhinck, setembro de 2026

Não é a primeira vez, e não é só chatbot pequeno

Dezenove meses depois do caso Air Canada, foi a vez de uma das maiores consultorias do mundo. Em outubro de 2025, a Deloitte devolveu parte de um contrato de A$440 mil ao governo australiano: o relatório que ela entregou, sobre um sistema de fiscalização de benefícios sociais, citava uma decisão judicial que nunca existiu e pesquisas acadêmicas inventadas, geradas por um modelo de IA usado na produção do documento. Um pesquisador da Universidade de Sydney percebeu as fontes fabricadas antes que ninguém na consultoria percebesse.

Nos Estados Unidos, famílias de dois beneficiários idosos do Medicare Advantage abriram, no fim de 2023, uma ação coletiva contra a UnitedHealth alegando que o algoritmo nH Predict cortava cobertura de cuidados de forma sistemática, com uma taxa de reversão de 90% nos recursos julgados, segundo os autores da ação. A empresa nega que o algoritmo decida sozinho; o processo segue em curso, e a Justiça já obrigou a empresa a entregar documentos internos do próprio algoritmo.

CasoO que aconteceuO que ficou provado
Air Canada, fev/2024Chatbot prometeu desconto que não existia; empresa alegou que o bot era "entidade separada"Tribunal rejeitou a defesa: a empresa responde pelo agente, sempre
Deloitte Austrália, out/2025Relatório com IA citou decisão judicial e pesquisas inexistentesMesmo o fornecedor que vende transformação com IA paga o preço do próprio erro
UnitedHealth, ação aberta em 2023, em cursoAlgoritmo de decisão clínica acusado de negar cobertura em massaA escala do dano de um agente sem revisão humana cresce junto com o volume de decisões

Nenhum dos três casos terminou com o agente sendo processado. Terminou com uma pessoa jurídica respondendo por uma decisão que um sistema tomou sozinho, ou quase sozinho.

Por que a responsabilidade sobe, em vez de se distribuir

Nomear um dono por etapa não tira a exposição do topo da empresa. Redistribui o trabalho de prevenir o erro. A exposição legal e reputacional continua subindo, porque toda vez que a empresa remove uma camada humana de revisão, ela remove também o amortecedor que antes segurava o erro antes de ele chegar ao conselho.

Em dezembro de 2023, a Arena Group, dona da revista Sports Illustrated, demitiu o CEO Ross Levinsohn, semanas depois de a publicação ser acusada de estampar matérias assinadas por autores fictícios, com foto e biografia geradas por IA, sem aviso ao leitor. A empresa declarou oficialmente que a saída foi por "eficiência operacional". O erro de conteúdo tinha nascido várias camadas abaixo do CEO, num fornecedor terceirizado. A conta chegou ao topo mesmo assim.

É por isso que o envelope de responsabilidade não é uma forma de empurrar o problema para baixo. É a forma de o topo se proteger. Quanto mais claro está quem previne o erro em cada etapa, menor a chance de ele subir sem aviso até quem, no fim, sempre responde.

O erro não é do agente. É de quem não desenhou a resposta

Agente de IA erra. Isso não é hipótese, é o padrão que os quatro casos acima confirmam. A pergunta que separa uma empresa madura de uma empresa exposta não é "nosso agente vai errar" (vai), é: quando errar, quem tem autoridade e obrigação de responder, quem pode desligá-lo nas próximas 24 horas, e quem fala com o cliente ou o regulador?

Na maioria dos comitês de IA que já vi, essa pergunta nunca chega à pauta. Discute-se caso de uso, ROI projetado, cronograma de implantação. Ninguém escreve, antes de ligar o agente, o nome da pessoa que assume quando ele erra, nem o nome de quem tem o poder de suspendê-lo.

Isso não é detalhe jurídico para deixar para depois. É a diferença entre autonomia com dono e autonomia órfã.

A escala do problema, numa conta simples (ilustrativa, não uma medição)

Para dimensionar, sem citar nenhuma empresa real: imagine um agente que toma decisões em volume, um que aprova reembolso, um que responde cliente, um que ajusta um cadastro. Se ele toma 500 decisões por dia e erra em 1% delas, sem ninguém revisando, são 5 decisões erradas por dia. 150 por mês. A maioria pequena, silenciosa, absorvida, exatamente como no caso UnitedHealth, onde 9 em cada 10 recursos julgados reverteram a decisão original do algoritmo, segundo os autores da ação. O erro nunca aparece distribuído. Aparece concentrado, no pior dia possível, na frente de quem menos tolera surpresa.

Vigiado, Delegado, Órfão: os três estados de um agente, e só um deles é seguro

A maioria dos comitês de IA discute capacidade do agente (o que ele consegue fazer) e esquece de discutir estado de responsabilidade (quem responde pelo que ele faz, e quem pode pará-lo). São eixos diferentes, e o segundo é o que decide se a empresa está protegida.

EstadoO agente decideQuem responde e quem paraRisco real
VigiadoSugere, humano decide e executaÓbvio: quem executou; parar é imediatoBaixo, e o ganho também é baixo
DelegadoDecide sozinho, dentro de um envelope escrito antesNomeado no envelope, com trilha auditável e poder de suspender declaradoReal, mas contido e conhecido
ÓrfãoDecide sozinho, sem envelope, sem dono, sem botão de desligar nomeadoNinguém sabe quem responde nem quem para, até o erro aparecerO maior de todos, e o mais comum

O estado mais perigoso não é o mais autônomo. É o Órfão, porque combina decisão real com responsabilidade nenhuma. Uma empresa pode ter um agente inteiro no estado Delegado, com autonomia ampla, e estar mais segura do que uma empresa com um agente tímido no estado Órfão, que decide pouco mas decide sem dono e sem ninguém autorizado a desligá-lo.

Um cuidado que os casos acima expõem: o dono nunca é uma pessoa só para o agente inteiro. É uma pessoa por etapa do que pode falhar, o dado que alimenta a decisão, o modelo que decide, a validação antes de agir, o próprio ato de agir, e o monitoramento depois. A Deloitte não errou porque faltou "um responsável pela consultoria". Errou porque faltou alguém responsável especificamente por conferir a citação antes de ela sair no relatório final.

A etapa de validação vale para qualquer profissional, não só para quem constrói o agente. Em 2023, dois advogados americanos foram multados em US$5 mil por apresentar ao tribunal seis precedentes jurídicos que o ChatGPT tinha inventado, sem checar nenhum antes de assinar a petição. O juiz foi direto: usar IA não muda o dever de verificar antes de agir sobre o que ela disse.

"Mas o fornecedor garante que o agente é confiável"

Essa é a objeção que mais ouço de conselheiros e donos de empresa, e é exatamente a que abre a porta para o problema. Confiabilidade é sobre a taxa de erro do agente. Governança é sobre o que acontece quando essa taxa, que nunca é zero, produz um erro real, e o caso Deloitte é a prova de que nem o próprio fornecedor de IA está livre disso: ele também respondeu.

Grande parte do medo que executivos sentem hoje ao contratar "transformação com agentes autônomos" não é medo da tecnologia. É medo de assinar um contrato onde o fornecedor entrega capacidade e devolve a responsabilidade para dentro de casa, no primeiro parágrafo de limitação de responsabilidade. Pergunte antes de assinar, não depois do incidente: quem, com nome e cargo, responde quando o agente decidir errado, dentro da sua empresa, e quem tem autoridade para desligá-lo? Se a resposta vier como cláusula contratual em vez de nome de pessoa, a resposta já apareceu.

O que muda para a sua empresa: o envelope antes da autonomia

Redesenhar isso não é um projeto de compliance para rodar depois que o agente já está no ar. É uma decisão que precisa existir antes do primeiro dia de autonomia, com quatro perguntas respondidas por escrito:

  1. Quem é o dono, por etapa? Não uma pessoa para o agente inteiro, um dono do dado, um dono da revisão do modelo, um dono da validação antes de agir.
  2. Qual é o envelope? O que o agente decide sozinho, o que exige humano, e o critério que separa os dois casos, escrito antes, não interpretado depois.
  3. Quem tem autoridade para desligar? Uma pessoa nomeada, com poder real de suspender o agente nas próximas 24 horas, sem precisar de mais uma reunião para decidir se pode.
  4. Existe trilha e reversão testada? Toda decisão relevante fica registrada, e o caminho de desfazer um erro foi testado antes de precisar, não inventado na crise.

Empresa grande já mostra o que essa estrutura parece em escala: a IBM mantém, desde 2019, um conselho de ética de IA multidisciplinar que revisa produto antes do lançamento, com poder de barrar o que não passa. Sua empresa não precisa desse tamanho. Precisa da mesma forma, um fórum pequeno, com autoridade real de dizer não, revisando antes de o agente ir ao ar, nunca depois.

(Aplicamos uma versão disso nos próprios agentes que operam a Fhinck internamente: quem responde por cada processo é nomeado antes da autonomia, e a régua é a mesma do envelope acima. Isso prova que a disciplina roda no dia a dia — não prova que bastaria diante de um tribunal, e é por isso que a evidência central deste artigo são os quatro casos acima, não a nossa própria história.)

Roteiro para os próximos 90 dias

Semana 1-2: Liste todo agente com autonomia real hoje na sua empresa (não o que está no projeto, o que já decide sozinho, em produção). Para cada um, escreva quem é o dono por etapa, hoje, com nome e cargo, e quem tem autoridade para desligá-lo.

Semana 3-4: Para cada agente sem dono nomeado ou sem alguém com poder de desligar, decida: nomeia as duas coisas, ou reduz a autonomia até o Vigiado enquanto elas não existem. Não existe terceira opção.

Mês 2-3: Escreva o envelope de cada agente Delegado, o que ele decide sozinho, o que exige humano, e teste a reversão de pelo menos uma decisão de cada um, antes que um erro real force o teste.

Se um agente que sua empresa colocou em produção decidir errado amanhã de manhã, alguém no conselho sabe, hoje, o nome de quem responde e o nome de quem pode desligá-lo, ou a resposta seria "vamos apurar"?

Conclusão

Agente de IA vai errar. Isso não é hipótese, é o que um tribunal canadense, uma consultoria global, um CEO demitido e um processo em curso nos Estados Unidos já confirmaram, cada um à sua maneira. Nenhum deles mostrou um dono nomeado que impedisse a exposição de subir. Todos mostraram o mesmo padrão: quando falta o dono e o poder de desligar em cada etapa, quem responde, no fim, é sempre o topo. O que decide se sua empresa está protegida não é a taxa de erro do agente, é o que existia desenhado antes do erro acontecer: um dono nomeado por etapa, alguém com poder real de desligar, um envelope escrito, uma trilha auditável, um caminho de reversão testado.

A pergunta que separa governança real de governança de slide não é "nosso agente é confiável". É: no dia em que ele errar, quem responde, quem desliga, e o que acontece nas próximas 24 horas?

Se essa pergunta não tem resposta pronta na sua empresa hoje, é exatamente o ponto de partida da Masterclass AI First: dois dias presenciais para sair de quem aprova projeto de IA no escuro para quem sabe, processo a processo, quando dar autonomia e quando não dar. Preencha o formulário de contato e um especialista responde por escrito com as próximas turmas.


Perguntas frequentes sobre governança de agentes de IA

Isso já foi decidido na Justiça alguma vez, ou é só um risco teórico? Já foi decidido mais de uma vez. Em fevereiro de 2024, um tribunal canadense rejeitou o argumento da Air Canada de que seu chatbot era uma "entidade separada"; em outubro de 2025, a Deloitte devolveu parte de um contrato ao governo australiano por um relatório com citação judicial fabricada por IA. Nos dois casos, quem respondeu foi a empresa, nunca o agente.

Isso significa que a empresa não deveria dar autonomia a agentes de IA? Não. O problema nunca foi a autonomia, foi dar autonomia sem antes nomear quem responde por ela e quem pode desligá-la. O que é perigoso é a autonomia órfã, não a autonomia em si.

Quem deveria ser o dono de um agente dentro da empresa? Depende da etapa que falhar: quem alimenta o dado, quem aprova o modelo, quem valida antes de agir. Raramente é uma pessoa só, e quase nunca é só o time de TI ou só o fornecedor.

Um fornecedor ou uma grande integradora que vende "transformação com agentes autônomos" já resolve isso? Raramente, e o caso Deloitte prova isso: mesmo uma consultoria global pagou o preço de um erro de IA que ela mesma introduziu. Pergunte antes de assinar quem responde, com nome de pessoa.

Qual é a diferença entre isso e a escala de 8 fases da IA na empresa que vocês já publicaram? São a mesma jornada, vistas de ângulos diferentes. A escala mede maturidade para decidir sobre IA; este artigo é sobre nomear quem responde e quem pode parar o agente antes de ligar a autonomia, uma condição anterior a qualquer fase.

Isso só importa para empresa grande, com dezenas de agentes rodando? Importa mais para a pequena, que sente o primeiro erro sério sem estrutura para isolar o estrago.


Continue lendo

governança de IAagentes de IAresponsabilidadeAI Firstconselhorisco operacional

Paulo Castello

CEO & Founder, Fhinck

Conduziu a transição da Fhinck de empresa de Task Mining tradicional para AI First — de 50 para 6 pessoas com a receita crescendo 50% no período.

Ver perfil →

Quer ver isso na sua operação?

Agende uma demonstração e descubra o ROI de 600% em menos de 12 meses.

Agendar demonstração