A IA sugere. O processo decide. Por que essa diferença é o que separa automação de prejuízo.
Semana passada um sistema meu decidiu, com toda a convicção, que "Posso fazer o checkin às 19?" significava "opção 1".
O motivo é bobo e por isso mesmo instrutivo. A opção 1 tinha o "1" como um dos gatilhos, e o "1" está dentro do "19". O sistema comparava por pedaço de texto, sem checar se era a palavra inteira. Ele não teve dúvida. Achou que entendeu a pessoa, e entendeu errado, de forma confiante, coerente e plausível.
Isso não é alucinação no sentido estrito dos LLMs. Mas, operacionalmente, é o mesmo tipo de falha: uma interpretação errada atravessando o sistema com aparência de certeza. Não teve IA nenhuma nessa decisão. Foi um sistema modelado, determinístico, sendo confiante e errado. Alucinar, nesse sentido operacional, não é defeito exclusivo da IA. É o que qualquer sistema confiante faz quando o processo não o obriga a ser checado.
O mesmo erro que troca o check-in pela calabresa
O sistema do "19" era um atendimento por WhatsApp que estou construindo, e esse tipo de fluxo não para na conversa: junto entram sensores, impressoras e dispositivos, o fluxo que sai do formulário e entra no mundo físico. Pensa num restaurante com delivery: o cliente que manda o pedido no WhatsApp, a comanda que imprime na cozinha, o painel que diz se a loja está aberta ou pausada naquele minuto. É tudo o mesmo fluxo. O bug do "19" vivia na ponta que conversa, e a mesma classe de erro que aparece no check-in pode aparecer no pedido do delivery: troca o "checkin às 19" por um "quero 2 de calabresa" e a opção 2 é escolhida pela mesma razão boba.
O gêmeo do bug, e esse sim foi a IA
No mesmo dia, uma IA me ajudava a manter o histórico do projeto e esbarrou numa regra que todo mundo citava mas ninguém tinha escrito em lugar nenhum. Para não deixar a ponta solta, ela reconstruiu de memória o que a regra provavelmente dizia e quase registrou esse palpite como fato histórico. Um passado coerente, bem escrito, que nunca aconteceu. E eu quase deixei passar, porque estava plausível.
Duas alucinações no mesmo dia: uma do sistema determinístico, uma da IA, o mesmo formato de erro. Nenhuma foi pega por inteligência. As duas foram pegas por processo.
Processo não é papelada. É detector de confiante e errado.
E é aqui que eu mudei de ideia sobre o que é um processo bem modelado. O propósito mais profundo dele não é organizar o trabalho, é pegar a afirmação plausível que ninguém questionou, venha ela de uma pessoa, de um sistema ou de um modelo.
A IA não diminui a necessidade disso. Ela aumenta. A IA é excelente em produzir coisa plausível em escala e velocidade, e um processo fraco sobrevivia à custa da lentidão humana, que dava tempo de alguém desconfiar antes de a bobagem virar decisão. Com IA no meio, o palpite vira registro antes de qualquer um conferir.
Por isso, na Smartify, a IA não é autoridade do caminho principal. O processo modelado é soberano e roda de forma determinística. A IA entra como rascunho e como evidência: ela sugere, interpreta, propõe, mas quem decide é o processo, que valida a proposta contra o modelo antes de ela virar ação. A IA só é acionada quando o fluxo pede explicitamente, ou quando uma solicitação sai do que o modelo previu. Ela é a exceção tratada na fronteira, nunca o motor.
Cinco práticas chatas
O que funcionou, na prática, foi tudo o que parece burocrático quando as coisas vão bem.
Conferir contra a fonte, nunca contra o resumo. O bug do "19" só apareceu quando alguém leu o código de verdade, não a descrição dele.
Registro que só cresce, nunca se apaga. Quando cada linha é permanente e corrigir é acrescentar em vez de sobrescrever, o folclore não consegue reescrever a história.
Duas revisões independentes que podem se contradizer. Foi uma delas que derrubou a premissa da outra, e a discordância pegou o que cada uma sozinha teria deixado passar.
Uma regra chata: não invente. Se não sabe, diga que não sabe. "Não sei" é informação; palpite disfarçado de fato é dívida que rende juros.
E dizer de onde veio cada afirmação. A frase que salvou o dia foi banal: "isto é uma reconstrução, não a memória de alguém". No instante em que a origem fica explícita, a afirmação para de se passar por verdade.
O próprio processo alucina
Tem um detalhe que me marcou, e é o mais desconfortável. Eu, seguindo o processo, cheguei a registrar que uma regra tinha sido "resolvida" por uma decisão que não tinha nada a ver com ela. Um passado coerente e falso, assinado por mim. O que salvou não foi acertar sempre. Foi o processo permitir dizer "errei" e corrigir sem apagar o erro. Um processo que não sabe admitir o próprio engano não protege contra alucinação. Ele institucionaliza a primeira que passar.
A conta sobe quando o fluxo chega na cozinha
A lição que eu tiro não é "cuidado com a IA". É que a IA cobra do processo o que a lentidão humana antes perdoava. E o preço disso deixa de ser abstrato quando o fluxo passa a imprimir uma comanda na cozinha, ou a aceitar um pedido com a loja já fechada. A alucinação que era um constrangimento vira pedido errado, cliente que não volta, prejuízo no fim do dia. Colocar IA dentro da operação de um negócio sem um processo que trate confiança como um sinal sem valor de prova não é inovação. É terceirizar a decisão para o palpite mais bem escrito. E quem vive de margem apertada sente isso primeiro.
O modelo do processo deixou de ser papelada. Virou a linha de defesa, e cada vez mais a que separa automação de prejuízo.
