No primeiro estágio, ele apenas sugere respostas para um atendente. Depois passa a responder diretamente ao cliente. Mais tarde recebe autorização para conceder descontos. Em seguida pode cancelar pedidos ou emitir créditos.
É a mesma “iniciativa de IA”?
Tecnologicamente talvez exista continuidade. Do ponto de vista de risco, certamente não.
A cada novo nível de autonomia, novas perguntas precisam ser respondidas.
Que sistemas esse agente pode acessar?
Que informações pode consultar?
Quais ações pode executar?
Existem limites financeiros?
Pode tomar decisões sozinho?
Quais situações exigem aprovação humana?
Quem monitora suas ações?
Todas as decisões ficam registradas?
O agente pode ser interrompido?
Existe rollback?
O que acontece se outro agente fornecer informações incorretas?
Essas questões precisam fazer parte do desenho do caso de uso, e não aparecer apenas quando o sistema já estiver em produção.
Também existe uma dimensão de accountability. Se um agente toma uma ação incorreta, quem responde?
“O modelo fez isso” obviamente não pode ser uma resposta organizacional aceitável. Quanto maior a autonomia, mais importante se torna definir explicitamente quem possui autoridade para aprovar, supervisionar e interromper o sistema.
Isso não significa impedir agentes de operar. Ao contrário.
Agentes provavelmente serão uma das principais formas de transformar processos nos próximos anos.
Mas existe uma diferença entre experimentar um copiloto e delegar partes de um processo de negócio a software autônomo.
Essa diferença precisa ser reconhecida pela governança.
Uma abordagem útil é aumentar progressivamente a autonomia.
Começar com recomendação.
Depois permitir ação com aprovação.
Em seguida, ação automática em situações bem delimitadas.
E somente depois ampliar a autonomia, conforme evidências, controles e confiança aumentarem.
Essa progressão permite aprender sem assumir todo o risco de uma vez. Também reforça um princípio importante:
Governança deveria acompanhar a autonomia, não apenas a tecnologia.
Duas soluções usando o mesmo modelo podem exigir controles completamente diferentes.
O que importa é o que elas fazem, os dados que utilizam, o impacto de suas decisões e a possibilidade de intervenção humana.
À medida que agentes começarem a participar mais ativamente dos processos empresariais, acredito que uma pergunta se tornará obrigatória para executivos:
“Quanto poder de decisão estamos efetivamente delegando à IA?”
Essa pergunta é muito mais importante do que saber qual modelo está por trás do agente.
Porque, no final, o risco não está apenas na inteligência do sistema.
Está na autoridade que decidimos conceder a ele.