Você pode confiar o seu trabalho a agentes de IA?
Agentes de IA precisam de delegação e supervisão. Veja como construímos um sistema que encontra seus próprios erros e evita que eles aconteçam duas vezes.
Zachary Sheldon5 min de leituraNesta página
Construindo um sistema melhor
No último post eu mostrei a você a matemática que as demonstrações deixam de fora. Um agente de IA que é 95% confiável em cada etapa de uma tarefa não é 95% confiável em todo o trabalho.
O trabalho real é feito de longas cadeias, então um único agente que faz tudo é frágil. Aquele post terminou com um palpite: talvez a resposta não seja um agente maior. Talvez seja um sistema.
Essa palavra pode soar como uma desculpa, então deixe-me torná-la concreta, começando com uma falha dos nossos próprios testes.
Como realmente é uma IA mais segura
Toda semana traz outra história sobre “enxames de agentes” de IA saindo do controle nos testes. A versão sensacionalista faria você acreditar que a IA é grande e complexa demais para qualquer pessoa entender. Isso ignora a pergunta que importa para um negócio: quando um sistema de IA comete um erro, alguém percebe, e evita que aconteça duas vezes?
Como um sistema detecta os erros dos agentes
Gerenciar bem o trabalho exige conhecimento especializado. Por baixo do Aqua há o que chamamos de modelo de mundo: uma coleção de objetos virtuais que representa aspectos distintos do trabalho cooperativo (a tarefa, quem está lidando com ela, o que é verdade, o que ainda é devido) em vez de um longo borrão de chat que a IA tem que reler e torcer para ter acertado.
Como o trabalho é mantido como objetos virtuais com uma estrutura padrão, o sistema pode fazer três coisas que um agente pronto para uso não consegue.
O modelo de mundo mapeia o trabalho como etapas separadas e rastreáveis, não uma longa cadeia onde um deslize em qualquer lugar arruína o final através de erros compostos.
Cada etapa vai para a parte da equipe construída para ela, em vez de um generalista fazendo tudo ao mesmo tempo a partir de prompts repetidos.
Uma etapa de verificação lê cada peça concluída em relação ao que ela deveria produzir. Se estiver errado, é detectado e corrigido ali mesmo, antes que a próxima etapa herde o erro.
As duas primeiras etapas são o motivo pelo qual, mesmo quando o sistema toma uma decisão ruim, podemos apontar direto para a parte do trabalho que a desencadeou. A terceira é o motivo pelo qual um resultado ruim é detectado onde aconteceu, antes que possa se acumular nas etapas seguintes.
Memória que guarda os recibos
Todo sistema de responsabilidade exige manutenção de registros. É aqui que quase todas as ferramentas do mercado deixam a desejar, mesmo que todas anunciem a mesma palavra: memória. O que elas querem dizer com memória e o que o seu negócio realmente precisa não são a mesma coisa.
A maior parte da “memória de IA” hoje é uma única grande caixa de anotações. O modelo de mundo do Aquarius mantém um arquivo com gavetas etiquetadas.
- Texto passado puxado porque parece semelhante ao seu pedido
- Informações sobre você, não sobre as operações do seu negócio
- Anotações soltas, guardadas da forma que a ferramenta calhou de guardar
- Armazena o que foi dito, não o que foi feito
- O que é verdade: suas regras, preços e pessoas, mantidos como a palavra final
- O que aconteceu: cada ação registrada como um evento, não uma frase descrevendo um
- Quem faz o que bem, e o que ainda é devido
- Cada coisa em seu próprio lugar, aberta para inspeção e correção
A grande caixa de anotações é boa para lembrar. Ela não pode dizer o que aconteceu na terça-feira, porque a caixa não separa as anotações com etiquetas datadas para as quais você possa apontar. Uma execução de Projeto do Aquarius, no entanto, vem com o arquivo: cada etapa gera um registro de execução que você ou um gerente de IA pode abrir e inspecionar.
Esse arquivo foi o que tornou o erro da nossa recepcionista encontrável em primeiro lugar. Havia um relato registrado do que aconteceu na cadeia de tarefas para o gerente de IA localizar e resolver. Eu chamaria isso de um registro de operações responsável, e seu valor vai além da confiança.
Seu Trabalho, Seu Modelo
Como o modelo do Aqua é padronizado, e como é seu, ele é um ativo. Você pode usá-lo para administrar o negócio. Você pode compartilhá-lo, entregando a um prestador de serviços ou a um novo contratado exatamente a fatia que eles precisam. E quando um negócio muda de mãos, o registro de como ele realmente funciona é parte do que está sendo vendido. Uma caixa de logs de chat não pode fazer nada disso. Você não quer entregar isso, e certamente não pode monetizá-lo.
Você não quer uma IA que seja misteriosa. Você quer uma IA que mantenha registros que você possa abrir, possuir e repassar.
FAQ
Então, posso confiar na IA com trabalho real ou não? Para trabalhos curtos e contidos, muitas vezes sim. Para trabalhos longos de várias etapas, apenas se houver um sistema verificando cada etapa, não um único agente executando toda a cadeia sem supervisão. Confie na configuração que pode detectar e corrigir um erro, da mesma forma que você confia em um encanamento que tem válvulas de fechamento, não naquele que promete que nunca vai vazar.
O que você quer dizer com um “modelo de mundo”? É a parte do nosso sistema que mantém o seu negócio como um conjunto de peças reais e separadas (a tarefa, quem está lidando com ela, o que é verdade, o que ainda é devido) em vez de um longo fluxo de chat. Manter o trabalho dessa forma é o que permite ao sistema quebrar um trabalho em etapas, entregar cada uma à parte certa da equipe e verificar cada uma antes de seguir em frente.
Como isso é diferente da “memória de IA”? A maior parte da memória de IA armazena o que foi dito: texto passado que ela pesquisa por similaridade, ou um perfil de suas preferências. Isso a ajuda a soar consistente. Não lhe dá um registro do que foi realmente feito, registrado como eventos que você pode inspecionar e corrigir. O primeiro é uma caixa de anotações; o segundo é um arquivo.
Da nossa equipe para a sua. O Aquarius constrói IA personalizada para indivíduos e pequenas empresas. Nós criamos o Aqua, seu assistente de negócios pessoal. Ele aprende como você faz as coisas e, em seguida, usa nosso Modelo de Mundo de Trabalho para criar uma equipe de IAs moldada para preencher suas lacunas. peopleaquarius.com