¿Puedes confiar tu trabajo a los agentes de IA?
Los agentes de IA necesitan delegación y supervisión. Aquí te mostramos cómo construimos un sistema que encuentra sus propios errores y evita que vuelvan a ocurrir.
Zachary Sheldon5 min de lecturaEn esta página
Construyendo un sistema mejor
En la última publicación te mostré las matemáticas que las demostraciones omiten. Un agente de IA que es 95% confiable en cada paso de una tarea no es 95% confiable en todo el trabajo.
El trabajo real son cadenas largas, por lo que un solo agente que hace de todo es frágil. Esa publicación terminó con una corazonada: tal vez la respuesta no sea un agente más grande en absoluto. Tal vez sea un sistema.
Esa palabra puede sonar como una evasiva, así que déjame hacerla concreta, empezando con un fallo de nuestras propias pruebas.
Cómo se ve realmente una IA más segura
Cada semana trae otra historia sobre “enjambres de agentes” de IA que se salen de control en las pruebas. La versión sensacionalista te haría creer que la IA es demasiado grande y demasiado compleja para que cualquier persona la entienda. Eso omite la pregunta que importa para un negocio: cuando un sistema de IA comete un error, ¿alguien lo detecta y evita que vuelva a suceder?
Cómo un sistema detecta los errores de los agentes
Gestionar bien el trabajo requiere conocimientos especializados. Debajo de Aqua hay lo que llamamos un modelo del mundo: una colección de objetos virtuales que representa distintos aspectos del trabajo cooperativo (la tarea, quién la maneja, qué es verdad, qué se debe aún) en lugar de una larga mancha de chat que la IA tiene que volver a leer y esperar haber entendido bien.
Debido a que el trabajo se mantiene como objetos virtuales con una estructura estándar, el sistema puede hacer tres cosas que un agente genérico no puede.
El modelo del mundo mapea el trabajo como pasos separados y rastreables, no como una larga cadena donde un resbalón en cualquier lugar arruina el final a través de errores acumulados.
Cada paso va a la parte del equipo construida para ello, en lugar de un generalista haciendo todo a la vez a partir de indicaciones repetidas.
Un paso de verificación lee cada pieza terminada frente a lo que se suponía que debía producir. Si está mal, se detecta y se arregla allí mismo, antes de que el siguiente paso herede el error.
Los dos primeros pasos son la razón por la que, incluso cuando el sistema toma una mala decisión, podemos señalar directamente a la parte del trabajo que la desencadenó. El tercero es la razón por la que un mal resultado se detecta donde ocurrió, antes de que pueda acumularse en los pasos siguientes.
Memoria que guarda los recibos
Todo sistema de rendición de cuentas requiere llevar registros. Aquí es donde casi todas las herramientas del mercado se quedan cortas, incluso cuando todas anuncian la misma palabra: memoria. Lo que quieren decir con memoria y lo que tu negocio realmente necesita no son la misma cosa.
La mayor parte de la “memoria de IA” hoy en día es una sola gran caja de notas. El modelo del mundo de Aquarius mantiene un archivador con cajones etiquetados.
- Texto pasado extraído porque se parece a tu solicitud
- Información sobre ti, no sobre las operaciones de tu negocio
- Notas sueltas, guardadas como a la herramienta se le ocurrió guardarlas
- Almacena lo que se dijo, no lo que se hizo
- Lo que es verdad: tus reglas, precios y personas, mantenidos como la última palabra
- Lo que pasó: cada acción registrada como un evento, no una oración que la describe
- Quién hace qué bien, y qué se debe aún
- Cada cosa en su propio lugar, abierta a inspección y corrección
La gran caja de notas está bien para recordar. No puede decirte qué pasó el martes, porque la caja no separa las notas con etiquetas fechadas a las que puedas señalar. Una ejecución de un Project de Aquarius, sin embargo, viene con el archivador: cada paso genera un registro de ejecución que tú o un gerente de IA pueden abrir e inspeccionar.
Ese archivador es lo que hizo que el error de nuestra recepcionista fuera localizable en primer lugar. Había un relato registrado de lo que sucedió en la cadena de tareas para que el gerente de IA lo localizara y abordara. Yo lo llamaría un registro de operaciones responsable, y su valor va más allá de la confianza.
Tu trabajo, tu modelo
Debido a que el modelo de Aqua está estandarizado, y debido a que es tuyo, es un activo. Puedes usarlo para administrar el negocio. Puedes compartirlo, entregando a un contratista o a un nuevo empleado exactamente la porción que necesitan. Y cuando un negocio cambia de manos, el registro de cómo funciona realmente es parte de lo que se vende. Una caja de registros de chat no puede hacer nada de eso. No querrás entregar eso, y ciertamente no puedes monetizarlo.
No quieres una IA que sea misteriosa. Quieres una IA que mantenga registros que puedas abrir, poseer y transmitir.
Preguntas frecuentes
Entonces, ¿puedo confiar en la IA para el trabajo real o no? Para trabajos cortos y contenidos, a menudo sí. Para trabajos largos de múltiples pasos, solo si hay un sistema verificando cada paso, no un solo agente ejecutando toda la cadena sin supervisión. Confía en la configuración que puede detectar y arreglar un error, de la misma manera que confías en la plomería que tiene válvulas de cierre, no en la que promete que nunca tendrá fugas.
¿Qué quieres decir con un “modelo del mundo”? Es la parte de nuestro sistema que mantiene tu negocio como un conjunto de piezas reales y separadas (la tarea, quién la maneja, qué es verdad, qué se debe aún) en lugar de un largo flujo de chat. Mantener el trabajo de esa manera es lo que permite al sistema dividir un trabajo en pasos, entregar cada uno a la parte correcta del equipo y verificar cada uno antes de continuar.
¿En qué se diferencia eso de la “memoria de IA”? La mayoría de la memoria de IA almacena lo que se dijo: texto pasado que busca por similitud, o un perfil de tus preferencias. Eso le ayuda a sonar consistente. No te da un registro de lo que realmente se hizo, registrado como eventos que puedes inspeccionar y corregir. Lo primero es una caja de notas; lo segundo es un archivador.
De nuestro equipo al tuyo. Aquarius construye IA personalizada para individuos y pequeñas empresas. Hicimos a Aqua, tu mago de negocios personal. Aprende cómo haces las cosas, luego usa nuestro Modelo del Mundo de Trabajo para crear un equipo de IAs moldeado para llenar tus vacíos. peopleaquarius.com