Pots confiar la teva feina als agents d'IA?
Els agents d'IA necessiten delegació i supervisió. Així és com hem creat un sistema que detecta els seus propis errors i evita que es repeteixin.
Zachary Sheldon5 min de lecturaEn aquesta pàgina
Construint un sistema millor
A l’últim article et vaig ensenyar els càlculs que les demostracions ometen. Un agent d’IA que és un 95% fiable en cada pas d’una tasca no és un 95% fiable en tot el treball sencer.
El treball real són cadenes llargues, així que un únic agent que ho fa tot és fràgil. Aquell article acabava amb una intuïció: potser la resposta no és un agent més gran. Potser és un sistema.
Aquesta paraula pot sonar a excusa, així que deixa’m concretar-ho, començant amb una fallada de les nostres pròpies proves.
Quin aspecte té realment una IA més segura
Cada setmana apareix una nova història sobre “eixams d’agents” d’IA que s’escapen del control durant les proves. La versió sensacionalista et faria creure que la IA és massa gran i massa complexa perquè qualsevol persona l’arribi a entendre. Això omet la pregunta que importa per a un negoci: quan un sistema d’IA comet un error, algú el detecta i evita que torni a passar?
Com un sistema detecta els errors dels agents
Gestionar bé la feina requereix coneixements especialitzats. Sota Aqua hi ha el que anomenem un model de món: una col·lecció d’objectes virtuals que representa aspectes diferents del treball cooperatiu (la tasca, qui se n’encarrega, què és cert, què queda pendent) en lloc d’una llarga i confusa conversa que la IA ha de rellegir esperant haver-ho entès bé.
Com que el treball es manté com a objectes virtuals amb una estructura estàndard, el sistema pot fer tres coses que un agent convencional no pot fer.
El model de món traça la feina com a passos separats i rastrejables, no com una llarga cadena on una relliscada en qualsevol punt arruïna el final a causa de l’error acumulat.
Cada pas va a la part de l’equip dissenyada per a això, en lloc d’un generalista fent-ho tot alhora a partir d’instruccions repetides.
Un pas de comprovació llegeix cada peça acabada i la compara amb el que s’havia de produir. Si està malament, es detecta i s’arregla allà mateix, abans que el següent pas hereti l’error.
Els dos primers passos són el motiu pel qual, fins i tot quan el sistema pren una mala decisió, podem assenyalar directament la part de la feina que l’ha provocat. El tercer és el motiu pel qual un mal resultat es detecta on ha passat, abans que pugui agreujar-se en els passos següents.
Memòria que guarda els rebuts
Tot sistema de responsabilitat requereix un manteniment de registres. Aquí és on gairebé totes les eines del mercat es queden curtes, tot i que totes anuncien la mateixa paraula: memòria. El que ells entenen per memòria i el que el teu negoci necessita realment no són la mateixa cosa.
La majoria de la “memòria d’IA” actual és una única gran caixa de notes. El model de món d’Aquarius manté un arxivador amb calaixos etiquetats.
- Text passat extret perquè s'assembla a la teva petició
- Informació sobre tu, no sobre les operacions del teu negoci
- Notes soltes, guardades de la manera que l'eina ha decidit fer-ho
- Emmagatzema el que s'ha dit, no el que s'ha fet
- Què és cert: les teves regles, preus i persones, mantinguts com a paraula final
- Què ha passat: cada acció registrada com un esdeveniment, no com una frase que el descriu
- Qui fa què bé, i què queda pendent
- Cada cosa al seu lloc, oberta a inspecció i correcció
La gran caixa de notes està bé per recordar coses. No et pot dir què va passar dimarts, perquè la caixa no separa les notes amb etiquetes datades que puguis assenyalar. Una execució de Project d’Aquarius, en canvi, ve amb l’arxivador: cada pas genera un registre d’execució que tu o un gestor d’IA podeu obrir i inspeccionar.
Aquest arxivador és el que va fer que l’error de la nostra recepcionista fos localitzable en primer lloc. Hi havia un relat registrat del que havia passat a la cadena de tasques perquè el gestor d’IA el localitzés i el solucionés. Jo en diria un registre d’operacions auditable, i el seu valor va més enllà de la confiança.
El teu treball, el teu model
Com que el model d’Aqua està estandarditzat, i com que és teu, és un actiu. El pots utilitzar per dirigir el negoci. El pots compartir, donant a un contractista o a un nou empleat exactament la part que necessiten. I quan un negoci canvia de mans, el registre de com funciona realment és part del que s’està venent. Una caixa de registres de xat no pot fer res d’això. No voldràs lliurar això, i certament no ho pots monetitzar.
No vols una IA que sigui misteriosa. Vols una IA que mantingui registres que puguis obrir, posseir i transmetre.
Preguntes freqüents
Llavors, puc confiar feina real a la IA o no? Per a feines curtes i contingudes, sovint sí. Per a treballs llargs de múltiples passos, només si hi ha un sistema que comprova cada pas, no un únic agent executant tota la cadena sense supervisió. Confia en la configuració que pot detectar i arreglar un error, de la mateixa manera que confies en unes canonades que tenen vàlvules de tancament, no en les que prometen que mai tindran fuites.
Què vols dir amb un “model de món”? És la part del nostre sistema que manté el teu negoci com un conjunt de peces reals i separades (la tasca, qui se n’encarrega, què és cert, què queda pendent) en lloc d’un llarg flux de xat. Mantenir la feina d’aquesta manera és el que permet al sistema trencar una feina en passos, lliurar cadascun a la part adequada de l’equip i comprovar cadascun abans de continuar.
En què es diferencia això de la “memòria d’IA”? La majoria de la memòria d’IA emmagatzema el que s’ha dit: text passat que cerca per similitud, o un perfil de les teves preferències. Això l’ajuda a sonar coherent. No et dóna un registre del que s’ha fet realment, registrat com a esdeveniments que pots inspeccionar i corregir. El primer és una caixa de notes; el segon és un arxivador.
Del nostre equip al teu. Aquarius construeix IA personalitzada per a particulars i petites empreses. Hem creat Aqua, el teu mag personal per als negocis. Aprèn com fas les coses i, a continuació, utilitza el nostre Model de Món de Treball per crear un equip d’IAs dissenyat per cobrir les teves necessitats. peopleaquarius.com