Kan du stole på AI-agenter med arbeidet ditt?
AI-agenter trenger delegering og oppfølging. Slik bygget vi et system som oppdager sine egne feil og sørger for at de ikke skjer to ganger.
Zachary Sheldon5 min lesetidPå denne siden
Å bygge et bedre system
I det forrige innlegget viste jeg deg regnestykket som demoene utelater. En AI-agent som er 95 % pålitelig på hvert trinn av en oppgave, er ikke 95 % pålitelig for hele jobben samlet sett.
Ekte arbeid består av lange kjeder, så en enkelt agent som skal gjøre alt, er sårbar. Det innlegget endte med en mistanke: kanskje svaret ikke er en større agent i det hele tatt. Kanskje det er et system.
Det ordet kan høres ut som en unnvikelse, så la meg gjøre det konkret, og starte med en bommert fra vår egen testing.
Hvordan tryggere AI faktisk ser ut
Hver uke kommer det en ny historie om “agentsvermer” av AI som glipper ut av kontroll under testing. Den sensasjonelle versjonen vil ha deg til å tro at AI er for stort og komplekst til at noe menneske noensinne kan forstå det. Det hopper over spørsmålet som betyr noe for en bedrift: når et AI-system gjør en feil, fanger noen det opp, og forhindrer de at det skjer to ganger?
Hvordan et system fanger opp agentenes feil
Å styre arbeid godt krever spesialisert kunnskap. Under Aqua ligger det vi kaller en verdensmodell: en samling av virtuelle objekter som representerer ulike aspekter ved samarbeid (oppgaven, hvem som håndterer den, hva som er sant, hva som fortsatt mangler) i stedet for en lang, uklar smørje av chat som AI-en må lese på nytt og håpe den forsto riktig.
Fordi arbeidet holdes som virtuelle objekter med en standardstruktur, kan systemet gjøre tre ting som en standardagent rett ut av boksen ikke kan.
Verdensmodellen kartlegger jobben som separate, sporbare trinn, ikke én lang kjede der et feiltrinn hvor som helst ødelegger sluttresultatet gjennom forsterkende feil.
Hvert trinn går til den delen av teamet som er bygget for det, i stedet for at én generalist gjør alt på en gang basert på gjentatte ledetekster.
Et kontrolltrinn leser hver ferdige bit opp mot det den var ment å produsere. Hvis det er feil, blir det fanget opp og fikset der og da, før neste trinn arver feilen.
De to første trinnene er grunnen til at vi, selv når systemet tar en dårlig beslutning, kan peke rett på den delen av arbeidet som utløste det. Det tredje er grunnen til at et dårlig resultat fanges opp der det skjedde, før det kan forplante seg til trinnene som følger.
Minne som tar vare på kvitteringene
Ethvert system for ansvarlighet krever at man fører arkiv. Det er her nesten alle verktøy på markedet kommer til kort, selv om de alle reklamerer med det samme ordet: minne. Det de mener med minne og det bedriften din faktisk trenger, er ikke det samme.
Det meste av “AI-minne” i dag er en eneste stor kasse med notater. Aquarius sin verdensmodell har et arkivskap med merkede skuffer.
- Tidligere tekst hentet inn fordi den ligner på forespørselen din
- Informasjon om deg, ikke bedriftens drift
- Løse notater, lagret akkurat slik verktøyet tilfeldigvis lagret dem
- Lagrer det som ble sagt, ikke det som ble gjort
- Hva som er sant: dine regler, priser og folk, holdt som det endelige ordet
- Hva som skjedde: hver handling registrert som en hendelse, ikke en setning som beskriver den
- Hvem som gjør hva bra, og hva som fortsatt mangler
- Hver ting på sin egen plass, åpen for inspeksjon og korrigering
Den store kassen med notater er grei for å huske ting. Den kan ikke fortelle deg hva som skjedde på tirsdag, fordi kassen ikke skiller notater med daterte etiketter du kan peke på. En Aquarius Project-kjøring kommer imidlertid med arkivskapet: hvert trinn genererer en kjørelogg som du eller en AI-leder kan åpne og inspisere.
Det arkivskapet er det som gjorde resepsjonistens feil mulig å finne i utgangspunktet. Det fantes en registrert logg over hva som skjedde i oppgavekjeden, som AI-lederen kunne finne og ta tak i. Jeg vil kalle det en etterprøvbar driftslogg, og verdien av den strekker seg lenger enn bare tillit.
Ditt arbeid, din modell
Fordi Aquas modell er standardisert, og fordi den er din, er den en ressurs. Du kan bruke den til å drive bedriften. Du kan dele den, og gi en entreprenør eller en nyansatt akkurat den biten de trenger. Og når en bedrift bytter eier, er loggen over hvordan den faktisk drives en del av det som selges. En kasse med chatlogger kan ikke gjøre noe av det. Du vil ikke overlevere det, og du kan absolutt ikke tjene penger på det.
Du vil ikke ha AI som er mystisk. Du vil ha AI som fører logger du kan åpne, eie og gi videre.
FAQ
Så kan jeg stole på AI med ekte arbeid eller ikke? For korte, avgrensede jobber, ofte ja. For langt arbeid med flere trinn, bare hvis det er et system som sjekker hvert trinn, ikke en enkelt agent som kjører hele kjeden uten tilsyn. Stol på oppsettet som kan fange opp og fikse en feil, på samme måte som du stoler på rørleggerarbeid som har stengeventiler, ikke det som lover at det aldri vil lekke.
Hva mener du med en “verdensmodell”? Det er den delen av systemet vårt som holder bedriften din som et sett med virkelige, separate biter (oppgaven, hvem som håndterer den, hva som er sant, hva som fortsatt mangler) i stedet for én lang strøm av chat. Å holde arbeidet på den måten er det som lar systemet bryte en jobb ned i trinn, gi hvert trinn til riktig del av teamet, og sjekke hvert enkelt før det går videre.
Hvordan er det annerledes enn “AI-minne”? Det meste av AI-minne lagrer det som ble sagt: tidligere tekst den søker i etter likhet, eller en profil av dine preferanser. Det hjelper den med å høres konsekvent ut. Det gir deg ikke en logg over hva som faktisk ble gjort, registrert som hendelser du kan inspisere og korrigere. Det første er en kasse med notater; det andre er et arkivskap.
Fra vårt team til ditt. Aquarius bygger tilpasset AI for enkeltpersoner og små bedrifter. Vi laget Aqua, din personlige bedriftstrollmann. Den lærer hvordan du får ting gjort, og bruker deretter vår Working World Model til å sette sammen et team av AI-er formet for å fylle hullene dine. peopleaquarius.com