Kan du betro dit arbejde til AI-agenter?
AI-agenter har brug for delegering og opsyn. Her er, hvordan vi byggede et system, der finder sine egne fejl og forhindrer dem i at ske to gange.
Zachary Sheldon5 min. læsningPå denne side
Opbygning af et bedre system
I det sidste indlæg viste jeg dig den matematik, som demoerne udelader. En AI-agent, der er 95 % pålidelig på hvert trin af en opgave, er ikke 95 % pålidelig over hele jobbet.
Rigtigt arbejde er lange kæder, så en enkelt altmulig-agent er en skrøbelig en af slagsen. Det indlæg sluttede med en mistanke: Måske er svaret slet ikke en større agent. Måske er det et system.
Det ord kan lyde som en undvigemanøvre, så lad mig gøre det konkret, startende med en smutter fra vores egne tests.
Hvordan mere sikker AI i virkeligheden ser ud
Hver uge bringer en ny historie om AI-”agentsværme”, der river sig løs i tests. Den sensationelle version vil have dig til at tro, at AI er for stort og for komplekst til, at noget menneske nogensinde kan forstå det. Det springer det spørgsmål over, der betyder noget for en virksomhed: når et AI-system begår en fejl, er der så nogen, der opdager den, og forhindrer det i at ske igen?
Hvordan et system fanger agenters fejl
At styre arbejde godt kræver specialiseret viden. Under Aqua er der det, vi kalder en verdensmodel: en samling af virtuelle objekter, der repræsenterer forskellige aspekter af samarbejde (opgaven, hvem der håndterer den, hvad der er sandt, hvad der stadig skyldes) i stedet for én lang sløret chat, som AI’en skal genlæse og håbe, den forstod rigtigt.
Fordi arbejdet holdes som virtuelle objekter med en standardstruktur, kan systemet gøre tre ting, som en standardagent ikke kan.
Verdensmodellen kortlægger jobbet som separate, sporbare trin, ikke én lang kæde, hvor en smutter et hvilket som helst sted ødelægger slutresultatet gennem akkumulerede fejl.
Hvert trin går til den del af holdet, der er bygget til det, i stedet for at én generalist gør alt på én gang ud fra gentagne prompts.
Et kontroltrin læser hvert færdigt stykke op imod det, det var meningen, det skulle producere. Hvis det er forkert, bliver det fanget og rettet lige der, før det næste trin arver fejlen.
De første to trin er grunden til, at vi, selv når systemet træffer en dårlig beslutning, kan pege direkte på det stykke arbejde, der udløste den. Det tredje er grunden til, at et dårligt resultat bliver fanget der, hvor det skete, før det kan forværres i de efterfølgende trin.
Hukommelse, der gemmer kvitteringerne
Ethvert system for ansvarlighed kræver registrering. Det er her, næsten alle værktøjer på markedet kommer til kort, selvom de alle reklamerer med det samme ord: hukommelse. Hvad de mener med hukommelse, og hvad din virksomhed faktisk har brug for, er ikke det samme.
Det meste “AI-hukommelse” i dag er en enkelt stor kasse med noter. Aquarius-verdensmodellen har et arkivskab med mærkede skuffer.
- Tidligere tekst trukket ind, fordi den ligner din anmodning
- Information om dig, ikke dine forretningsgange
- Løse noter, gemt som værktøjet nu tilfældigvis gemte dem
- Gemmer hvad der blev sagt, ikke hvad der blev gjort
- Hvad der er sandt: dine regler, priser og folk, holdt som det endelige ord
- Hvad der skete: hver handling registreret som en hændelse, ikke en sætning, der beskriver en
- Hvem der gør hvad godt, og hvad der stadig skyldes
- Hver ting på sin egen plads, åben for inspektion og rettelse
Den store kasse med noter er fin til at huske. Den kan ikke fortælle dig, hvad der skete i tirsdags, for kassen adskiller ikke noter med daterede mærkater, du kan pege på. En Aquarius Project-kørsel kommer dog med arkivskabet: Hvert trin genererer en kørselsregistrering, som du eller en AI-manager kan åbne og inspicere.
Det arkivskab er det, der gjorde vores receptionists fejl mulig at finde i første omgang. Der var en registreret beretning om, hvad der skete i opgavekæden, som AI-manageren kunne finde og håndtere. Jeg vil kalde det en ansvarlig driftsregistrering, og dens værdi rækker ud over tillid.
Dit arbejde, din model
Fordi Aquas model er standardiseret, og fordi den er din, er den et aktiv. Du kan bruge den til at drive virksomheden. Du kan dele den og give en entreprenør eller en nyansat præcis den del, de har brug for. Og når en virksomhed skifter hænder, er registreringen af, hvordan den faktisk drives, en del af det, der sælges. En kasse med chatlogs kan ikke noget af det. Den har du ikke lyst til at overdrage, og du kan bestemt ikke tjene penge på den.
Du ønsker ikke AI, der er mystisk. Du ønsker AI, der fører optegnelser, du kan åbne, eje og give videre.
FAQ
Så kan jeg betro AI med rigtigt arbejde eller ej? Til korte, afgrænsede opgaver, ofte ja. Til langt arbejde med flere trin, kun hvis der er et system, der tjekker hvert trin, ikke en enkelt agent, der kører hele kæden uden opsyn. Stol på den opsætning, der kan fange og rette en fejl, på samme måde som du stoler på rørlægning, der har afspærringsventiler, ikke den, der lover, at den aldrig vil lække.
Hvad mener du med en “verdensmodel”? Det er den del af vores system, der rummer din virksomhed som et sæt af virkelige, separate dele (opgaven, hvem der håndterer den, hvad der er sandt, hvad der stadig skyldes) frem for én lang strøm af chat. At holde arbejdet på den måde er det, der lader systemet bryde et job ned i trin, give hvert trin til den rigtige del af holdet og tjekke hvert enkelt, før det går videre.
Hvordan adskiller det sig fra “AI-hukommelse”? Det meste AI-hukommelse gemmer, hvad der blev sagt: tidligere tekst, den søger i efter lighed, eller en profil af dine præferencer. Det hjælper den med at lyde konsekvent. Det giver dig ikke en registrering af, hvad der faktisk blev gjort, logget som hændelser, du kan inspicere og rette. Det første er en kasse med noter; det andet er et arkivskab.
Fra vores team til dit. Aquarius bygger skræddersyet AI til enkeltpersoner og små virksomheder. Vi har lavet Aqua, din personlige forretningstroldmand. Den lærer, hvordan du får tingene gjort, og bruger derefter vores Working World Model til at skabe et hold af AI’er, der er formet til at udfylde dine huller. peopleaquarius.com