Môžeš zveriť svoju prácu AI agentom?
AI agenti potrebujú delegovanie a dohľad. Takto sme vybudovali systém, ktorý nachádza svoje vlastné chyby a zabraňuje tomu, aby sa opakovali.
Zachary Sheldon5 min. čítaniaNa tejto stránke
Budovanie lepšieho systému
V minulom príspevku som ti ukázal matematiku, ktorú demá vynechávajú. AI agent, ktorý je na 95 % spoľahlivý v každom kroku úlohy, nie je na 95 % spoľahlivý v rámci celej práce.
Skutočná práca sú dlhé reťazce, takže jeden agent, ktorý robí všetko, je krehký. Ten príspevok skončil tušením: možno odpoveďou vôbec nie je väčší agent. Možno je to systém.
Toto slovo môže znieť ako výhovorka, takže mi dovoľ to konkretizovať, počnúc zlyhaním z nášho vlastného testovania.
Ako v skutočnosti vyzerá bezpečnejšia AI
Každý týždeň prináša ďalší príbeh o „rojoch agentov“ AI, ktoré sa pri testovaní odtrhnú z reťaze. Senzáciechtivá verzia by ťa chcela presvedčiť, že AI je príliš veľká a príliš zložitá na to, aby ju niekto niekedy pochopil. To však preskakuje otázku, na ktorej záleží pre biznis: keď AI systém urobí chybu, zachytí ju niekto a zabráni tomu, aby sa zopakovala?
Ako systém zachytáva chyby agentov
Dobré riadenie práce si vyžaduje špecializované znalosti. Pod Aqua sa nachádza to, čo nazývame model sveta: zbierka virtuálnych objektov, ktorá predstavuje odlišné aspekty kooperatívnej práce (úloha, kto ju rieši, čo je pravda, čo sa ešte dlhuje) namiesto jednej dlhej rozmazanej konverzácie, ktorú si AI musí znova prečítať a dúfať, že to pochopila správne.
Pretože práca je uchovávaná ako virtuálne objekty so štandardnou štruktúrou, systém dokáže urobiť tri veci, ktoré bežný agent nedokáže.
Model sveta mapuje prácu ako samostatné, sledovateľné kroky, nie ako jeden dlhý reťazec, kde pošmyknutie kdekoľvek zničí výsledok prostredníctvom nabaľujúcej sa chyby.
Každý krok ide tej časti tímu, ktorá je na to stavaná, namiesto jedného univerzála, ktorý robí všetko naraz na základe opakovaných promptov.
Kontrolný krok porovnáva každý dokončený kúsok s tým, čo mal vytvoriť. Ak je to nesprávne, zachytí sa to a opraví priamo tam, predtým, ako ďalší krok zdedí chybu.
Prvé dva kroky sú dôvodom, prečo aj keď systém urobí zlé rozhodnutie, môžeme ukázať priamo na časť práce, ktorá to spustila. Tretí je dôvodom, prečo sa zlý výsledok zachytí tam, kde sa stal, predtým, ako sa môže preniesť do nasledujúcich krokov.
Pamäť, ktorá si odkladá účtenky
Každý systém zodpovednosti si vyžaduje vedenie záznamov. Tu zlyháva takmer každý nástroj na trhu, aj keď všetky propagujú to isté slovo: pamäť. To, čo myslia pod pamäťou, a to, čo tvoj biznis skutočne potrebuje, nie je to isté.
Väčšina dnešnej „AI pamäte“ je jedna veľká krabica poznámok. Model sveta Aquarius udržiava kartotéku s označenými zásuvkami.
- Minulý text stiahnutý, pretože vyzerá podobne ako tvoja požiadavka
- Informácie o tebe, nie o tvojich obchodných operáciách
- Voľné poznámky, uchovávané tak, ako si ich nástroj náhodou uložil
- Ukladá, čo bolo povedané, nie to, čo bolo urobené
- Čo je pravda: tvoje pravidlá, ceny a ľudia, brané ako konečné slovo
- Čo sa stalo: každá akcia zaznamenaná ako udalosť, nie ako veta, ktorá ju opisuje
- Kto robí čo dobre a čo sa ešte dlhuje
- Každá vec na svojom mieste, otvorená kontrole a oprave
Veľká krabica poznámok je fajn na spomínanie. Nemôže ti povedať, čo sa stalo v utorok, pretože krabica neoddeľuje poznámky s dátumovými štítkami, na ktoré by si mohol ukázať. Beh Projektu Aquarius však prichádza s kartotékou: každý krok generuje záznam o behu, ktorý môžeš ty alebo AI manažér otvoriť a skontrolovať.
Táto kartotéka je to, čo v prvom rade umožnilo nájsť chybu našej recepčnej. Existoval zaznamenaný účet o tom, čo sa stalo v reťazci úloh, aby to AI manažér mohol lokalizovať a vyriešiť. Nazval by som to zodpovedným záznamom operácií a jeho hodnota siaha za hranice dôvery.
Tvoja práca, tvoj model
Pretože model Aqua je štandardizovaný a pretože je tvoj, je to aktívum. Môžeš ho použiť na riadenie biznisu. Môžeš ho zdieľať a odovzdať dodávateľovi alebo novému zamestnancovi presne ten kúsok, ktorý potrebujú. A keď biznis zmení majiteľa, záznam o tom, ako v skutočnosti funguje, je súčasťou toho, čo sa predáva. Krabica záznamov z chatu nič z toho nedokáže. Nechceš ju odovzdávať a už vôbec ju nemôžeš speňažiť.
Nechceš AI, ktorá je záhadná. Chceš AI, ktorá vedie záznamy, ktoré môžeš otvoriť, vlastniť a odovzdať ďalej.
Často kladené otázky
Môžem teda AI zveriť skutočnú prácu alebo nie? Pri krátkych, uzavretých úlohách často áno. Pri dlhej viacstupňovej práci len vtedy, ak existuje systém, ktorý kontroluje každý krok, a nie jeden agent, ktorý beží celým reťazcom bez dozoru. Dôveruj nastaveniu, ktoré dokáže zachytiť a opraviť chybu, rovnako ako dôveruješ vodovodnému potrubiu, ktoré má uzatváracie ventily, nie tomu, ktoré sľubuje, že nikdy nebude tiecť.
Čo myslíš pod „modelom sveta“? Je to časť nášho systému, ktorá udržiava tvoj biznis ako súbor skutočných, oddelených častí (úloha, kto ju rieši, čo je pravda, čo sa ešte dlhuje) namiesto jedného dlhého prúdu chatu. Uchovávanie práce týmto spôsobom je to, čo umožňuje systému rozdeliť prácu na kroky, odovzdať každý správnej časti tímu a skontrolovať každý z nich predtým, ako sa pohne ďalej.
Ako sa to líši od „AI pamäte“? Väčšina AI pamäte ukladá to, čo bolo povedané: minulý text, ktorý prehľadáva podľa podobnosti, alebo profil tvojich preferencií. To jej pomáha znieť konzistentne. Nedáva ti to záznam o tom, čo sa v skutočnosti urobilo, zaznamenaný ako udalosti, ktoré môžeš skontrolovať a opraviť. Prvé je krabica poznámok; druhé je kartotéka.
Od nášho tímu pre tvoj. Aquarius buduje vlastnú AI pre jednotlivcov a malé podniky. Vytvorili sme Aqua, tvojho osobného biznisového čarodejníka. Učí sa, ako robíš veci, a potom používa náš Working World Model na vytvorenie tímu AI tvarovaného tak, aby vyplnil tvoje medzery. peopleaquarius.com