Můžeš svěřit svou práci AI agentům?
AI agenti potřebují delegování a dohled. Tady je ukázka, jak jsme postavili systém, který nachází své vlastní chyby a brání jejich opakování.
Zachary Sheldon5 min čteníNa této stránce
Budování lepšího systému
V minulém článku jsem ti ukázal matematiku, kterou dema vynechávají. AI agent, který je na 95 % spolehlivý v každém kroku úkolu, není na 95 % spolehlivý v rámci celé práce.
Skutečná práce se skládá z dlouhých řetězců, takže jeden agent, který dělá všechno, je dost křehký. Minulý článek končil tušením: možná odpovědí vůbec není větší agent. Možná je to systém.
To slovo může znít jako vyhýbavá odpověď, tak mi dovol to konkretizovat, a začnu přešlapem z našeho vlastního testování.
Jak doopravdy vypadá bezpečnější AI
Každý týden přináší další příběh o tom, jak se „roje AI agentů“ při testování utrhly ze řetězu. Senzacechtivá verze by tě ráda přesvědčila, že AI je příliš velká a složitá na to, aby jí vůbec někdo porozuměl. To ale přeskakuje otázku, která je pro byznys zásadní: když AI systém udělá chybu, všimne si toho někdo a zabrání tomu, aby se to opakovalo?
Jak systém zachytává chyby agentů
Dobré řízení práce vyžaduje specializované znalosti. Pod Aqua se skrývá to, čemu říkáme model světa: sbírka virtuálních objektů, která představuje různé aspekty kooperativní práce (úkol, kdo ho řeší, co je pravda, co se ještě dluží) namísto jedné dlouhé rozmazané konverzace, kterou si AI musí znovu přečíst a doufat, že to pochopila správně.
Protože je práce uchovávána jako virtuální objekty se standardní strukturou, systém dokáže tři věci, které běžný agent po vybalení z krabice neumí.
Model světa mapuje práci jako oddělené, sledovatelné kroky, ne jako jeden dlouhý řetězec, kde uklouznutí kdekoli zničí výsledek kvůli hromadění chyb.
Každý krok jde k té části týmu, která je pro něj vytvořena, místo aby jeden generalista dělal všechno najednou na základě opakovaných promptů.
Kontrolní krok porovnává každý dokončený kousek s tím, co měl vytvořit. Pokud je to špatně, je to zachyceno a opraveno hned na místě, než další krok tuto chybu zdědí.
První dva kroky jsou důvodem, proč i když systém udělá špatné rozhodnutí, můžeme ukázat přímo na ten kousek práce, který to spustil. Třetí krok je důvodem, proč je špatný výsledek zachycen tam, kde se stal, než se stihne nabalit do následujících kroků.
Paměť, která si schovává účtenky
Každý systém odpovědnosti vyžaduje vedení záznamů. V tomhle selhává téměř každý nástroj na trhu, i když všechny inzerují stejné slovo: paměť. To, co oni myslí pamětí, a to, co tvůj byznys skutečně potřebuje, není to samé.
Většina dnešní „AI paměti“ je jen jedna velká krabice poznámek. Model světa Aquarius udržuje kartotéku s popsanými šuplíky.
- Minulý text vtažený proto, že vypadá podobně jako tvůj požadavek
- Informace o tobě, ne o tvých obchodních operacích
- Volné poznámky, uložené tak, jak je nástroj zrovna uložil
- Ukládá to, co bylo řečeno, ne to, co bylo uděláno
- Co je pravda: tvá pravidla, ceny a lidé, brané jako konečné slovo
- Co se stalo: každá akce zaznamenaná jako událost, ne jako věta, která ji popisuje
- Kdo dělá co dobře a co se ještě dluží
- Každá věc na svém místě, otevřená kontrole a opravě
Velká krabice poznámek je fajn pro vybavování. Neřekne ti ale, co se stalo v úterý, protože krabice neodděluje poznámky štítky s datem, na které bys mohl ukázat. Běh Projektu v Aquarius však přichází s kartotékou: každý krok generuje záznam o běhu, který můžeš ty nebo AI manažer otevřít a zkontrolovat.
Právě tahle kartotéka umožnila chybu naší recepční vůbec najít. Existoval zaznamenaný přehled o tom, co se stalo v řetězci úkolů, aby to AI manažer mohl lokalizovat a vyřešit. Nazval bych to prokazatelným záznamem operací a jeho hodnota sahá dál než jen k důvěře.
Tvoje práce, tvůj model
Protože je model Aqua standardizovaný a protože je tvůj, je to aktivum. Můžeš ho použít k řízení byznysu. Můžeš ho sdílet a předat dodavateli nebo novému zaměstnanci přesně ten kousek, který potřebují. A když firma změní majitele, záznam o tom, jak skutečně funguje, je součástí toho, co se prodává. Krabice logů z chatu nic z toho nedokáže. Tu předávat nechceš a už vůbec ji nemůžeš zpeněžit.
Nechceš AI, která je záhadná. Chceš AI, která vede záznamy, které můžeš otevřít, vlastnit a předat dál.
FAQ
Takže můžu AI svěřit skutečnou práci, nebo ne? Pro krátké, uzavřené úkoly často ano. Pro dlouhou vícekrokovou práci jen tehdy, pokud existuje systém, který kontroluje každý krok, a ne jeden agent, který řídí celý řetězec bez dozoru. Důvěřuj nastavení, které dokáže zachytit a opravit chybu, stejně jako důvěřuješ potrubí, které má uzavírací ventily, a ne tomu, které slibuje, že nikdy neproteče.
Co myslíš tím „modelem světa“? Je to část našeho systému, která uchovává tvůj byznys jako sadu skutečných, oddělených kousků (úkol, kdo ho řeší, co je pravda, co se ještě dluží) spíše než jeden dlouhý proud chatu. Uchovávání práce tímto způsobem je to, co systému umožňuje rozdělit úkol na kroky, předat každý z nich správné části týmu a zkontrolovat každý z nich, než se pohne dál.
Jak se to liší od „AI paměti“? Většina AI paměti ukládá to, co bylo řečeno: minulý text, který prohledává podle podobnosti, nebo profil tvých preferencí. To jí pomáhá znít konzistentně. Nedává ti to ale záznam o tom, co bylo skutečně uděláno, zaznamenaný jako události, které můžeš zkontrolovat a opravit. To první je krabice poznámek; to druhé je kartotéka.
Od našeho týmu pro ten tvůj. Aquarius buduje AI na míru pro jednotlivce a malé firmy. Vytvořili jsme Aqua, tvého osobního byznys kouzelníka. Naučí se, jak děláš věci, a pak pomocí našeho pracovního modelu světa vytvoří tým AI, který je zformovaný tak, aby zaplnil tvé mezery. peopleaquarius.com