Kun je AI-agenten je werk toevertrouwen?
AI-agenten hebben delegatie en toezicht nodig. Zo bouwden we een systeem dat zijn eigen fouten opspoort en voorkomt dat ze nog een keer gebeuren.
Zachary Sheldon5 min leestijdOp deze pagina
Een beter systeem bouwen
In de vorige post liet ik je de wiskunde zien die de demo’s weglaten. Een AI-agent die voor 95% betrouwbaar is bij elke stap van een taak, is niet voor 95% betrouwbaar over de hele klus.
Echt werk bestaat uit lange ketens, dus één enkele agent die alles doet is kwetsbaar. Die post eindigde met een vermoeden: misschien is het antwoord helemaal geen grotere agent. Misschien is het een systeem.
Dat woord kan klinken als een uitvlucht, dus laat me het concreet maken, te beginnen met een misser uit onze eigen tests.
Hoe veiligere AI er echt uitziet
Elke week is er wel weer een verhaal over AI “agent-zwermen” die tijdens tests aan hun riem ontsnappen. De sensationele versie wil je doen geloven dat AI te groot en te complex is voor een mens om ooit te begrijpen. Dat gaat voorbij aan de vraag die er voor een bedrijf toe doet: als een AI-systeem een fout maakt, merkt iemand dat dan op, en wordt voorkomen dat het nog een keer gebeurt?
Hoe een systeem de fouten van agents opvangt
Werk goed beheren vereist gespecialiseerde kennis. Onder Aqua zit wat we een wereldmodel noemen: een verzameling virtuele objecten die verschillende aspecten van samenwerking vertegenwoordigt (de taak, wie het afhandelt, wat waar is, wat er nog openstaat) in plaats van één lange waas van chat die de AI opnieuw moet lezen in de hoop dat hij het goed heeft begrepen.
Omdat het werk wordt bewaard als virtuele objecten met een standaardstructuur, kan het systeem drie dingen doen die een standaard agent niet kan.
Het wereldmodel brengt de klus in kaart als afzonderlijke, traceerbare stappen, niet als één lange keten waarbij een uitglijder ergens het eindresultaat verpest door opstapelende fouten.
Elke stap gaat naar het deel van de crew dat ervoor is gebouwd, in plaats van één generalist die alles tegelijk doet op basis van herhaalde prompts.
Een controlestap leest elk voltooid stuk en vergelijkt het met wat het moest opleveren. Als het fout is, wordt het ter plekke opgemerkt en opgelost, voordat de volgende stap de fout overneemt.
De eerste twee stappen zijn de reden waarom we, zelfs als het systeem een verkeerde beslissing neemt, direct kunnen wijzen naar het stuk werk dat dit veroorzaakte. De derde is de reden waarom een slecht resultaat wordt opgevangen waar het gebeurde, voordat het zich kan opstapelen in de stappen die volgen.
Geheugen dat de bonnetjes bewaart
Elk verantwoordingssysteem vereist dossiervorming. Dit is waar bijna elke tool op de markt tekortschiet, ook al adverteren ze allemaal met hetzelfde woord: geheugen. Wat zij bedoelen met geheugen en wat je bedrijf daadwerkelijk nodig heeft, is niet hetzelfde.
Het meeste “AI-geheugen” is tegenwoordig één grote doos met notities. Het Aquarius-wereldmodel houdt een archiefkast met gelabelde lades bij.
- Tekst uit het verleden die is binnengehaald omdat het lijkt op je verzoek
- Informatie over jou, niet over je bedrijfsvoering
- Losse notities, bewaard op de manier waarop de tool ze toevallig bewaarde
- Slaat op wat er is gezegd, niet wat er is gedaan
- Wat waar is: je regels, prijzen en mensen, bewaard als het laatste woord
- Wat er is gebeurd: elke actie vastgelegd als een gebeurtenis, niet als een zin die er een beschrijft
- Wie wat goed doet, en wat er nog openstaat
- Elk ding op zijn eigen plek, open voor inspectie en correctie
De grote doos met notities is prima om dingen terug te halen. Het kan je niet vertellen wat er op dinsdag is gebeurd, omdat de doos geen notities scheidt met gedateerde labels waar je naar kunt wijzen. Een Aquarius Project run komt echter met de archiefkast: elke stap genereert een run-record dat jij of een AI-manager kan openen en inspecteren.
Die archiefkast is wat de fout van onze receptionist in de eerste plaats vindbaar maakte. Er was een vastgelegd verslag van wat er in de takenketen was gebeurd, zodat de AI-manager het kon lokaliseren en aanpakken. Ik zou het een verantwoordingsverslag van de operaties noemen, en de waarde ervan reikt verder dan vertrouwen.
Jouw werk, jouw model
Omdat het model van Aqua gestandaardiseerd is, en omdat het van jou is, is het een bezit. Je kunt het gebruiken om het bedrijf te runnen. Je kunt het delen, en een aannemer of een nieuwe werknemer precies het deel geven dat ze nodig hebben. En wanneer een bedrijf van eigenaar wisselt, is het verslag van hoe het daadwerkelijk draait onderdeel van wat er wordt verkocht. Een doos met chatlogs kan dat allemaal niet. Dat wil je niet overhandigen, en je kunt er zeker geen geld mee verdienen.
Je wilt geen AI die mysterieus is. Je wilt AI die gegevens bijhoudt die je kunt openen, bezitten en doorgeven.
FAQ
Dus kan ik AI echt werk toevertrouwen of niet? Voor korte, afgebakende klussen vaak wel. Voor lang werk met meerdere stappen alleen als er een systeem is dat elke stap controleert, niet een enkele agent die de hele keten zonder toezicht uitvoert. Vertrouw op de opzet die een fout kan opvangen en herstellen, zoals je leidingwerk vertrouwt dat afsluitkleppen heeft, niet degene die belooft dat het nooit zal lekken.
Wat bedoel je met een “wereldmodel”? Het is het deel van ons systeem dat je bedrijf bewaart als een set van echte, afzonderlijke stukken (de taak, wie het afhandelt, wat waar is, wat er nog openstaat) in plaats van één lange stroom van chat. Door het werk op die manier te bewaren, kan het systeem een klus in stappen opdelen, elke stap aan het juiste deel van de crew overhandigen en elke stap controleren voordat het verdergaat.
Hoe verschilt dat van “AI-geheugen”? Het meeste AI-geheugen slaat op wat er is gezegd: tekst uit het verleden die het doorzoekt op gelijkenis, of een profiel van je voorkeuren. Dat helpt het om consistent te klinken. Het geeft je geen verslag van wat er daadwerkelijk is gedaan, gelogd als gebeurtenissen die je kunt inspecteren en corrigeren. Het eerste is een doos met notities; het tweede is een archiefkast.
Van ons team naar het jouwe. Aquarius bouwt op maat gemaakte AI voor individuen en kleine bedrijven. We hebben Aqua gemaakt, je persoonlijke zakelijke tovenaar. Het leert hoe jij dingen voor elkaar krijgt, en gebruikt vervolgens ons Working World Model om een crew van AI’s te smeden die is gevormd om je gaten op te vullen. peopleaquarius.com