Kan du lita på AI-agenter med ditt arbete?
AI-agenter behöver delegering och uppsikt. Så här byggde vi ett system som hittar sina egna misstag och ser till att de inte upprepas.
Zachary Sheldon5 min läsningPå den här sidan
Bygga ett bättre system
I det förra inlägget visade jag dig matematiken som demovideorna utelämnar. En AI-agent som är 95 % pålitlig i varje steg av en uppgift är inte 95 % pålitlig över hela jobbet.
Riktigt arbete består av långa kedjor, så en ensam agent som gör allt är skör. Det inlägget avslutades med en magkänsla: svaret kanske inte alls är en större agent. Det kanske är ett system.
Det ordet kan låta som en undanflykt, så låt mig göra det konkret, med start i en miss från våra egna tester.
Hur säkrare AI faktiskt ser ut
Varje vecka kommer en ny historia om “agentsvärmar” av AI som sliter sig under tester. Den sensationella versionen vill få dig att tro att AI är för stort och för komplext för att någon människa någonsin ska kunna förstå det. Det hoppar över frågan som spelar roll för ett företag: när ett AI-system gör ett misstag, är det någon som upptäcker det, och förhindrar det att det händer två gånger?
Hur ett system fångar upp agenters misstag
Att leda arbete väl kräver specialiserad kunskap. Under Aqua finns det vi kallar en världsmodell: en samling virtuella objekt som representerar olika aspekter av gemensamt arbete (uppgiften, vem som hanterar den, vad som stämmer, vad som fortfarande saknas) istället för en lång, suddig chatt som AI:n måste läsa om och hoppas att den förstått rätt.
Eftersom arbetet hanteras som virtuella objekt med en standardstruktur kan systemet göra tre saker som en vanlig agent inte kan.
Världsmodellen kartlägger jobbet som separata, spårbara steg, inte en lång kedja där ett snedsteg var som helst förstör slutresultatet genom växande fel.
Varje steg går till den del av teamet som är byggd för det, istället för att en generalist gör allt på en gång utifrån upprepade prompter.
Ett kontrollsteg jämför varje färdig del med vad den var tänkt att producera. Om det är fel fångas det upp och fixas direkt, innan nästa steg ärver misstaget.
De första två stegen är anledningen till att vi, även när systemet fattar ett dåligt beslut, kan peka direkt på den del av arbetet som orsakade det. Det tredje är anledningen till att ett dåligt resultat fångas upp där det hände, innan det kan förvärras i de efterföljande stegen.
Minne som sparar kvittona
Varje system för ansvarsutkrävande kräver dokumentation. Det är här nästan alla verktyg på marknaden brister, även om de alla marknadsför samma ord: minne. Vad de menar med minne och vad ditt företag faktiskt behöver är inte samma sak.
Det mesta av dagens “AI-minne” är en enda stor låda med anteckningar. Aquarius världsmodell har ett arkivskåp med märkta lådor.
- Tidigare text som hämtas in för att den liknar din förfrågan
- Information om dig, inte din affärsverksamhet
- Lösa anteckningar, sparade hur verktyget nu råkade spara dem
- Lagrar vad som sades, inte vad som gjordes
- Vad som stämmer: dina regler, priser och personer, som gäller som sista ordet
- Vad som hände: varje åtgärd loggad som en händelse, inte en mening som beskriver den
- Vem som gör vad bra, och vad som fortfarande saknas
- Var sak på sin plats, öppen för granskning och korrigering
Den stora lådan med anteckningar fungerar bra för att minnas. Den kan inte berätta för dig vad som hände i tisdags, eftersom lådan inte separerar anteckningar med daterade etiketter som du kan peka på. En körning av ett Aquarius-projekt kommer däremot med arkivskåpet: varje steg genererar en körningslogg som du eller en AI-chef kan öppna och granska.
Det arkivskåpet är det som gjorde vår receptionists misstag spårbart från första början. Det fanns en sparad redogörelse för vad som hände i uppgiftskedjan som AI-chefen kunde hitta och åtgärda. Jag skulle kalla det en ansvarsfull verksamhetslogg, och dess värde sträcker sig bortom tillit.
Ditt arbete, din modell
Eftersom Aquas modell är standardiserad, och eftersom den är din, är den en tillgång. Du kan använda den för att driva företaget. Du kan dela den och ge en konsult eller nyanställd exakt den del de behöver. Och när ett företag byter ägare är dokumentationen av hur det faktiskt drivs en del av det som säljs. En låda med chattloggar kan inte göra något av det. Du vill inte lämna över det, och du kan absolut inte tjäna pengar på det.
Du vill inte ha AI som är mystisk. Du vill ha AI som för register som du kan öppna, äga och lämna vidare.
FAQ
Så kan jag lita på AI med riktigt arbete eller inte? För korta, avgränsade jobb, ofta ja. För långt arbete i flera steg, bara om det finns ett system som kontrollerar varje steg, inte en ensam agent som kör hela kedjan utan övervakning. Lita på uppsättningen som kan fånga upp och fixa ett misstag, på samma sätt som du litar på rörledningar som har avstängningsventiler, inte den som lovar att den aldrig kommer att läcka.
Vad menar du med en “världsmodell”? Det är den del av vårt system som hanterar ditt företag som en uppsättning verkliga, separata delar (uppgiften, vem som hanterar den, vad som stämmer, vad som fortfarande saknas) snarare än en lång ström av chatt. Att hantera arbetet på det sättet är det som låter systemet bryta ner ett jobb i steg, lämna över varje del till rätt del av teamet, och kontrollera varje steg innan det går vidare.
Hur skiljer sig det från “AI-minne”? Det mesta AI-minnet lagrar vad som sades: tidigare text som den söker i baserat på likhet, eller en profil av dina preferenser. Det hjälper den att låta konsekvent. Det ger dig inte en logg över vad som faktiskt gjordes, registrerat som händelser du kan granska och korrigera. Det första är en låda med anteckningar; det andra är ett arkivskåp.
Från vårt team till ditt. Aquarius bygger anpassad AI för individer och småföretag. Vi skapade Aqua, din personliga affärstrollkarl. Den lär sig hur du får saker gjorda och använder sedan vår arbetsvärldsmodell för att skapa ett team av AI:er formade för att fylla dina luckor. peopleaquarius.com