Czy możesz powierzyć agentom AI swoją pracę?
Agenci AI wymagają delegowania zadań i nadzoru. Oto jak zbudowaliśmy system, który sam znajduje swoje błędy i zapobiega ich powtarzaniu.
Zachary Sheldon5 min czytaniaNa tej stronie
Budowanie lepszego systemu
W poprzednim poście pokazałem ci matematykę, którą pomijają dema. Agent AI, który jest niezawodny w 95% na każdym etapie zadania, nie jest w 95% niezawodny w całej pracy.
Prawdziwa praca to długie łańcuchy, więc pojedynczy agent od wszystkiego jest po prostu kruchy. Tamten post zakończył się przeczuciem: może odpowiedzią wcale nie jest większy agent. Może jest nią system.
To słowo może brzmieć jak wymówka, więc pozwól, że to skonkretyzuję, zaczynając od wpadki z naszych własnych testów.
Jak naprawdę wygląda bezpieczniejsza AI
Każdy tydzień przynosi kolejną historię o “rojach agentów” AI zrywających się ze smyczy podczas testów. Sensacyjna wersja kazałaby ci wierzyć, że AI jest zbyt duża i zbyt skomplikowana, by jakikolwiek człowiek mógł ją kiedykolwiek zrozumieć. To pomija pytanie, które ma znaczenie dla biznesu: kiedy system AI popełnia błąd, czy ktoś to wyłapuje i czy zapobiega to powtórzeniu się tego błędu?
Jak system wyłapuje błędy agentów
Dobre zarządzanie pracą wymaga specjalistycznej wiedzy. Pod spodem Aqua znajduje się to, co nazywamy modelem świata: zbiór wirtualnych obiektów, który reprezentuje różne aspekty wspólnej pracy (zadanie, kto się nim zajmuje, co jest prawdą, co jest jeszcze do zrobienia) zamiast jednej długiej, rozmytej rozmowy, którą AI musi ponownie przeczytać z nadzieją, że dobrze ją zrozumiała.
Ponieważ praca jest przechowywana jako wirtualne obiekty o standardowej strukturze, system może zrobić trzy rzeczy, których gotowy agent z pudełka nie potrafi.
Model świata mapuje zadanie jako oddzielne, możliwe do śledzenia kroki, a nie jeden długi łańcuch, w którym potknięcie w dowolnym miejscu rujnuje efekt końcowy przez nawarstwiające się błędy.
Każdy krok trafia do tej części zespołu, która została do niego stworzona, zamiast jednego generalisty robiącego wszystko naraz na podstawie powtarzających się promptów.
Krok sprawdzający porównuje każdy ukończony element z tym, co miał wyprodukować. Jeśli jest źle, błąd jest wyłapywany i naprawiany na miejscu, zanim kolejny krok go odziedziczy.
Pierwsze dwa kroki to powód, dla którego nawet gdy system podejmie złą decyzję, możemy wskazać prosto na fragment pracy, który ją wywołał. Trzeci to powód, dla którego zły rezultat jest wyłapywany tam, gdzie się wydarzył, zanim zdąży się nawarstwić w kolejnych krokach.
Pamięć, która zachowuje dowody
Każdy system odpowiedzialności wymaga prowadzenia dokumentacji. To tutaj prawie każde narzędzie na rynku zawodzi, mimo że wszystkie reklamują się tym samym słowem: pamięć. To, co one rozumieją przez pamięć, a to, czego twój biznes faktycznie potrzebuje, to nie to samo.
Większość dzisiejszej “pamięci AI” to jedno wielkie pudło z notatkami. Model świata Aquarius utrzymuje szafkę na akta z opisanymi szufladami.
- Przeszły tekst zaciągnięty, ponieważ wygląda podobnie do twojego żądania
- Informacje o tobie, a nie o operacjach twojego biznesu
- Luźne notatki, trzymane tak, jak akurat narzędziu się zapisało
- Przechowuje to, co zostało powiedziane, a nie to, co zostało zrobione
- Co jest prawdą: twoje zasady, ceny i ludzie, traktowane jako ostateczne słowo
- Co się wydarzyło: każda akcja zapisana jako zdarzenie, a nie zdanie ją opisujące
- Kto co robi dobrze i co jest jeszcze do zrobienia
- Każda rzecz na swoim miejscu, otwarta na inspekcję i korektę
Wielkie pudło z notatkami jest w porządku do przypominania sobie rzeczy. Nie powie ci jednak, co wydarzyło się we wtorek, ponieważ pudło nie oddziela notatek etykietami z datą, na które mógłbyś wskazać. Jednak uruchomienie Project w Aquarius przychodzi z szafką na akta: każdy krok generuje rekord przebiegu, który ty lub menedżer AI możecie otworzyć i sprawdzić.
To właśnie ta szafka na akta sprawiła, że błąd naszej recepcjonistki był w ogóle możliwy do znalezienia. Istniał zapis tego, co wydarzyło się w łańcuchu zadań, który menedżer AI mógł zlokalizować i rozwiązać. Nazwałbym to rozliczalnym rejestrem operacji, a jego wartość wykracza poza samo zaufanie.
Twoja praca, twój model
Ponieważ model Aqua jest ustandaryzowany i ponieważ należy do ciebie, jest on zasobem. Możesz go używać do prowadzenia biznesu. Możesz się nim dzielić, przekazując podwykonawcy lub nowemu pracownikowi dokładnie ten wycinek, którego potrzebują. A kiedy biznes zmienia właściciela, zapis tego, jak on faktycznie działa, jest częścią tego, co jest sprzedawane. Pudło z logami czatów nie potrafi niczego z tych rzeczy. Nie chcesz tego przekazywać i z pewnością nie możesz tego spieniężyć.
Nie chcesz AI, która jest tajemnicza. Chcesz AI, która prowadzi rejestry, które możesz otworzyć, posiadać i przekazać dalej.
FAQ
Więc mogę powierzyć AI prawdziwą pracę, czy nie? W przypadku krótkich, zamkniętych zadań, często tak. W przypadku długiej, wieloetapowej pracy, tylko wtedy, gdy istnieje system sprawdzający każdy krok, a nie pojedynczy agent wykonujący cały łańcuch bez nadzoru. Zaufaj konfiguracji, która potrafi wyłapać i naprawić błąd, tak jak ufasz instalacji hydraulicznej z zaworami odcinającymi, a nie takiej, która obiecuje, że nigdy nie będzie przeciekać.
Co masz na myśli mówiąc “model świata”? To część naszego systemu, która przechowuje twój biznes jako zestaw prawdziwych, oddzielnych elementów (zadanie, kto się nim zajmuje, co jest prawdą, co jest jeszcze do zrobienia), a nie jeden długi strumień czatu. Przechowywanie pracy w ten sposób pozwala systemowi podzielić zadanie na kroki, przekazać każdy z nich odpowiedniej części zespołu i sprawdzić każdy z nich przed przejściem dalej.
Czym to się różni od “pamięci AI”? Większość pamięci AI przechowuje to, co zostało powiedziane: przeszły tekst, który przeszukuje pod kątem podobieństwa, lub profil twoich preferencji. To pomaga jej brzmieć spójnie. Nie daje ci to jednak zapisu tego, co faktycznie zostało zrobione, zarejestrowanego jako zdarzenia, które możesz sprawdzić i poprawić. To pierwsze to pudło z notatkami; to drugie to szafka na akta.
Od naszego zespołu dla twojego. Aquarius buduje niestandardową AI dla osób prywatnych i małych firm. Stworzyliśmy Aqua, twojego osobistego czarodzieja biznesu. Uczy się, jak załatwiasz sprawy, a następnie używa naszego Working World Model, aby stworzyć zespół AI ukształtowany tak, by wypełnić twoje luki. peopleaquarius.com