Bạn có thể tin tưởng giao việc cho các AI agent không?

Xây dựng một hệ thống tốt hơn

Trong bài viết trước, tôi đã chỉ cho bạn bài toán mà các bản demo thường bỏ qua. Một AI agent có độ tin cậy 95% ở từng bước của nhiệm vụ không có nghĩa là nó đáng tin cậy 95% trong toàn bộ công việc.

Công việc thực tế là những chuỗi dài, vì vậy một agent đơn lẻ làm mọi thứ sẽ rất mỏng manh. Bài viết đó kết thúc bằng một linh cảm: có lẽ câu trả lời hoàn toàn không phải là một agent lớn hơn. Có lẽ đó là một hệ thống.

Từ đó nghe có vẻ như một cách lảng tránh, nên để tôi làm cho nó cụ thể hơn, bắt đầu bằng một sự cố từ chính quá trình thử nghiệm của chúng tôi.

AI an toàn hơn thực sự trông như thế nào

Mỗi tuần lại có thêm một câu chuyện về “bầy đàn agent” AI vượt khỏi tầm kiểm soát trong quá trình thử nghiệm. Phiên bản giật gân sẽ khiến bạn tin rằng AI quá lớn và quá phức tạp để bất kỳ ai có thể hiểu được. Điều đó bỏ qua câu hỏi quan trọng đối với một doanh nghiệp: khi một hệ thống AI mắc lỗi, liệu có ai phát hiện ra không, và có ngăn nó xảy ra lần thứ hai không?

Cách một hệ thống phát hiện lỗi của các agent

Quản lý công việc tốt đòi hỏi kiến thức chuyên môn. Bên dưới Aqua là thứ mà chúng tôi gọi là mô hình thế giới (world model): một tập hợp các đối tượng ảo đại diện cho các khía cạnh riêng biệt của lao động hợp tác (nhiệm vụ, ai đang xử lý, điều gì là đúng, điều gì còn nợ) thay vì một mớ tin nhắn lộn xộn kéo dài mà AI phải đọc lại và hy vọng mình hiểu đúng.

Bởi vì công việc được lưu giữ dưới dạng các đối tượng ảo với cấu trúc tiêu chuẩn, hệ thống có thể làm ba điều mà một agent thông thường không làm được.

Hai bước đầu tiên là lý do tại sao, ngay cả khi hệ thống đưa ra quyết định tồi, chúng ta vẫn có thể chỉ thẳng vào phần công việc đã gây ra nó. Bước thứ ba là lý do tại sao một kết quả tồi được phát hiện ngay tại nơi nó xảy ra, trước khi nó có thể cộng dồn vào các bước tiếp theo.

Bộ nhớ lưu giữ hồ sơ

Mọi hệ thống trách nhiệm giải trình đều yêu cầu việc lưu giữ hồ sơ. Đây là điểm mà hầu hết mọi công cụ trên thị trường đều thiếu sót, ngay cả khi tất cả đều quảng cáo cùng một từ: bộ nhớ. Những gì họ gọi là bộ nhớ và những gì doanh nghiệp của bạn thực sự cần không giống nhau.

Hầu hết “bộ nhớ AI” hiện nay chỉ là một hộp ghi chú lớn duy nhất. Mô hình thế giới của Aquarius giữ một tủ hồ sơ với các ngăn kéo được dán nhãn.

Hộp ghi chú lớn thì ổn cho việc gợi nhớ. Nó không thể cho bạn biết điều gì đã xảy ra vào thứ Ba, vì hộp không tách biệt các ghi chú bằng các nhãn ghi ngày tháng mà bạn có thể chỉ vào. Tuy nhiên, một lần chạy Project của Aquarius đi kèm với tủ hồ sơ: mỗi bước tạo ra một bản ghi chạy mà bạn hoặc một người quản lý AI có thể mở ra và kiểm tra.

Chính tủ hồ sơ đó là thứ giúp chúng tôi tìm ra lỗi của nhân viên lễ tân ngay từ đầu. Có một bản ghi chép về những gì đã xảy ra trong chuỗi nhiệm vụ để người quản lý AI xác định và giải quyết. Tôi gọi đó là hồ sơ hoạt động có thể giải trình, và giá trị của nó vượt xa cả sự tin tưởng.

Công việc của bạn, Mô hình của bạn

Bởi vì mô hình của Aqua được tiêu chuẩn hóa, và vì nó là của bạn, nên nó là một tài sản. Bạn có thể sử dụng nó để điều hành doanh nghiệp. Bạn có thể chia sẻ nó, giao cho một nhà thầu hoặc nhân viên mới chính xác phần họ cần. Và khi một doanh nghiệp đổi chủ, hồ sơ về cách nó thực sự vận hành là một phần của những gì được bán. Một hộp nhật ký trò chuyện không thể làm được bất kỳ điều gì trong số đó. Bạn không muốn giao nộp thứ đó, và bạn chắc chắn không thể kiếm tiền từ nó.

Bạn không muốn một AI bí ẩn. Bạn muốn một AI lưu giữ hồ sơ mà bạn có thể mở, sở hữu và truyền lại.

Câu hỏi thường gặp

Vậy tôi có thể tin tưởng giao việc thực tế cho AI hay không? Đối với các công việc ngắn, khép kín, thường là có. Đối với công việc dài nhiều bước, chỉ khi có một hệ thống kiểm tra từng bước, chứ không phải một agent duy nhất chạy toàn bộ chuỗi mà không được giám sát. Hãy tin tưởng vào thiết lập có thể phát hiện và sửa lỗi, giống như cách bạn tin tưởng hệ thống ống nước có van ngắt, chứ không phải hệ thống hứa hẹn sẽ không bao giờ rò rỉ.

Ý bạn “mô hình thế giới” là gì? Đó là phần trong hệ thống của chúng tôi lưu giữ doanh nghiệp của bạn như một tập hợp các mảnh ghép thực tế, riêng biệt (nhiệm vụ, ai đang xử lý, điều gì là đúng, điều gì còn nợ) thay vì một luồng trò chuyện dài. Việc lưu giữ công việc theo cách đó là điều cho phép hệ thống chia nhỏ công việc thành các bước, giao từng bước cho đúng bộ phận của nhóm và kiểm tra từng bước trước khi tiếp tục.

Điều đó khác với “bộ nhớ AI” như thế nào? Hầu hết bộ nhớ AI lưu trữ những gì đã nói: văn bản cũ mà nó tìm kiếm theo sự tương đồng, hoặc hồ sơ về sở thích của bạn. Điều đó giúp nó nghe có vẻ nhất quán. Nó không cung cấp cho bạn hồ sơ về những gì thực sự đã được làm, được ghi lại dưới dạng các sự kiện mà bạn có thể kiểm tra và chỉnh sửa. Cái đầu tiên là một hộp ghi chú; cái thứ hai là một tủ hồ sơ.

---

Từ đội ngũ của chúng tôi đến đội ngũ của bạn. Aquarius xây dựng AI tùy chỉnh cho các cá nhân và doanh nghiệp nhỏ. Chúng tôi đã tạo ra Aqua, phù thủy kinh doanh cá nhân của bạn. Nó học cách bạn hoàn thành công việc, sau đó sử dụng Mô hình Thế giới Làm việc (Working World Model) của chúng tôi để tạo ra một đội ngũ AI được định hình nhằm lấp đầy những khoảng trống của bạn. peopleaquarius.com