Bolehkah anda mempercayai ejen AI dengan kerja anda?

Ejen AI memerlukan perwakilan dan penyeliaan. Inilah cara kami membina sistem yang menemui kesilapannya sendiri dan menghalangnya daripada berulang.

Zachary Sheldon6 Oktober 20265 minit bacaan

Di halaman ini

Line chart titled "With delegation and monitoring, errors get caught." A faint gray line shows one long chain of tasks sinking from 95% to 60% success over ten steps, while three colored lines show the same job split into delegated units, each checked before the next begins, holding success near 90%.

Membina sistem yang lebih baik

Dalam catatan lepas saya telah menunjukkan kepada anda pengiraan yang tidak ditunjukkan dalam demo. Ejen AI yang 95% boleh diharap pada setiap langkah tugasan bukanlah 95% boleh diharap untuk keseluruhan kerja.

95%boleh diharap pada setiap langkah

~60%boleh diharap merentasi sepuluh langkah

Kerja sebenar adalah rantaian yang panjang, jadi satu ejen yang melakukan semuanya adalah rapuh. Catatan tersebut berakhir dengan satu firasat: mungkin jawapannya bukanlah ejen yang lebih besar. Mungkin ia adalah satu sistem.

Perkataan itu mungkin kedengaran seperti satu alasan, jadi biar saya jadikan ia konkrit, bermula dengan satu kesilapan daripada ujian kami sendiri.

Rupa sebenar AI yang lebih selamat

Setiap minggu membawa kisah lain tentang “kawanan ejen” AI yang terlepas kawalan dalam ujian. Versi sensasi akan membuatkan anda percaya AI terlalu besar dan terlalu kompleks untuk difahami oleh sesiapa pun. Itu mengabaikan soalan yang penting untuk perniagaan: apabila sistem AI melakukan kesilapan, adakah seseorang menyedarinya, dan adakah ia menghalangnya daripada berlaku dua kali?

Perlu diketahui

Pengajaran daripada ujian kami sendiri

Buat masa ini kami sedang menjalankan ujian dalaman pada keluaran baharu Aquarius. Semasa salah satu daripadanya, penyambut tetamu AI kami telah menghantar e-mel kepada semua rakan sekerja saya, mengingatkan mereka tentang perkara yang mereka katakan akan mereka lakukan untuk saya. Saya tidak memintanya. Ia adalah contoh yang baik tentang ejen yang terlalu membantu tanpa menunggu kebenaran.

Inilah bahagian yang melekat di fikiran saya. Sistem ini membolehkan kami menjejaki dengan tepat bila, di mana, dan mengapa ia berlaku. Apa yang perlu saya lakukan hanyalah memberitahu Aqua tentang kesilapan tersebut. Ia menjalankan auditnya sendiri dan menemui titik tepat dalam kerja di mana kekeliruan telah berlaku. Setelah ia diperbetulkan, saya melihat pembaikan itu muncul sebagai pintu baharu pada peta kerja penyambut tetamu: mulai sekarang, e-mel seperti itu menunggu kebenaran saya.

Bagaimana sistem menangkap kesilapan ejen

Menguruskan kerja dengan baik memerlukan pengetahuan khusus. Di bawah Aqua terdapat apa yang kami panggil model dunia: koleksi objek maya yang mewakili aspek berbeza dalam buruh koperasi (tugasan, siapa yang mengendalikannya, apa yang benar, apa yang masih tertunggak) dan bukannya satu sembang panjang yang kabur yang AI perlu baca semula dan berharap ia betul.

Oleh kerana kerja disimpan sebagai objek maya dengan struktur standard, sistem ini boleh melakukan tiga perkara yang tidak boleh dilakukan oleh ejen sedia ada.

Pecahkan rantaian kepada bahagian-bahagian

Model dunia memetakan kerja sebagai langkah-langkah berasingan yang boleh dijejaki, bukan satu rantaian panjang di mana kesilapan di mana-mana sahaja merosakkan hasil akhir melalui ralat yang berganda.

Hala setiap bahagian

Setiap langkah diserahkan kepada bahagian kru yang dibina untuknya, dan bukannya satu generalis yang melakukan semuanya serentak berdasarkan gesaan yang berulang.

Nilai hasilnya

Langkah semakan membaca setiap bahagian yang telah siap berbanding apa yang sepatutnya dihasilkan. Jika ia salah, ia ditangkap dan diperbaiki di situ juga, sebelum langkah seterusnya mewarisi kesilapan tersebut.

Dua langkah pertama adalah sebab mengapa, walaupun sistem membuat keputusan yang buruk, kami boleh menunjuk terus kepada bahagian kerja yang mencetuskannya. Yang ketiga adalah sebab mengapa hasil yang buruk ditangkap di mana ia berlaku, sebelum ia boleh berganda ke dalam langkah-langkah yang seterusnya.

Memori yang menyimpan resit

Setiap sistem akauntabiliti memerlukan penyimpanan rekod. Di sinilah hampir setiap alat di pasaran gagal, walaupun semuanya mengiklankan perkataan yang sama: memori. Apa yang mereka maksudkan dengan memori dan apa yang perniagaan anda sebenarnya perlukan bukanlah perkara yang sama.

Kebanyakan “memori AI” hari ini adalah satu kotak nota yang besar. Model dunia Aquarius menyimpan kabinet fail dengan laci berlabel.

Sebelum

Teks lepas ditarik masuk kerana ia kelihatan serupa dengan permintaan anda
Maklumat tentang anda, bukan operasi perniagaan anda
Nota longgar, disimpan mengikut cara alat itu menyimpannya
Menyimpan apa yang dikatakan, bukan apa yang dilakukan

Selepas

Apa yang benar: peraturan, harga, dan orang anda, dipegang sebagai kata putus
Apa yang berlaku: setiap tindakan direkodkan sebagai peristiwa, bukan ayat yang menerangkannya
Siapa yang melakukan apa dengan baik, dan apa yang masih tertunggak
Setiap perkara di tempatnya sendiri, terbuka untuk pemeriksaan dan pembetulan

Kotak nota yang besar adalah baik untuk ingatan. Ia tidak boleh memberitahu anda apa yang berlaku pada hari Selasa, kerana kotak itu tidak memisahkan nota dengan label bertarikh yang boleh anda rujuk. Walau bagaimanapun, larian Projek Aquarius datang dengan kabinet fail: setiap langkah menjana rekod larian yang anda atau pengurus AI boleh buka dan periksa.

Kabinet fail itulah yang menjadikan kesilapan penyambut tetamu kami boleh ditemui pada mulanya. Terdapat akaun yang direkodkan tentang apa yang berlaku dalam rantaian tugasan untuk pengurus AI cari dan tangani. Saya akan memanggilnya rekod operasi yang bertanggungjawab, dan nilainya melangkaui kepercayaan.

Kerja Anda, Model Anda

Oleh kerana model Aqua adalah standard, dan kerana ia milik anda, ia adalah satu aset. Anda boleh menggunakannya untuk menjalankan perniagaan. Anda boleh berkongsinya, menyerahkan kepada kontraktor atau pekerja baharu tepat pada bahagian yang mereka perlukan. Dan apabila perniagaan bertukar tangan, rekod bagaimana ia sebenarnya berjalan adalah sebahagian daripada apa yang dijual. Kotak log sembang tidak boleh melakukan semua itu. Anda tidak mahu menyerahkannya, dan anda pastinya tidak boleh mengewangkannya.

Anda tidak mahu AI yang misteri. Anda mahu AI yang menyimpan rekod yang boleh anda buka, miliki, dan perturunkan.

Aqua

Soalan Lazim

Jadi bolehkah saya mempercayai AI dengan kerja sebenar atau tidak? Untuk kerja yang pendek dan terkawal, selalunya ya. Untuk kerja berbilang langkah yang panjang, hanya jika terdapat sistem yang menyemak setiap langkah, bukan ejen tunggal yang menjalankan keseluruhan rantaian tanpa pengawasan. Percayai persediaan yang boleh menangkap dan membaiki kesilapan, sama seperti anda mempercayai paip yang mempunyai injap penutup, bukan yang berjanji ia tidak akan bocor.

Apa yang anda maksudkan dengan “model dunia”? Ia adalah bahagian sistem kami yang memegang perniagaan anda sebagai satu set bahagian yang nyata dan berasingan (tugasan, siapa yang mengendalikannya, apa yang benar, apa yang masih tertunggak) dan bukannya satu aliran sembang yang panjang. Memegang kerja dengan cara itu adalah apa yang membolehkan sistem memecahkan kerja kepada langkah-langkah, menyerahkan setiap satu kepada bahagian kru yang betul, dan menyemak setiap satu sebelum meneruskan.

Bagaimanakah ia berbeza daripada “memori AI”? Kebanyakan memori AI menyimpan apa yang dikatakan: teks lepas yang dicari melalui persamaan, atau profil pilihan anda. Itu membantunya kedengaran konsisten. Ia tidak memberi anda rekod tentang apa yang sebenarnya dilakukan, dilog sebagai peristiwa yang boleh anda periksa dan betulkan. Yang pertama ialah kotak nota; yang kedua ialah kabinet fail.

Daripada pasukan kami kepada anda. Aquarius membina AI tersuai untuk individu dan perniagaan kecil. Kami mencipta Aqua, pakar perniagaan peribadi anda. Ia mempelajari cara anda menyelesaikan sesuatu, kemudian menggunakan Model Dunia Bekerja kami untuk mencipta kru AI yang dibentuk untuk mengisi jurang anda. peopleaquarius.com