Aquarius
Insights

क्या तुम अपने काम के लिए AI एजेंट्स पर भरोसा कर सकते हो?

AI एजेंट्स को काम सौंपने और निगरानी की ज़रूरत होती है। यहाँ बताया गया है कि हमने एक ऐसा सिस्टम कैसे बनाया जो अपनी गलतियाँ खुद ढूँढता है और उन्हें दोबारा होने से रोकता है।

इस पेज पर
Line chart titled "With delegation and monitoring, errors get caught." A faint gray line shows one long chain of tasks sinking from 95% to 60% success over ten steps, while three colored lines show the same job split into delegated units, each checked before the next begins, holding success near 90%.

एक बेहतर सिस्टम बनाना

पिछली पोस्ट में मैंने तुम्हें वो गणित दिखाया था जो डेमो में नहीं बताया जाता। एक AI एजेंट जो किसी काम के हर कदम पर 95% भरोसेमंद है, वो पूरे काम में 95% भरोसेमंद नहीं होता।

95%हर कदम पर भरोसेमंद
~60%दस कदमों में भरोसेमंद

असली काम लंबी चेन्स (chains) में होता है, इसलिए सब कुछ करने वाला एक अकेला एजेंट कमज़ोर होता है। वो पोस्ट एक अंदाज़े पर खत्म हुई थी: शायद इसका जवाब कोई बड़ा एजेंट है ही नहीं। शायद इसका जवाब एक सिस्टम है।

यह शब्द एक बहाने जैसा लग सकता है, इसलिए चलो इसे थोड़ा ठोस बनाते हैं, और इसकी शुरुआत हमारी अपनी टेस्टिंग की एक गलती से करते हैं।

सुरक्षित AI असल में कैसा दिखता है

हर हफ़्ते टेस्टिंग के दौरान AI “एजेंट स्वार्म्स” (agent swarms) के बेकाबू होने की एक नई कहानी सामने आती है। सनसनीखेज़ वर्ज़न तुम्हें यह विश्वास दिलाएगा कि AI इतना बड़ा और जटिल है कि कोई भी इंसान इसे कभी नहीं समझ सकता। लेकिन यह उस सवाल को नज़रअंदाज़ कर देता है जो किसी बिज़नेस के लिए मायने रखता है: जब कोई AI सिस्टम गलती करता है, तो क्या कोई उसे पकड़ता है, और क्या वो उसे दोबारा होने से रोकता है?

एक सिस्टम एजेंटों की गलतियों को कैसे पकड़ता है

काम को अच्छी तरह से मैनेज करने के लिए विशेष ज्ञान की ज़रूरत होती है। Aqua के अंदर वह है जिसे हम वर्ल्ड मॉडल (world model) कहते हैं: वर्चुअल ऑब्जेक्ट्स का एक कलेक्शन जो मिल-जुलकर किए जाने वाले काम के अलग-अलग पहलुओं (काम क्या है, इसे कौन संभाल रहा है, क्या सच है, क्या अभी भी बाकी है) को दर्शाता है, बजाय इसके कि चैट की एक लंबी धुंधली सी लाइन हो जिसे AI को बार-बार पढ़ना पड़े और उम्मीद करनी पड़े कि उसने सही समझा है।

चूँकि काम को एक स्टैंडर्ड स्ट्रक्चर वाले वर्चुअल ऑब्जेक्ट्स के रूप में रखा जाता है, इसलिए सिस्टम तीन ऐसे काम कर सकता है जो एक आउट-ऑफ़-द-बॉक्स एजेंट नहीं कर सकता।

चेन्स को टुकड़ों में तोड़ना

वर्ल्ड मॉडल काम को अलग-अलग, ट्रैक किए जा सकने वाले कदमों के रूप में मैप करता है, न कि एक लंबी चेन के रूप में जहाँ कहीं भी हुई एक छोटी सी चूक लगातार बढ़ती गलतियों के ज़रिए अंत को बर्बाद कर दे।

हर टुकड़े को सही जगह भेजना

हर कदम क्रू (crew) के उस हिस्से के पास जाता है जो उसी के लिए बना है, बजाय इसके कि एक ही जनरलिस्ट (generalist) बार-बार दिए गए प्रॉम्प्ट्स पर एक साथ सब कुछ करे।

नतीजे को परखना

एक चेकिंग स्टेप हर पूरे हो चुके हिस्से को इस बात से मिलाता है कि उसे असल में क्या बनाना था। अगर यह गलत है, तो इसे वहीं पकड़ लिया जाता है और ठीक कर दिया जाता है, इससे पहले कि अगला कदम उस गलती को आगे बढ़ाए।

पहले दो कदम ही वो कारण हैं कि जब सिस्टम कोई गलत फैसला लेता है, तब भी हम सीधे काम के उस हिस्से की ओर इशारा कर सकते हैं जिसने इसे ट्रिगर किया था। तीसरा कदम वो कारण है कि एक खराब नतीजा वहीं पकड़ा जाता है जहाँ वो हुआ था, इससे पहले कि वो आगे के कदमों में मिलकर और बड़ा हो जाए।

मेमोरी जो रसीदें संभाल कर रखती है

जवाबदेही के हर सिस्टम में रिकॉर्ड रखना ज़रूरी होता है। यहीं पर बाज़ार का लगभग हर टूल पीछे रह जाता है, भले ही वे सभी एक ही शब्द का प्रचार करते हों: मेमोरी। मेमोरी से उनका जो मतलब है और तुम्हारे बिज़नेस को असल में जिसकी ज़रूरत है, वे दोनों एक चीज़ नहीं हैं।

आजकल ज़्यादातर “AI मेमोरी” नोट्स का एक अकेला बड़ा बक्सा होती है। Aquarius वर्ल्ड मॉडल लेबल लगी दराजों वाली एक फाइलिंग कैबिनेट रखता है।

पहले
  • पुराना टेक्स्ट इसलिए खींचा गया क्योंकि यह तुम्हारी रिक्वेस्ट जैसा दिखता है
  • तुम्हारे बारे में जानकारी, तुम्हारे बिज़नेस ऑपरेशन्स के बारे में नहीं
  • खुले नोट्स, जिन्हें टूल ने जैसे-तैसे रख लिया
  • जो कहा गया था उसे स्टोर करता है, जो किया गया था उसे नहीं
बाद में
  • क्या सच है: तुम्हारे नियम, कीमतें और लोग, जिन्हें अंतिम शब्द माना जाता है
  • क्या हुआ: हर एक्शन एक इवेंट के रूप में रिकॉर्ड होता है, न कि उसे बताने वाले एक वाक्य के रूप में
  • कौन क्या अच्छे से करता है, और क्या अभी भी बाकी है
  • हर चीज़ अपनी जगह पर, जिसे चेक और ठीक किया जा सकता है

नोट्स का बड़ा बक्सा चीज़ें याद करने के लिए ठीक है। यह तुम्हें यह नहीं बता सकता कि मंगलवार को क्या हुआ था, क्योंकि बक्सा नोट्स को तारीख वाले लेबल्स के साथ अलग नहीं करता जिन पर तुम इशारा कर सको। हालाँकि, एक Aquarius Project रन फाइलिंग कैबिनेट के साथ आता है: हर कदम एक रन रिकॉर्ड बनाता है जिसे तुम या कोई AI मैनेजर खोलकर चेक कर सकता है।

उस फाइलिंग कैबिनेट की वजह से ही हमारे रिसेप्शनिस्ट की गलती को सबसे पहले ढूंढा जा सका। टास्क चेन में क्या हुआ, इसका एक रिकॉर्डेड अकाउंट था जिसे AI मैनेजर ढूंढकर ठीक कर सकता था। मैं इसे ऑपरेशन्स का एक जवाबदेह रिकॉर्ड कहूँगा, और इसकी अहमियत भरोसे से कहीं आगे तक जाती है।

तुम्हारा काम, तुम्हारा मॉडल

चूँकि Aqua का मॉडल स्टैंडर्डाइज़्ड है, और चूँकि यह तुम्हारा है, इसलिए यह एक एसेट (asset) है। तुम इसका इस्तेमाल बिज़नेस चलाने के लिए कर सकते हो। तुम इसे शेयर कर सकते हो, किसी कॉन्ट्रैक्टर या नए कर्मचारी को ठीक वही हिस्सा दे सकते हो जिसकी उन्हें ज़रूरत है। और जब कोई बिज़नेस बिकता है, तो यह कैसे चलता है इसका रिकॉर्ड भी बिकने वाली चीज़ों का हिस्सा होता है। चैट लॉग्स का एक बक्सा ऐसा कुछ नहीं कर सकता। तुम उसे किसी को सौंपना नहीं चाहोगे, और तुम यकीनन उससे पैसे नहीं कमा सकते।

तुम ऐसा AI नहीं चाहते जो रहस्यमयी हो। तुम ऐसा AI चाहते हो जो ऐसे रिकॉर्ड रखे जिन्हें तुम खोल सको, अपना सको और आगे सौंप सको।

Aqua

अक्सर पूछे जाने वाले सवाल (FAQ)

तो क्या मैं असली काम के लिए AI पर भरोसा कर सकता हूँ या नहीं? छोटे, सीमित कामों के लिए, अक्सर हाँ। लंबे मल्टी-स्टेप काम के लिए, केवल तभी जब हर कदम को चेक करने वाला कोई सिस्टम हो, न कि कोई अकेला एजेंट जो बिना निगरानी के पूरी चेन चला रहा हो। उस सेटअप पर भरोसा करो जो गलती को पकड़कर ठीक कर सके, ठीक वैसे ही जैसे तुम उस प्लंबिंग पर भरोसा करते हो जिसमें शटऑफ वाल्व होते हैं, न कि उस पर जो कभी लीक न होने का वादा करता है।

“वर्ल्ड मॉडल” से तुम्हारा क्या मतलब है? यह हमारे सिस्टम का वो हिस्सा है जो तुम्हारे बिज़नेस को चैट की एक लंबी स्ट्रीम के बजाय असली, अलग-अलग हिस्सों (काम क्या है, इसे कौन संभाल रहा है, क्या सच है, क्या अभी भी बाकी है) के सेट के रूप में रखता है। काम को इस तरह रखने से ही सिस्टम किसी काम को कदमों में तोड़ पाता है, हर कदम को क्रू के सही हिस्से को सौंप पाता है, और आगे बढ़ने से पहले हर एक को चेक कर पाता है।

यह “AI मेमोरी” से कैसे अलग है? ज़्यादातर AI मेमोरी वो स्टोर करती है जो कहा गया था: पुराना टेक्स्ट जिसे यह समानता के आधार पर खोजती है, या तुम्हारी पसंद की एक प्रोफ़ाइल। इससे इसे एक जैसा (consistent) लगने में मदद मिलती है। यह तुम्हें इस बात का रिकॉर्ड नहीं देती कि असल में क्या किया गया था, जिसे ऐसे इवेंट्स के रूप में लॉग किया गया हो जिन्हें तुम चेक और ठीक कर सको। पहला नोट्स का एक बक्सा है; दूसरा एक फाइलिंग कैबिनेट है।


हमारी टीम की ओर से तुम्हारी टीम को। Aquarius व्यक्तियों और छोटे बिज़नेस के लिए कस्टम AI बनाता है। हमने Aqua बनाया है, जो तुम्हारा पर्सनल बिज़नेस विज़ार्ड है। यह सीखता है कि तुम चीज़ें कैसे करते हो, फिर तुम्हारी कमियों को पूरा करने के लिए AI का एक क्रू तैयार करने के लिए हमारे वर्किंग वर्ल्ड मॉडल का इस्तेमाल करता है। peopleaquarius.com

Zachary Sheldonरिसर्च

Zachary कार्यस्थल संचार और श्रम समन्वय पर शोध करते हैं। उन्होंने शिकागो विश्वविद्यालय से अपनी पीएचडी प्राप्त की, फिर पिट्सबर्ग विश्वविद्यालय में एक प्रोफेसर के रूप में तीन साल बिताए, जहाँ उनके प्रकाशन Cultural Anthropology और Journal of Linguistic Anthropology में छपे। उन्होंने शरणार्थियों के लिए रोजगार के अवसरों को बेहतर बनाने के लिए चार मानवीय संगठनों को भी सलाह दी है। उनके काम का मुख्य उद्देश्य आम लोगों को जटिल प्रणालियों को नेविगेट करने में मदद करना है, चाहे वह प्रणाली AI हो या कोई सहायता कार्यक्रम।

अपना पहला काम पर रखें।

हम एक बार में कुछ ही लोगों को शामिल कर रहे हैं। अपना ईमेल छोड़ दो और हम तुमसे संपर्क करेंगे।