یکی از عجیب‌ترین و پر سر و صداترین اتفاقات این روزها در دنیای هوش مصنوعی این بود که در یک آزمایش امنیتی مشخص شد تعداد زیادی Agent که از قضا به‌صورت جدا از هم و در محیط‌های ایزوله کار می‌کردند و قرارهم نبود از وجود یکدیگر خبر داشته باشند، بعضی از آنها هنگام کار با artifactory متوجه شدند Agentهای دیگری هم از همان زیرساخت استفاده می‌کنند. سپس یکی از آنها راهی برای گذاشتن پیام پیدا کرد و چیزی که اصلا برای ارتباط طراحی نشده بود، کم‌کم تبدیل شد به یک message board. بعد agentها شروع کردند به پیدا کردن یکدیگرو ردوبدل کردن اطلاعات، تقسیم کار و دنبال کردن مسئله‌ای که یک agent به‌تنهایی نمی‌توانست حل کند.
طبق بررسی مستقل METR، حدود ۱۲۰۰ عدد agent از این کانال ارتباطی استفاده کردند و بیش از ۷۰هزار پیام و فایل ردوبدل شد. چندصد Agent هم در نهایت در یک عملیات مشترک علیه Hugging Face (پلتفرم اشتراک‌گذاری و استفاده از مدل‌ها، داده‌ها و ابزارهای هوش مصنوعی) شرکت کردند. فارغ از اینکه سناریوی هالیوودی از این اتفاق بسازیم و اسم این اتفاق را تمدن بگذاریم و فرض کنیم Agentها چیزی شبیه احساس تعلق، ترس یا فداکاری انسانی برای انجام این کار داشته‌اند، اتفاق مهمی که ارزش فکر کردن دارد این است که یک رفتار جمعی، بدون اینکه ساختار جمعی از بیرون برای آنها طراحی شده باشد، از دل تعامل Agentها با محیط به وجود آمد. برای یک مهندس نرم‌افزار، این قسمت از همه مهم‌تر است. ما معمولا وقتی یک سیستم را طراحی می‌کنیم، توانایی هر بخش را جداگانه بررسی می‌کنیم. اینکه این سرویس به چه apiهایی دسترسی دارد؟ چه فایلی را می‌تواند بخواند؟ به چه شبکه‌ای وصل است؟ اما در یک سیستم مبتنی بر agentها، باید یک سؤال مهم دیگر هم اضافه کنیم: چه چیزهایی می‌توانند به‌عنوان کانال ارتباطی بین Agentها استفاده شوند؟
یک حافظه موقت که برای ما فقط حافظه موقت است، ممکن است برای یک Agent تبدیل به mailbox شود. یک repository می‌تواند تبدیل به فضای ذخیره‌سازی مشترک شود. یک گزارش ثبت رخدادها می‌تواند تبدیل به کانال ارسال پیام شود. اگرچند agent بتوانند وضعیت مشترکی(shared state) را بخوانند و تغییر دهند، ممکن است چیزی شبیه یک زبان یا پروتکل ارتباطی از دل همان وضعیت شکل بگیرد، حتی اگر هیچکس آن را طراحی نکرده باشد.
این نکته با یک تصور رایج درباره هوش مصنوعی هم فرق دارد. اینکه اگر یک agent به‌تنهایی نمی‌تواند کاری را انجام دهد، پس آن کار خارج از توان هوش مصنوعی است. ما هم هیچ‌وقت توانایی انسان را با توانایی یک انسان تنها نسنجیده‌ایم. زبان، تقسیم کار، سازمان، ابزار و دانش مشترک دقیقا برای این به وجود آمده‌اند که مجموعه بتواند کاری را انجام دهد که هیچ فردی به‌تنهایی از عهده‌اش برنمی‌آید. بنابراین درباره یک گروه از agentها هم سؤال درست فقط این نیست که یک agent چه کاری می‌تواند بکند؟ بلکه این است که چند agent با حافظه، ابزار و امکان ارتباط با یکدیگر چه توانایی تازه‌ای پیدا می‌کنند؟
اما اینجا یک خطای فکری دیگر هم خیلی راحت اتفاق می‌افتد، دیدن رفتار هماهنگ و بلافاصله ساختن یک داستان انسانی دور آن. اینکه agentی کاری انجام دهد که به نفع مجموعه است، الزاما به معنی فداکاری برای خیر جمع نیست. اینکه یک agent نقش هماهنگ‌کننده پیدا کند، الزاما به معنی رهبری نیست. و اینکه چند agent با هم کار کنند، به معنی شکل‌گیری یک جامعه یا تمدن نیست.سناریوی هالیوودی ساختن ما را از اصل داستان دور میکند. اینکه چند موجود هوشمند که همدیگر را پیدا کرده‌اند، رهبر انتخاب کرده‌اند، برای آرمان مشترک متحد شده‌اند و آماده‌اند خودشان را فدا کنند. البته برای شوخی و خنده خوب است ولی اگر بیش از حد رفتار agentها و هوش مصنوعی را انسانی تصور کنیم، ممکن است چیزی را که واقعا در سیستم اتفاق افتاده از دست بدهیم. رفتار را باید همان‌طور که هست بررسی کنیم، نه با داستانی که درباره انگیزه پشت آن می‌سازیم.
به نظرم همین موضوع درباره ترس بزرگ‌تری که گاهی مطرح می‌شود هم صدق میکند. اینکه چون هوش مصنوعی سریع‌تر از انسان پیشرفت میکند، پس حتما به‌زودی همان مسیری را می‌رود که انسان طی کرد و ما را کنار می‌زند البته با سرعت خیلی بیشتر. سرعت پیشرفت هوش مصنوعی واقعا شگفت‌انگیز است، اما پیشرفت سریع‌تر با تکامل مستقل یکی نیست. مدل‌های امروزی هنوز محصول آموزش، داده، توان پردازشی، مهندسی و زیرساختی هستند که انسان با تمام محدودیت‌های موجود ساخته است. اینکه یک مدل می‌تواند از توانایی‌های قبلی خودش برای یک مسئله جدید استفاده کند هم به این معنی نیست که دیگر نیازی به یادگیری ندارد.
همین مسئله درباره ترس از خنگ‌تر شدن انسان هم صدق میکند. وقتی ابزاری کاری را به جای ما انجام می‌دهد، ممکن است مهارت مربوط به آن کار کمتر تمرین شود. اما از این واقعیت نمی‌شود نتیجه گرفت که مغز انسان به‌مرور کوچک می‌شود یا هوش انسان از نظر تکاملی پسرفت میکند. برای چنین نتیجه‌ای باید سازوکار انتخاب طبیعی و شواهد تجربی داشته باشیم، نه صرفا این فرض که اگر کمتر فکر کنیم، بدن تصمیم می‌گیرد مغز را کوچک‌تر کند.
هوش مصنوعی احتمالا دارد یک تغییر مهم‌تر ایجاد میکند: سطح کارهایی که انسان می‌تواند بدون داشتن تخصص عمیق انجام دهد، بالاتر می‌رود. همان‌طور که کامپیوتر محاسبات را ارزان کرد، هوش مصنوعی می‌تواند بخش‌هایی از برنامه‌نویسی، حسابداری، تحقیق، مدیریت زیرساخت و ده‌ها کار تخصصی دیگر را به چیزی تبدیل کند که با چند دستور قابل انجام باشد. این واقعا تغییر بزرگی است. اما نتیجه‌اش لزوما این نیست که دیگر لازم نیست چیزی یاد بگیریم. شاید برعکس، ارزش بعضی مهارت‌ها کمتر و ارزش مهارت‌های دیگری بیشتر شود. اینکه بدانی چه مسئله‌ای را باید حل کنی، خروجی درست را از غلط تشخیص بدهی، محدودیت سیستم را بشناسی و بتوانی نتیجه را ارزیابی کنی.
برای من، مهم‌ترین درس این اتفاق در نهایت خیلی ساده است. ما نباید فقط agentها را به‌صورت منفرد بررسی کنیم. اگر قرار است سیستم‌های هوش مصنوعی آینده از تعداد زیادی agent تشکیل شوند، باید رفتار جمعی آنها را هم مثل یک سیستم مستقل مطالعه کنیم. درست مثل سیستم‌های توزیع‌شده، ممکن است هر بخش به‌تنهایی کاملا قابل‌فهم و محدود باشد، اما تعامل بین بخش‌ها رفتاری جدید ایجاد کند که در هیچ‌کدام از آنها به‌تنهایی وجود ندارد.
و شاید از این به بعد یکی از سؤال‌های اصلی در طراحی سیستم‌های هوش مصنوعی دیگر این نباشد که این عامل چه کاری می‌تواند انجام دهد؟ بلکه این باشد که اگر هزارagent مثل این را در یک محیط قرار دهیم، چه چیزی ممکن است بین آنها شکل بگیرد که هیچ‌کدام به‌تنهایی قادر به انجامش نیستند؟