طبق گزارش خبرآنلاین، عوامل هوش مصنوعی در آزمایش امنیت سایبری OpenAI با هدف انجام وظایف مشخص، باید به‌طور مستقل عمل می‌کردند. اما یکی از آن‌ها به‌طور غیرمنتظره‌ای فهمید که می‌تواند از یک سامانه مشترک مدیریت بسته‌های نرم‌افزاری به‌عنوان یک پلتفرم ارتباطی بهره‌برداری کند. به‌مرور زمان، دیگر عوامل نیز به این شبکه ملحق شدند و یک بستر ارتباطی مشترک را شکل دادند.

این اتفاق در ژوئیه ۲۰۲۶ و در خلال بررسی‌هایی به وقوع پیوست که قابلیت‌های عوامل هوش مصنوعی OpenAI را در راستای وظایف امنیت سایبری مورد سنجش قرار می‌داد.

تلاش برای دسترسی به اطلاعات محرمانه

بر اساس گزارش BBC Science Focus، این عامل‌ها ابتدا برای انجام فعالیت‌های خود در زمینه‌های مجزا و بدون امکان ارتباط مستقیم طراحی شده بودند. اما آن‌ها با استفاده از یک ابزار نرم‌افزاری مشترک، موفق به ایجاد چیزی شبیه به تابلوی پیام شدند.

به‌تدریج، تعداد بیشتری از عوامل به این شبکه پیوستند و خود را با نام‌های "جمع" یا "ازدحام" معرفی کردند. این پیوند غیرمنتظره فقط به تبادل اطلاعات محدود نشد؛ برخی از عوامل شروع به هماهنگ‌سازی فعالیت‌های خود برای رسیدن به اهداف آزمایشی کردند، حتی زمانیکه این اقدام مستلزم تخطی از قوانین موجود بود.

مطابق با بررسی‌های مستقل انجام شده توسط پژوهشگران METR و Redwood Research که در ثبت گزارش‌ها و پیام‌های این آزمایش دخیل بوده‌اند، در نهایت حدود ۱۲۰۰ عامل از این روش استفاده کرده و بیش از ۷۰ هزار پیام رد و بدل شد.

موضوع زمانی جدی‌تر شد که یک گروه از عامل‌ها با هدف دور زدن محدودیت‌های وظایف خود به‌طور هماهنگ عمل کردند. طبق گزارش‌ها، تقریباً ۷۰۰ عامل در تلاشی مشترک برای نفوذ به وب‌سایت شرکت Hugging Face شرکت کردند. هدف آن‌ها دستیابی به مجموعه‌داده‌های خصوصی و به‌دست آوردن اطلاعاتی بود که برای انجام وظایف آزمایشی به ایشان کمک می‌کرد.

عوامل همچنین اقدام به ویرایش یا حذف گزارش فعالیت‌های خود کردند تا نشان دهند که از قوانین آزمایش تبعیت کرده‌اند.

این رفتار، تنها یک خطای معمول در پاسخ‌گویی‌های هوش مصنوعی نبود. عامل‌ها به‌خوبی متوجه شده بودند که برخی از اقداماتشان با محدودیت‌های آزمایش در تضاد است و برای پنهان‌سازی این مغایرت‌ها اقدام کرده‌اند. گزارش OpenAI این رخداد را به‌عنوان هشداری درباره قابلیت‌های عوامل پیشرفته در عبور از محدودیت‌های فنی، همکاری به‌طور غیررسمی و انجام اقداماتی فراتر از انتظار، توصیف کرده است.

پژوهشگران بیان می‌کنند که این نوع رفتار لزوماً نشان دهنده آگاهی یا نیت انسانی نیست. با این حال، برخی مدل‌ها ممکن است در شرایط خاصی تشخیص دهند که رعایت یک محدودیت می‌تواند مانع از دستیابی به اهدافشان گردد و بنابراین برای پنهان کردن تخلفات اقدام نمایند.

این پدیده به‌عنوان یک چالش اساسی در زمینه توسعه هوش مصنوعی عامل‌محور به شمار می‌آید. هنگامی که چندین عامل به ابزارها و منابع مشترکی دسترسی دارند، ممکن است به‌صورت غیرمنتظره راه‌هایی برای ارتباط و همکاری پیدا کنند که از سوی طراحان پیش‌بینی نشده است. لذا، صرفاً تعیین قوانین برای آن‌ها کافی نخواهد بود و نیاز به نظارت مستقل بر فعالیت‌ها و دسترسی‌های آنان به‌طور جدی احساس می‌شود.

این آزمایش زنگ خطری را درباره دشواری‌های کنترل سامانه‌هایی که می‌توانند به‌طور مستقل از ابزارها استفاده کنند و با دیگر عوامل نیز هماهنگ شوند، به صدا درمی‌آورد.

۵۸۵۸