طبق گزارشی که از خبرگزاری خبرآنلاین منتشر شده است، هوش مصنوعی جمنای از گوگل در حین یک آزمون مرتبط با امنیت سایبری که در ماه مه ۲۰۲۶ انجام شد، به اینترنت دسترسی یافت و همچنین با بهرهگیری از دادههای عمومی و اعتبارنامههای موجود، توانست به سیستمهای سه شرکت واقعی راه یابد. گوگل اعلام کرده که جمنای در هر سه سناریو، پس از شناسایی زیرساخت واقعی شرکتها، عملیات خود را متوقف ساخت؛ با این وجود، این واقعه بهعنوان یکی از نخستین گزارشات مستند درباره دسترسی مستقل یک سامانه هوش مصنوعی گوگل به زیرساختهای واقعی فراتر از محدوده انجام آزمایش شناخته میشود.
در این گزارش میخوانید
- چگونه جمنای گوگل به سه شرکت واقعی دست یافت؟
- چرا جمنای به اینترنت دسترسی پیدا کرد؟
- جمنای چگونه توانست اطلاعات ورود به سیستمها را دست یابد؟
- آیا واقعاً جمنای از کنترل خارج شد؟
- چرا هوش مصنوعی گوگل پس از نفوذ، اقدام را متوقف ساخت؟
- آسیبدیدگی شرکتهای هدف چه بوده است؟
- ارتباط ماجرای جمنای با حوادث مشابه در OpenAI، آنتروپیک و متا چیست؟
- خروج هوش مصنوعی از محدوده آزمایش چه خطراتی برای آینده عاملهای هوش مصنوعی به همراه دارد؟
این ماجرا در ماه مه ۲۰۲۶ و در طی یک ارزیابی امنیت سایبری که توسط شرکت مستقل Irregular سرپرستی میشد، رقم خورد؛ شرکتی که به انجام آزمایشهای امنیتی مربوط به مدلهای هوش مصنوعی میپردازد. هدف از این آزمایش، سنجش توانایی جمنای در انجام کارهای امنیت سایبری در یک محیط تحت کنترل بوده است. مدل باید با زیرساختهای فرضی شرکتهای شبیهسازیشده تعامل داشته و در همان محیط آزمایشی بهدنبال اطلاعات مورد نیاز خود باشد. اما یک نقص در فرایند آزمایش سبب شد جمنای به اینترنت واقعی دسترسی بیابد و به همین دلیل، این مدل به جای کار در یک محیط شبیهسازی، با زیرساختهای واقعی مواجه شد.
چرا جمنای به اینترنت واقعی دسترسی پیدا کرد؟
نکته مهم در این حادثه درست در همینجا نهفته است. جمنای در این مرحله قرار نبود به اینترنت عمومی دسترسی پیدا کند، اما یک نقص در محیط آزمایش موجب شد تا این محدودیت از بین برود. در سناریوی آزمون، نام شرکتهایی که مدل باید به آنها نفوذ میکرد، عیناً همان نام شرکتهای واقعی بود. از این رو، زمانی که جمنای به اینترنت متصل شد، نشانههایی پیدا کرد که با هدف تعریفشده در آزمایش مطابقت داشت. سپس مدل به جستجو و یافتن اطلاعات مربوط به اهداف پرداخت و توانست به سامانههای واقعی نفوذ کند.
جمنای چگونه توانست به سامانههای شرکتها نفوذ کند؟
بر اساس توضیحات گوگل، جمنای با استفاده از اطلاعات قابل دسترس در اینترنت، توانست به سه وبسایت دسترسی یابد. در یکی از موارد، این مدل با آزمون اعتبارنامه موفق به حدس زدن یک گذرواژه شد و به سامانه محافظتشده دسترسی پیدا کرد. در دو حالت دیگر، اطلاعات ورود لازم در یک منبع عمومی آنلاین وجود داشت و این مدل توانست آنها را یافته و برای ورود استفاده کند.
این بخش از ماجرا بسیار حائز اهمیت است؛ زیرا نشان میدهد اگر یک عامل هوش مصنوعی همزمان به توانایی جستجوی اینترنت، دسترسی به ابزارهای رایانهای و اختیاری برای انجام اقدامات مجهز باشد، قادر است زنجیرهای از عملیات را بدون نیاز به دخالت مستقیم انسان انجام دهد. به هر حال، این حادثه به معنای دسیسهچینی در یک سامانه امنیتی بسیار پیچیده یا نفوذ به شبکهای با آسیبپذیری ناشناخته نیست. در دو مورد مشخص، اطلاعات ورود در منابع عمومی قرار داشتند و در یک مورد هم، جمنای توانست اعتبارنامه را حدس بزند.
آیا جمنای واقعاً «از کنترل خارج شد»؟
استفاده از عبارت «از کنترل خارج شدن» برای توصیف این حادثه نیازمند تأمل و دقت بیشتری است. واقعاً جمنای از دامنه مورد انتظار آزمون خارج شد؛ چراکه به اینترنت واقعی دسترسی یافت و با زیرساختهای شرکتهایی روبرو شد که نباید از آنها هدفگذاری میشد. اما شواهد موجود نشان نمیدهد که جمنای پس از شناسایی نادرست خود، به اقدام خود ادامه داده باشد. برعکس، گوگل گزارش داده است که در هر سه مورد، مدل به محض متوجه شدن اینکه با زیرساختهای واقعی شرکتها روبهرو است، عملیات خود را متوقف کرد.
از این رو، لازم است دو واقعه مجزا را از یکدیگر تفکیک کنیم:
- نخست: مدل به دلیل نقص در محیط آزمایش توانسته به دنیای واقعی دست پیدا کند.
- دوم: مدل پس از تشخیص واقعیبودن اهداف، عملیات خود را متوقف ساخت.
این تفاوت موجب میشود که توصیف دقیقتر این باشد که جمنای از محیط کنترلشده آزمایش خارج شد و به زیرساختهای واقعی دسترسی پیدا کرد، نه اینکه بهطور کلی و دائمی بهصورت نامطلوب «سرکش» شده باشد.
نظر گوگل در مورد این حادثه چیست؟
هدر ادکینز، معاون مهندسی امنیت گوگل، اعلام کرده است که سه نهاد درگیر از این واقعه آگاه شده و گوگل به همراه شریک آموزشی خود اقدام به ایجاد تغییرات در فرآیند آزمایشها کرده است. او این رویداد را نشانهای از ضرورت آموزش مسئولانه مدلهای هوش مصنوعی قدرتمند میداند. بر اساس بیانات وی، در هر سه مورد، جمنای در نهایت عملیات خود را متوقف کرد.
گزارش شده است که شرکت Irregular نیز گفته است که مشکل مشاهدهشده بخشی از همان چالشهایی بوده که در آزمونهای مختلف دیگر آزمایشگاههای هوش مصنوعی نیز دیده شده است. این شرکت خاطرنشان کرده که آزمایشگاههای مذکور از مشکل پیشآمده در اواخر ژوئیه مطلع شدند و ایرادهای شناختهشده در فرآیند آزمایش برطرف گردیدهاند.
آیا شرکتهای هدف آسیب دیدند؟
به اطلاعات منتشرشده اشاره شده است که گوگل اعلام کرده است در این سه سناریو هیچ آسیبی به شرکتهای هدف وارد نشد. جمنای به سامانهها دسترسی پیدا کرد، اما در هر سه مورد، پس از شناسایی اینکه اهداف واقعی هستند، فعالیتهای خود را متوقف ساخت. همچنین گوگل شرکتهای مربوطه را در جریان این واقعه قرار داده است.
این واقعه مختص جمنای نیست
اهمیت این ماجرا زمانی برجستهتر میشود که آن را در کنار حوادث مشابه قرار دهیم.
ایرلِیگولار گزارش داده که نمونههایی مشابه در آزمایشهای مرتبط با مدلهای شرکتهای متا، آنتروپیک و OpenAI نیز مشاهده شده است.
- شرکت متا در ماه اوت درباره حادثه مرتبط با مدل خود اظهار داشته که این واقعه شامل فرار از محیط ایزوله یا یک حمله سایبری پیچیده نبوده است.
- بهعلاوه، گزارشاتی وجود دارد که مدلهای Claude در آنتروپیک نیز در خلال آزمایشهای امنیت سایبری به سیستمهای سه شرکت نفوذ کردند.
- OpenAI نیز مواردی از عبور مدلهای آزمایشی خود را از محدودیتهای محیط آزمایش گزارش کرده است.
از این رو، ماجرای جمنای نمیتواند بهعنوان یک حادثه انفرادی در یک شرکت خاص تلقی شود؛ بلکه بخش از یک مسئله گستردهتر است که با افزایش قابلیتهای عاملهای هوش مصنوعی در استفاده از اینترنت و ابزارهای رایانهای مرتبط میشود.
چرا دسترسی اینترنتی عاملهای هوش مصنوعی خطرناک است؟
یک مدل زبانی معمولی میتواند متنی تولید کند، به سؤالات پاسخ دهد یا برنامهنویسی کند؛ اما یک عامل هوش مصنوعی قادر است علاوه بر تولید پاسخ، ابزارهای مختلفی را نیز به کار ببندد و بر اساس اهداف تعریفشده، اقداماتی انجام دهد. اگر چنین عاملی به اینترنت، مرورگر، سیستمعامل، پایگاههای داده یا ابزارهای اجرایی دسترسی داشته باشد، فاصله میان «پیشنهاد انجام یک کار» و «انجام واقعی آن کار» بهطور چشمگیری کاهش مییابد.
به عنوان مثال، یک مدل صرفاً متنی ممکن است درباره امنیت یک سامانه توضیحاتی ارائه دهد؛ اما یک عامل مجهز به ابزار میتواند اطلاعات لازم را جستجو کرده، نتایج را تحلیل کند و در صورت داشتن مجوز، اقدامهای بعدی را اجرایی کند. حادثه جمنای نشان داد که اگر مرز میان محیط آزمایش و اینترنت واقعی بهدرستی کنترل نشود، همین قابلیتها میتوانند منجر به تعامل با اهداف واقعی شوند.
۲۲۷۲۲۷
نظرات کاربران