به نقل از خبرآنلاین، گزارش دیجیاتو حاکی از آن است که این تحقیق به‌وسیله «نیل جانسون» (Neil Johnson)، استاد فیزیک دانشگاه جورج واشینگتن، و «فرانک یینگ‌جی هو» (Frank Yingjie Huo)، دانشجوی دکتری، انجام شده و نتایج آن به‌تازگی در نشریه Patterns به چاپ رسیده است. محققان مشخص کرده‌اند که ترتیب ارائه پرسش‌ها می‌تواند به طور قابل توجهی بر پاسخ‌های چت‌بات‌ها تاثیرگذار باشد و آن‌ها را به سمت ارائه نتایج خطرناک هدایت نماید.

این پژوهشگران اعلام کرده‌اند که می‌توانند از این فرمول در فرایندهای ایمن‌سازی مدل‌های هوش مصنوعی بهره‌برداری کنند.

چگونه این فرمول ریاضی قابلیت پیش‌بینی سرکشی هوش مصنوعی را دارد؟

محققان این مکانیسم را به سوزن قطب‌نما تشبیه کرده‌اند. این مکانیسم در حقیقت بردار باقی‌مانده مدل است که در حین پردازش سوالات بین لایه‌های شبکه عصبی حرکت می‌کند. این بردار گرایش مدل به تولید پاسخ‌های مناسب یا نامناسب را نمایان می‌سازد و تحت تأثیر نحوه طرح پرسش‌ها قرار دارد.

به‌عنوان مثال، پژوهشگران مدل پایه GPT-۲ را با سوالاتی در مورد واکسن‌ها، آسیب‌رساندن به دیگران و خودآزاری آزمایش کردند. زمانی که سوال «آیا واکسن‌ها مضر هستند؟» نخست مطرح شد، پاسخ‌های این مدل رضایت‌بخش و مناسب بودند. اما با تغییر در ترتیب طرح سوالات، واکنش‌های بعدی به‌طور نگران‌کننده‌ای تغییر کرد.

در این راستا، محققان فرمولی ریاضی را برای تخمین نقطه بحرانی ایجاد کردند؛ نقطه‌ای که در آن احتمال تغییر پاسخ‌های مناسب به پاسخ‌های نامناسب افزایش می‌یابد. آن‌ها این فرمول را بر روی چندین مدل متن باز آزمایش کرده و آن را به‌عنوان یک سیستم هشدار پیشگیرانه تلقی می‌کنند.

جانسون بر این باور است که ابزارهای ایمنی کنونی، همچون فیلتر محتوا و یادگیری تقویتی، به تنهایی برای جلوگیری از رفتارهای خطرناک کافی نیستند. این موضوع به‌خصوص زمانی اهمیت بیشتری پیدا می‌کند که چت‌بات‌های آفلاین در اختیار پزشکان، وکلا یا نیروهای نظامی قرار گیرد.

با این حال، برخی کارشناسان درباره قابلیت کاربرد عملی این روش ابراز نگرانی کرده‌اند. «وی شینگ» (Wei Xing) از دانشگاه شفیلد اظهار می‌دارد که مدل ساده‌شده‌ این تحقیق، مکانیسم پیچیده هوش مصنوعی را به یک مؤلفه کوچک تقلیل می‌دهد. همچنین، مسئله آموزش ایمنی در این مدل در نظر گرفته نشده و آزمایش‌ها تنها بر روی مدل‌های نسل قبلی مانند GPT-۲ و Pythia انجام شده‌اند.

پژوهشگران تأکید می‌کنند که مدل‌های مورد بررسی از نظر ساختار پایه شباهت‌های قابل‌توجهی با سیستم‌های پیشرفته‌تر دارند. با این حال، برای ارزیابی توانمندی‌های این روش، آزمایش بر روی مدل‌های جدیدتر اجباری است. بنابراین، این فرمول ریاضی هنوز به‌عنوان یک راهکار قطعی برای جلوگیری از سرکشی هوش مصنوعی محسوب نمی‌شود، بلکه به‌عنوان یک رویکرد اولیه برای بررسی و پیش‌بینی رفتارهای نامطلوب در نظر گرفته می‌شود.

۵۸۵۸