زمانی که هوش مصنوعی به یک تیرانداز در کشتار بیشترین افراد کمک کرد / جنجال «OpenAI» در کانادا
بر اساس گزارش خبرآنلاین و به نقل از زومیت، در ژوئن ۲۰۲۵، شرکت OpenAI حساب کاربری نوجوانی به نام جسی ون روتسلار را مسدود کرد. این جوان، ساکن تامبلر ریج کانادا، به بحث درباره یک حمله مسلحانه به یک مرکز خرید واقعی با ChatGPT پرداخته بود و سیستم نظارتی این شرکت، فعالیت او را برای بررسی انسانی فرستاد.
ماجرای این واقعه میتوانست در همان لحظه به پایان برسد. لایههای حفاظتی چتبات به درستی عمل کردند و OpenAI خطر را شناسایی کرده، حساب را مسدود کرد. اما ون روتسلار با ایجاد حسابی جدید به فعالیتش ادامه داد؛ او موضوع مسدود شدن حساب قبلیاش را با ChatGPT در میان گذاشت و از آن پرسید که چرا حسابش بسته شده یا گفتگوهایش حساس تلقی شدهاند.
بر مبنای تحقیقات جدید صورتگرفته توسط Mother Jones، Ch آنلاین پیشنهاداتی برای دور زدن فیلترها نیز به او ارائه داد، از جمله این که سناریوها را به صورت تخیلی یا فرضی معرفی کند و از نام مکانهای واقعی استفاده نکند.
حساب دوم او برای مدت هشت ماه فعال ماند. در این مدت، ون روتسلار بارها به مباحثی چون سلاح، مواد منفجرهی دستساز، قتلعام و جلب توجه بعد از حمله اشاره کرد. در مواقعی، چتجیپیتی درخواستهای او را رد میکرد، اما او با تغییر چند کلمه یا افزودن قید «فرضی» موفق به دریافت پاسخهای مفصل میشد. آخرین گفتگوهایش به ساعت وقوع تیراندازیهای مدرسهای در آمریکا مربوط بود که پیش از وقوع تیراندازیای که منجر به کشته شدن هشت نفر شد، انجام شد.
چندماه پس از این حادثه، افکار عمومی تنها در جریان بسته شدن حساب اول از سوی OpenAI قرار داشت و مشخص نبود که این موضوع به پلیس گزارش شده یا خیر. اما تحقیقات جدید نشان میدهد که ماجرا فراتر از یک هشدار ساده بوده و محصول شرکت بعد از آن هشدار، ماهها به گفتگو با کاربر ادامه میداد.
هشداری که به پلیس نرسید
تامبلر ریج، شهری معدنی واقع در شمالشرق بریتیش کلمبیا، در ۱۰ فوریه ۲۰۲۶ شاهد یکی از مرگبارترین تیراندازیهای جمعی تاریخ کانادا بود. پلیس سلطنتی کانادا در ساعت ۱:۲۰ بعدازظهر گزارشی از حضور فردی مسلح در دبیرستان دریافت نمود.
ماموران در داخل مدرسه شش قربانی یافتند؛ پنج دانشآموز ۱۲ و ۱۳ ساله و یک دستیار آموزشی. دو قربانی دیگر، مادر مهاجم و برادر ۱۱ سالهاش بودند که در خانه یافت شدند. همچنین ۲۷ نفر نیز دچار آسیب شدند و مهاجم ۱۸ ساله با شلیک به خود جان باخت.
در حین بررسی ردپای دیجیتال ون روتسلار، پلیس به OpenAI رسید، اما این شرکت او را از قبل میشناخت. نامهای رسمی از OpenAI به دولت کانادا تأیید میکند که سیستم خودکار شرکت در ژوئن ۲۰۲۵ حساب نخست را شناسایی کرده و ناظران انسانی نیز گفتگوها را بررسی کردهاند و به همین دلیل تصمیم به مسدود کردن حساب او گرفتهاند. مدیریت شرکت این نتیجه را گرفت که شواهد موجود نشاندهنده «خطری فوری و حقیقی» نبود که لازم باشد به پلیس اعلام شود.
گزارشهای بیشتری نشان میدهند که درون OpenAI نیز بر سر این تصمیم اختلاف وجود داشت. والاستریت ژورنال مینویسد که برخی از اعضای تیم ایمنی، گفتگوها را جدیتر ارزیابی کرده و خواستار برقراری تماس با مقامهای مربوطه شدند، اما تصمیم نهایی شرکت به مسدود کردن حساب محدود ماند.
OpenAI میگوید که در بررسی آن زمان، نشانهای از وجود برنامهای فعال و فوری تشخیص داده نمیشود؛ در حالی که شاکیان پروندههای قضایی ادعا میکنند که مدیران شرکت فرصتی واقعی برای مداخله را از دست دادهاند. تا کنون حکمی از سوی دادگاه در این مورد صادر نشده است.
اختلافات کنونی، تنها نشانهای از یک تصمیم اشتباه در گذشته نیستند. منتقدان سؤالی را مطرح میکنند که هنوز هیچ یک از شرکتهای هوش مصنوعی پاسخ قاطعی به آن ندادهاند. دقیقا از چه زمانی گفتگوهای خصوصی به تهدیدی عمومی تبدیل میشوند؟
گزارشهای اولیه میتواند جان افرادی را نجات دهد، اما در عوض، تعداد هشدارهای زیاد میتواند حریم خصوصی افراد را نقض کرده یا موجب شود که داستانهای تخیلی و افکار آشفته افراد در بحرانهای روزمره، پلیس را به دخالت وادار کند. OpenAI در این زمینه، آستانهی تصمیمگیریاش را افزایش داده بود و حادثه تامبلر ریج به وضوح هزینهی خطای شرکت را نمایان کرد.
نامهی OpenAI نکتهای را تأیید میکند که در روایتهای اولیه کمتر به آن پرداخته شده بود. پس از محرومیت، ون روتسلار حساب جدیدی درست کرد و شرکت تا پس از وقوع حمله، موفق به شناسایی ارتباط میان دو حساب او نشده بود. این شرکت اعلام میکند که پس از اینکه نام مهاجم بهصورت عمومی اعلام شد، حساب دوم او را شناسایی کرده و اطلاعاتش را به پلیس ارائه کرد؛ در حالی که شرکت از قبل ابزاری برای شناسایی کاربران متخلفی داشت که با حساب جدید به پلتفرم بازمیگشتند.
مهاجم با افزودن کلمهی «فرضی»، چتبات را برای توصیف کارایی سلاحها در فضای بسته فریب داد
نشریه تحقیقاتی و خبری Mother Jones اولین بار تصویر مستنداتی از محتوای حاوی حساب دوم ون روتسلار را منتشر میکند. گزارش این مطبوعه به اطلاعات و نقلقولهای منابع آگاه و مواردی از تاریخچهی گفتگوهای ون روتسلار اتکا دارد، گرچه منابع بهخاطر تداوم تحقیقات نام خود را برای جلوگیری از افشا فاش نکردهاند و OpenAI هم به سؤالات رسانهها پاسخ نداده است.
شواهد موجود نشان میدهند که ون روتسلار تصاویر خشونتآمیز و آسیب به خود را به اشتراک گذاشته و از چتبات خواسته که سناریوهای مربوط به قتلهای فرضی را ایجاد کند. شخصیت برخی از داستانها مشابه خود وی بود؛ مثلاً مهاجم ۱۸ ساله یا فردی به نام «جس» که به منظور کسب شهرت از حمله استفاده میکرد. چتبات گاهی با اجتناب از پاسخ، از پاسخگویی امتناع میکرد، اما اصرار کاربر و تغییرات جزئی در درخواستها مسیر گفتگو را به نفع خود تغییر میداد.
یکی از گفتگوهای آگوست ۲۰۲۵ به وضوح ضعفهای حفاظتی OpenAI را نشان میدهد. ون روتسلار از چتجیپیتی خواست که سناریوی حملهای در یک محیط دانشگاه با سلاح مشخصی را توصیف کند. چتبات ابتدا درخواست را رد کرد، اما پس از اینکه ون روتسلار یک قید فرضی را به آن اضافه کرد، چتبات در مورد کارایی سلاح در محیطهای بسته، زمان پر کردن مجدد سلاح و تعداد احتمالی قربانیان صحبت کرد.
جزئیات پرسشها و نحوهی طرح آنها را کنار میگذاریم، زیرا نکتهی مهم در فاصلهگذاری میان «امتناع قاطع» و «همراهی پرخطر پس از اصلاح سؤال» نمایان میشود.
صبح روز حمله، ون روتسلار در مورد زمان وقوع چند تیراندازی مشهور در مدارس آمریکا سؤالاتی مطرح کرد و چتجیپیتی با اتکا به دادههای منتشرشده و نمونههای پیشین، به او پاسخ داد. به گفته Mother Jones، این پرسش و پاسخها، آخرین گفتگوهای جسی با چتبات بودند.
تحقیقات پلیس همچنان ادامه دارد و مقامات کانادایی هنوز درباره انگیزه نهایی یا تأثیر این مکالمات در فاجعه دلخراش اظهار نظری نکردهاند.
تامبلر ریج نخستین تیراندازی مرگبار نیست که نام چتجیپیتی را بر سر زبانها انداخته است. فینیکس ایکنر، متهم حملهی آوریل ۲۰۲۵ به دانشگاه ایالتی فلوریدا نیز شب گذشته از تیراندازی به افسردگی و افکار خودکشی با چتبات صحبت کرده بود.
بررسی مکالمات وی که والاستریت ژورنال به آن پرداخته، نشان میدهد او درباره شهرت پس از کشتار، کارکرد سلاح و زمان شلوغی محوطهی دانشگاه سوال کرده بود. آخرین گفتوگوی او با چتجیپیتی تنها چهار دقیقه قبل از وقوع حمله به پایان رسید. در این تیراندازی دو نفر کشته و شش نفر زخمی شدند؛ با این حال ایکنر به اتهامات قتل و تلاش برای قتل اعتراف نمیکند و خود را بیگناه میداند.
OpenAI اعلام میکند پس از وقوع حمله در اواخر آوریل، حسابی را که به ایکنر تعلق داشت، شناسایی کرده و اطلاعات آن را به پلیس ارائه داد. این شرکت در زمان مکالمات هیچ نشانهای از خطر تشخیص نداده و تازه پس از وقوع تیراندازی به حساب مربوطه رسیدگی کرده است.
دو ماه بعد، سیستم نظارتی آن شرکت حساب ون روتسلار را به دلیل گفتگوهای خشونتآمیز برای بررسی انسانی ارسال کرد؛ با این حال OpenAI پرونده را به پلیس ارجاع نداد.
ایکنر پیش از حمله درباره زمان شلوغی دانشگاه پرسیده بود و ون روتسلار در روز آخر به زمان وقوع تیراندازیهای مدرسهای پرداخته بود. مهاجم تامبلر ریج در جریان ارتباط چتجیپیتی با ایکنر نبود، چرا که این ارتباط تا ماهها بعد فاش نشد؛ اما OpenAI از آوریل ۲۰۲۵ از اولین تیراندازی آگاه بود.
رفتار حساب دوم جسی ون روتسلار، مشکلی را یادآوری میکند که OpenAI نیز چند ماه پیش به آن اشاره کرده بود. این شرکت در آگوست در گزارشی با عنوان Helping people when they need it most نوشت که حفاظها در مکالمات کوتاه عملکرد قابلاعتمادتری دارند، اما با طولانی شدن تعامل میتوانند تأثیر ایمنی مدل را تضعیف کنند. همچنین طبقهبندهای خودکار نیز ممکن است گاهی شدت محتوای خطرناک را کمتر از آنچه واقعاً هست، ارزیابی کنند.
حفاظ ایمنی یک چتبات تنها نباید به پاسخ «بله» یا «خیر» محدود شود. به اعتقاد منتقدان و شاکیان، لازم است چندین لایه امنیتی بهدرستی پشت سرهم عمل کنند.
اول، مدل باید درخواست خطرناک را شناسایی کند، دوم، باید پاسخی ایمن ارائه دهد، سوم، سیستم نظارتی باید الگوهای تکراری را شناسایی کند، چهارم، ارزیاب انسانی ضرورت خطر را به طور دقیق بسنجند و در نهایت شرکت در صورت نیاز باید حسابهای مرتبط را شناسایی کرده یا به نهاد مسئول اطلاعرسانی کند.
پروندهی تامبلر ریج شکست احتمالی چند لایه از این حفاظها را به نمایش میگذارد. چتبات گاهی از پاسخگویی امتناع میکرد و سپس عقبنشینی میکرد؛ حساب اول مسدود شد و کاربر با حساب دوم به فعالیت ادامه داد؛ شرکت خطر را شناسایی کرد اما آن را نادیده گرفت.
تفاوت چتبات با موتور جستجو در همین تداوم پرسش و پاسخ نهفته است. موتور جستجو فقط مجموعهای از لینکها را به کاربر میدهد، ولی چتبات با به خاطر سپردن درخواست و کمک به بازنویسی آن، گفتگو را ادامه میدهد.
این تعامل میتواند در زمینه آموزش یا ارائه حمایتی روانی ارزشمند باشد؛ اما در مواجهه با افرادی که با وسواس یا خشونت مواجه هستند، میتواند خطرناک شود. چتباتها صرفاً اطلاعات پراکندهای را نمایش نمیدهند، بلکه در خلق یک خط تفکر با کاربر مشارکت میکنند.
با این حال، هنوز بحثهای زیادی درباره رابطه علت و معلولی این خشونت وجود دارد؛ بهویژه که در سابقهی ون روتسلار موارد نگرانکنندهای همچون افکار خودکشی و بستری اجباری نیز مشاهده میشود و به افراطیگری و ارتباطات قبلیاش با پلیس اشاره دارد.
OpenAI در درخواستش برای ختم پرونده، بر ناکامی نهادهای محلی در حوزه سلامت روان، آموزش و اجرای قانون تأکید میکند و مسئولیت مستقیم چتجیپیتی را در این حادثه نپذیرفته است. با این حال سوابق قبلی ون روتسلار نمیتواند بهطور کامل نقش چتبات را کنار بگذارد یا اثبات کند.
دادگاه باید تعیین کند آیا پاسخهای چتبات تنها یکی از عوامل گذشته مهاجم بودند یا به شکل قابلپیشبینی خطر را بیشتر کردهاند.
پس از وقوع تیراندازی، OpenAI معیارهای خود را برای گزارشدهی به پلیس اصلاح کرد. در ۲۶ فوریه، شرکت در یادداشتی اعلام کرد که متخصصان سلامت روان، رفتار و اجرای قانون اکنون در پروندههای مبهم و پیچیده مشارکت دارند و ارزیابان برای تشخیص خطر تنها به ذکر صریح هدف، وسیله و زمان بسنده نمیکنند.
در این نامه، OpenAI با صراحت اذعان کرد که اگر امروز، حسابی مانند ژوئن ۲۰۲۵ را شناسایی میکرد، حتماً به پلیس گزارش میداد.
OpenAI اعلام کرده که به دنبال راهی برای ایجاد ارتباط مشترک با مقامات کانادایی است و قصد دارد منابع کمکی محلی را در پاسخهای چتجیپیتی بگنجاند. همچنین این شرکت عزم خود را جزم کرده تا کاربرانی را که پس از بسته شدن حسابشان با حسابی جدید برمیگردند، به بهتر از قبل شناسایی کند. سم آلتمن نیز در ماه آوریل در نامهای به مردم تامبلر ریج بابت عدم تماس با پلیس عذرخواهی کرده است.
با این حال، تغییرات فعلی سیاستهای این شرکت، نمیتواند مسئولیت قانونی گذشتهاش را از بین ببرد. تا اوایل سپتامبر، ۳۷ شکایت از سوی خانوادهها، بازماندگان و کارکنان مدرسه علیه OpenAI ثبت شده بود. شاکیان، OpenAI و آلتمن را به سهلانگاری، ارائه محصول ناامن و کمک به وقوع حمله متهم میکنند.
OpenAI این اتهامات را رد کرده و میگوید تصمیمهای کارکنان ایمنی بر اساس معیارهای پیچیده و با هدف حفظ همزمان امنیت و حریم خصوصی اتخاذ شدهاند.
دولت محلی بریتیش کلمبیا نیز در تاریخ ۲۱ سپتامبر شکایتی علیه شخص سم آلتمن و شرکتش به دادگاه فدرال در سانفرانسیسکو ارائه کرده و درخواست غرامتی برای هزینههای مشاوره روانی و کمک به بازماندگان، تخریب مدرسه و ساخت بناهای جایگزین داشته است.
دولت بریتیش کلمبیا به این موضوع اشاره کرده که دادگاه باید OpenAI را ملزم کند تا نحوهی برخوردش با تهدیدات خشونتآمیز را تغییر دهد. از سوی دیگر، مدرسهای که در آن حملهی مسلحانه رخ داده است در حال ویرانی است و به گفتهی مقامات این استان، تصمیمی که زمانی در درون یک شرکت فناوری اتخاذ شده، به بودجههای عمومی و زندگی شهری کوچک در کانادا لطمه زده است.
چت خصوصی چه زمانی دیگر خصوصی نیست؟
به نظر میرسد که پروندهی تامبلر ریج به تدریج ابعاد گستردهتری به خود میگیرد، با این حال شاید مهمترین سؤال به مسئولیت محصولی که همزمان با میلیونها نفر در ارتباط است و میتواند تهدیدهایی را شناسایی کند، بازگردد. زمانی که شرکتی تهدیدی مشابه یا خطرات دیگر را شناسایی کند، در ادامه چه تعهداتی خواهد داشت؟
آیا بسته شدن حساب کاربر تمامی مشکلات را حل میکند یا شرکت باید در جستجوی حسابهای مرتبط با کاربر باشد، رفتارهای آنان را زیر نظر داشته و در موارد مشکوک یا جدی به پلیس هشدار دهد؟
گزارش دادن تمام مکالمات پرحادثه به پلیس و نهادهای مسئول به نظر چندان منطقی نمیرسد و در عین حال ممکن است عواقب منفی نیز به همراه داشته باشد، چرا که به حریم خصوصی افراد آسیب وارد کرده و ممکن است افراد نیازمند، از گفتگو با چتبات دوری کنند. همچنین احتمالاً این مسئله پلیس را با سیل زیادی از هشدارهای کاذب مواجه سازد.
از سوی دیگر، اگر شرکتهای هوش مصنوعی بخواهند تصمیمات خود را بر اساس معیارهای مبهم مانند «خطر قریبالوقوع» اتخاذ کنند، نمیتوانند ایمنی کاربران و جامعه را تضمین کنند؛ به ویژه زمانی که یک کاربر به مدت ماهها الگویی از خشونت، خودزنی و جستجوی مسائل خطرناک را نشان دهد.
ایمیلی که OpenAI در ژوئن ۲۰۲۵ برای کاربر ارسال کرد که مسدود شدن حسابش را به او اطلاع میدهد، در اولین نگاه نشان میدهد که سیستم حفاظتی به درستی عمل میکند. اما هشت ماه بعد روشن شد که مسدود کردن یک حساب تنها پایان ماجرا نیست.
۵۸۵۸