توهم در هوش مصنوعی چیست؟ هفت روش ساده برای شناسایی پاسخ‌های غیرواقعی
به نقل از خبرگزاری خبرآنلاین، ممکن است تاکنون از هوش مصنوعی درباره عنوان یک کتاب، تاریخ وقوع یک رویداد خاص یا جمله‌ای معروف از یک نویسنده سوال کرده‌اید و پاسخی مرتب و قابل قبول دریافت کرده‌اید. اما به هنگامی که به جست‌وجو پرداخته‌اید، متوجه شده‌اید که کتاب مذکور وجود ندارد، نقل‌قول به آن نویسنده تعلق ندارد یا مقاله‌ای که به آن اشاره شده هرگز منتشر نشده است.
این نوع خطا یکی از چالش‌های رایج در مدل‌های زبانی محسوب می‌شود و اغلب به نام «توهم هوش مصنوعی» یا AI hallucination شناخته می‌شود؛ به عبارت دیگر، تولید اطلاعات نادرست یا خیالی که ظاهراً واقعی و معتبر جلوه می‌کند. نکته‌ای که کاربران باید مد نظر داشته باشند این است که پاسخ‌های روان و مطمئن، به‌طور حتم صحیح نیستند.
چرا هوش مصنوعی گاهی اطلاعات نادرستی ارائه می‌دهد؟
مدل‌های زبانی به منظور تولید متن، بر پایه الگوهایی که از داده‌های بی‌شمار آموخته‌اند، آموزش دیده‌اند. آن‌ها به روشی که یک شخص متخصص واقعیت را بررسی می‌کند، پاسخ پیدا نمی‌کنند؛ بلکه متنی تولید می‌کنند که با سوال و الگوهای آموخته‌شده هم‌خوانی داشته باشد. به همین خاطر، جمله‌ای ممکن است از لحاظ زبانی صحیح و طبیعی باشد، اما اطلاعات آن کاملاً نادرست باشد.
تحقیقی از OpenAI در سال ۲۰۲۵ یکی از دلایل احتمالی این معضل را شناسایی کرده است: اگر مدل‌ها به دلیل ارائه پاسخ، امتیاز دریافت کنند، شاید حدس زدن برایشان ساده‌تر از بیان «نمی‌دانم» باشد. به همین دلیل، مدل باید هم برای صحت پاسخ و هم برای شناسایی زمان عدم دانستن ارزیابی گردد.
هفت روش ساده برای تشخیص پاسخ‌های مشکوک
۱. اطلاعات دقیق را بدون منبع اعتبارسنجی نکنید
نام کتاب، نویسنده، سال انتشار، شماره صفحه یا عنوان مقاله ممکن است پاسخ را معتبر جلوه دهد؛ اما جزئیات زیاد لزوماً صحت اطلاعات را تضمین نمی‌کند. گاهی اوقات هر چه اطلاعات جعل شده دقیق‌تر باشند، باورپذیرتر می‌شوند.
اگر هوش مصنوعی اطلاعات زیادی درباره موضوعی ناشناخته ارائه می‌دهد، حتماً نام‌ها و جزئیات کلیدی را به‌طور جداگانه جست‌وجو کنید.
۲. به پاسخ‌های قطعی در مورد موضوعات مبهم مشکوک باشید
اگر درباره فردی ناشناخته یا رویدادی خاص سوال می‌کنید و پاسخی جامع و قاطع دریافت می‌کنید، این پاسخ نیازمند بررسی است. به‌عنوان مثال، اگر مدل به سرعت درباره کتابی ناشناخته نام ناشر، مترجم و تعداد صفحات را اعلام کرد، صحت این جزئیات را باید چک نمایید.
می‌توانید از مدل بخواهید که بخش‌های نامعتبر را مشخص کند؛ اما ارزیابی خود مدل درباره میزان اطمینانش، به‌تنهایی مدرکی برای صحت نیست.
۳. سوال را با عبارتی دیگر دوباره مطرح کنید
بعضاً دوباره پرسیدن سوال با phrasing متفاوت می‌تواند تضادهای موجود در پاسخ را نمایان کند. به‌عنوان مثال، تاریخ تولد یک نویسنده را یک بار مستقیماً بپرسید و بار دیگر به همراه درخواست منبع. اگر پاسخ‌ها متفاوت باشند، احتمال وجود خطا وجود دارد.
این شیوه آزمون قطعی برای صحت نیست: ممکن است مدل در هر دو بار همان پاسخ نادرست را تکرار کند یا به علت تفاوت در نیات پرسش، پاسخی متفاوت ارائه کند. این فقط یک علامت هشدار است و نه یک راه اثبات.
۴. منبع بخواهید و خودتان آن را بررسی کنید
عنوان مقاله یا لینک ارائه‌شده از سوی هوش مصنوعی ممکن است جعلی یا نامرتبط باشد. به همین دلیل، فقط به فهرست منابع اکتفا نکنید:
- عنوان و لینک منبع را دریافت کنید.
- لینک را باز کنید و مطمئن شوید که صفحه واقعاً وجود دارد.
- بررسی کنید آیا منبع همان ادعایی را مطرح کرده که هوش مصنوعی به آن نسبت داده است.
برای اطلاعات علمی، حقوقی یا پزشکی، به سراغ منابع معتبر، نشریات دانشگاهی یا وب‌سایت‌های رسمی بروید.
۵. پاسخ‌های طولانی را به ادعاهای کوچک‌تر تقسیم کنید
یک جمله ممکن است شامل چندین ادعای مجزا باشد. به‌عنوان مثال، جمله «پژوهشگری در سال ۲۰۱۸ نظریه‌ای مطرح کرد، سپس در سال ۲۰۲۰ درباره آن کتابی نوشت و کتابش در ۱۲ کشور ترجمه شد» دست‌کم شامل چند ادعای قابل بررسی است.
هر یک از ادعاها را به‌طور مجزا مورد بررسی قرار دهید: تاریخ مطرح شدن نظریه، وجود کتاب، سال انتشار و تعداد ترجمه‌ها. شاید فقط یک بخش نادرست باشد، اما همان بخش می‌تواند نتیجه‌گیری کلی را دچار تغییر کند.
۶. نقل‌قول‌ها را با منبع اصلی تطبیق دهید
هوش مصنوعی ممکن است جمله‌ای را به نویسنده، فیلسوف یا دانشمندی نام آور نسبت دهد، زیرا جمله از نظر سبک به نوشته‌های او شبیه است. اما شباهت در سبک، دلیلی برای اصالت نقل‌قول نیست.
اگر قصد دارید از نقل‌قول در مقاله، کتاب یا محتوای رسمی استفاده کنید، آن را در اثر اصلی یا منبع معتبر جستجو کنید. در صورتی‌که نتوانید منبع مطمئنی بیابید، بهتر است نقل‌قول را به آن شخص منتسب نکنید.
۷. از هوش مصنوعی بخواهید ادعاهای نیازمند بررسی را مشخص کند
می‌توانید از مدل درخواست کنید که پاسخ خود را به چند دسته تقسیم کند؛ به‌عنوان مثال:
«لطفاً هر ادعای قابل بررسی در پاسخی که ارائه داده‌ای را جداگانه ذکر کن. بگو کدام ادعاها نیازمند منبع هستند و برای بررسی هر کدام چه نوع منبعی مناسب است.»
این کار ممکن است نقاط تاریک را نمایان کند، اما تضمینی وجود ندارد که مدل اشتباهات خود را تشخیص دهد. فهرست ادعاها همچنان باید با منابع مستقل مورد بررسی قرار گیرد.
یک آزمایش ساده
تخیل کنید هوش مصنوعی درباره یک شخصیت تاریخی پنج نکته ارائه می‌دهد. به‌جای پذیرفتن تمامی پاسخ، هر مورد را به‌تنهایی بررسی کنید:
- تاریخ تولد را در منبع معتبر جستجو کنید.
- نام اثر یا کتاب را در فهرست کتابخانه یا وب‌سایت ناشر چک کنید.
- نقل‌قول را در متن اصلی یا منبع معتبر جستجو کنید.
- وابستگی دانشگاهی یا سازمانی را در وب‌سایت رسمی آن نهاد بسنجید.
به این ترتیب، به‌جای اینکه به یک پاسخ کلی اتکا کنید، می‌توانید اعتبار هر ادعا را به‌صورت جداگانه سنجش کنید.
پژوهشگران چگونه خطاهای هوش مصنوعی را مورد بررسی قرار می‌دهند؟
پژوهشگران آزمون‌هایی طراحی می‌کنند که پاسخ درست پرسش‌هایشان مشخص و معین است. سپس بررسی می‌کنند که مدل چند بار به درستی پاسخ می‌دهد، چند بار دچار اشتباه می‌شود و در وضعیت‌های نامطمئن آیا از ارائه پاسخ قطعی پرهیز می‌کند یا خیر.
TruthfulQA یکی از آزمون‌های شناخته‌شده در این زمینه است که شامل ۸۱۷ پرسش درباره موضوعات متنوع مانند سلامت، اقتصاد، حقوق و سیاست است و بخشی از سؤالات نیز به بررسی باورهای نادرست رایج طراحی شده‌اند. نتایج این آزمون نشان می‌دهد که مدل‌های زبانی ممکن است برخی اطلاعات نادرستی که در بین انسان‌ها رایج است، تکرار کنند.
SimpleQA که OpenAI در سال ۲۰۲۴ ارائه داد، مجموعه‌ای از ۴۳۲۶ سؤال کوتاه و مشخص است که ارزیابی پاسخ‌ها را آسان‌تر می‌سازد. پژوهش‌های دیگر، از جمله HalluLens، نیز به دسته‌بندی و تحلیل انواع خطاهای مدل‌های زبانی پرداخته‌اند.
این آزمون‌ها یادآور می‌شوند که مدل‌ها نباید تنها بر اساس توانایی پاسخ‌دهی ارزیابی شوند؛ بلکه باید مورد بررسی قرار گیرد که در چه موقعیت‌هایی دچار خطا می‌شوند و تا چه حد می‌توانند از پاسخ‌دادن‌های بی‌پشتوانه پرهیز کنند.
چرا «نمی‌دانم» گاهی بهترین پاسخ است؟
ارائه پاسخ بیشتر همواره به معنای قابل اطمینان‌تر بودن نیست. در یک مطالعه OpenAI در سال ۲۰۲۵، عملکرد دو مدل در آزمونی با پرسش‌های واقعی مقایسه شد. در آن ارزیابی، یکی از مدل‌ها در ۵۲ درصد موارد از پاسخ‌گویی قاطع خودداری کرد و در ۲۲ درصد موارد پاسخ صحیح ارائه داد؛ در حالی که مدل دیگر در حدود یک درصد موارد از پاسخ‌دادن اجتناب کرد، اما ۷۵ درصد پاسخ‌هایش نادرست بود.
این ارقام مربوط به مدل‌ها و شرایط آن آزمایش هستند و نباید به سایر مدل‌ها یا موقعیت‌ها تعمیم داده شوند. با این حال، یک نکته را روشن می‌کنند: خودداری از پاسخ‌گویی در شرایط مبهم، گاهی می‌تواند نشان‌دهنده احتیاط مفیدی باشد، نه نشانه‌ای از ضعف.
قانون طلایی
برای ارزیابی پاسخ‌های هوش مصنوعی، یک قاعده ساده را همیشه در خاطر داشته باشید:
هر چه ادعا دقیق‌تر، غیرمنتظره‌تر یا دارای اهمیت بیشتری باشد، نیاز به بررسی و تحقیق بیشتری دارد.
اشتباه در معرفی یک فیلم معمولاً عواقب چندانی ایجاد نمی‌کند؛ اما ارائه اطلاعات نادرست درباره داروها، قوانین، سرمایه‌گذاری‌ها، اخبار مهم، مقالات علمی یا نقل‌قول‌های تاریخی می‌تواند پیامدهای جدی داشته باشد. در این موارد، این سه سؤال را مطرح کنید:
- منبع ادعا چیست؟
- آیا منبع واقعاً وجود دارد؟
- آیا منبع همان ادعایی را بیان کرده که هوش مصنوعی به آن نسبت داده است؟
جمع‌بندی؛ پاسخ‌های روان، الزاماً واقعی نیستند
توهم هوش مصنوعی به معنای تولید اطلاعات نادرست یا خیالی به نحوی است که ممکن است معتبر به نظر برسد. آزمون‌هایی مانند TruthfulQA و SimpleQA این مسأله را قابل ارزیابی و همچنان مورد تحقیق قرار می‌دهند.
برای کاربران، عادت‌های ساده‌ای می‌تواند احتمال بروز خطا را کاهش دهد: اطلاعات دقیق را بررسی کنید، لینک‌ها را باز کنید، نقل‌قول‌ها را در منابع اصلی پیدا کنید، پاسخ‌های طولانی را به ادعاهای مجزای کوچک تقسیم کنید و برای اطلاعات مهم به بیش از یک منبع مراجعه کنید.
هوش مصنوعی می‌تواند در جستجو، یادگیری، نوشتن و تجزیه و تحلیل بسیار کارآمد باشد؛ اما باید همواره پاسخ‌ها را با توجه به اهمیت موضوع مدنظر سنجش کنید. گاهی بهترین اقدام این نیست که سریعاً پاسخ به‌‌دست آوریم، بلکه این است که بدانیم کدام بخش از پاسخ نیاز به بررسی دقیق‌تری دارد.
منابع
- OpenAI، Why Language Models Hallucinate، ۲۰۲۵
- TruthfulQA، مجموعه ارزیابی حقیقت‌گویی مدل‌های زبانی، ۲۰۲۲
- OpenAI، SimpleQA، ۲۰۲۴
- HalluLens، پژوهشی درباره تحلیل و دسته‌بندی توهم در مدل‌های زبانی، ۲۰۲۵
۵۷