طبق اطلاعات منتشر شده توسط خبرگزاری خبرآنلاین، تفاوت‌های موجود در نتایج یک مدل الزماً نشان‌دهنده تبعیض نیستند. در برخی مواقع، این عدم تطابق به واقعیت‌های مختلف موجود در داده‌ها مربوط می‌شود؛ و در مواقع دیگر، ممکن است معیاری آماری برای یک کاربرد خاص مناسب باشد ولی برای کاربرد دیگری نه. بنابراین، شناسایی سوگیری نیاز به بررسی دقیق‌تری از داده‌ها، هدف سیستم، روش‌های ارزیابی و پیامدهای واقعی تصمیمات دارد.
یک تصور نادرست رایج این است که چون یک مدل از فرمول‌های ریاضی استفاده می‌کند، نتیجه نهایی به طور قطع عینی و بدون جانب‌داری است. ریاضیات ممکن است به سازماندهی تصمیم‌گیری کمک کند، اما تضمینی برای بی‌طرف بودن مسئله‌ها یا داده‌های ورودی مدل فراهم نمی‌کند.
سوگیری چگونه به سیستم هوش مصنوعی نفوذ می‌کند؟
سوگیری ممکن است در هر مرحله از چرخه حیات یک سیستم به وجود بیاید؛ از انتخاب مسئله و جمع‌آوری داده‌ها تا آموزش مدل، ارزیابی و حتی نحوه استفاده کاربران از نتایج آن.
۱. سوگیری در داده‌های آموزشی
مدل‌های یادگیری ماشین به تحلیل الگوها در داده‌ها می‌پردازند. اگر داده‌ها نمایندگی درستی از جامعه یا محیط واقعی نداشته باشند، عملکرد مدل ممکن است در بین گروه‌های مختلف به طور نابرابر باشد.
به عنوان مثال، اگر یک سیستم شناسایی تصویر با مجموعه‌ای آموزش ببیند که نمایندگان برخی گروه‌های جمعیتی در آن اندک باشند، ممکن است در شناسایی افراد آن گروه‌ها ضعیف‌تر عمل کند.
مشکل تنها به کمبود داده‌ها مربوط نمی‌شود. کیفیت پایین اطلاعات، برچسب‌گذاری نادرست، قدیمی بودن داده‌ها و حتی شیوه‌های تعیین متغیرها نیز می‌تواند بر نتایج تأثیر بگذارد.
۲. سوگیری در انتخاب نمونه
مسئله ممکن است از اینجا آغاز شود که کدام افراد در مجموعه داده‌ها قرار گرفته‌اند. اگر یک نظرسنجی آنلاین تنها پاسخ‌های افرادی را شامل شود که به اینترنت دسترسی دارند، نمی‌توان بدون تحلیل بیشتر، نتایج آن را نماینده کل جامعه دانست. در سیستم‌های هوش مصنوعی، داده‌هایی که برخی گروه‌ها را کم یا زیاد به تصویر می‌کشند، می‌توانند تصوری ناقص از جامعه ارائه دهند.
۳. سوگیری در طراحی هدف
حتی اگر داده‌ها به درستی انتخاب شده باشند، تعیین هدفی که مدل باید بهینه‌سازی کند می‌تواند بر نتایج تأثیر بگذارد.
به عنوان مثال، فرض کنید شرکتی بخواهد سیستمی برای استخدام نیروی کار ایجاد کند و از مدل بخواهد افرادی را بیابد که «شبیه کارکنان موفق گذشتة» آن‌ها هستند. اگر ساختار نیروی کار در گذشته تعادل نداشته باشد، این نوع معیار می‌تواند مدل را به تولید الگوهای مشابه سابق هدایت کند.
در چنین حالتی، مشکل به طور دقیق در یک خط کد مشخص نیست؛ ممکن است ریشه در تعریف «موفقیت» و تبدیل آن به یک معیاری قابل محاسبه داشته باشد.
زمانی که گذشته وارد الگوریتم می‌شود
نمونه‌ای شناخته شده از سوگیری در استخدام، مربوط به سیستم آزمایشی آمازون است. طبق گزارشی از رویترز در سال ۲۰۱۸، این شرکت ابزاری برای تحلیل رزومه‌ها طراحی کرده بود که بر اساس داده‌های مربوط به متقاضیان سال‌های پیشین، نامزدها را ارزیابی می‌کرد. در طول آزمایش‌ها مشخص شد این سیستم با رزومه‌هایی که نشانه‌های زن بودن متقاضی را داشتند، به شکل ناپسندی رفتار می‌کند؛ موضوعی که با الگوهای موجود در داده‌های تاریخی مرتبط است. آمازون در نهایت این پروژه را کنار گذاشت.
این مثال نکته‌ای حائز اهمیت را روشن می‌کند: مدل‌هایی که برای پیش‌بینی آینده از داده‌های گذشته استفاده می‌کنند، ممکن است فقط الگوهای موفقیت را فرا نگیرند، بلکه بافت نابرابری‌های تاریخی را نیز تکرار کنند.
سوگیری در بانک‌ها و اعتبارسنجی
حوزه مالی یکی دیگر از زمینه‌هایی است که در آن، تصمیمات الگوریتمی می‌تواند پیامدهای جدی داشته باشد. سیستم‌های اعتبارسنجی ممکن است به اطلاعات متنوعی برای ارزیابی احتمال بازپرداخت وام تکیه کنند. با این حال، اگر متغیرهای انتخابی یا داده‌های تاریخی با شرایط اجتماعی و اقتصادی خاصی ترکیب شده باشند، ممکن است باعث به وجود آمدن تفاوت‌های غیر منطقی میان گروه‌های مختلف شوند.
به همین دلیل، ارزیابی «دقت کلی» مدل به تنهایی کافی نیست. لازم است که بررسی شود این دقت برای کدام گروه‌ها حاصل شده و نرخ خطا برای هر گروه چگونه است.
زمانی که الگوریتم وارد حوزه قضایی می‌شود
از بارزترین نمونه‌های سوگیری الگوریتمی، ابزارهای ارزیابی احتمال تکرار جرم هستند. در سال ۲۰۱۶، تحقیقی از سوی ProPublica درباره ابزار COMPAS در فلوریدا نشان داد که تفاوت‌هایی در نوع اشتباهات سیستم میان متهمان سیاه‌پوست و سفیدپوست وجود دارد. در نمونه‌های بررسی‌شده، متهمان سیاه‌پوستی که بعدها مرتکب جرم مجدد نشدند، تقریباً دو برابر بیشتر از متهمان سفیدپوست مشابه به عنوان افراد پرخطر طبقه‌بندی شده بودند. در حالی که متهمان سفیدپوستی که بعداً مرتکب جرم مجدد شده‌اند، بیشتر از متهمان سیاه‌پوست در گروه کم‌خطر قرار گرفتند.
این موضوع به ما یادآوری می‌کند که مفهوم «عدالت الگوریتمی» پیچیده‌تر از آن چیزی است که به نظر می‌رسد. یک سیستم می‌تواند بر اساس یک معیار آماری، دو گروه را به طرز مشابهی ارزیابی کند، اما از نظر معیارهای دیگر، تفاوت‌های معنی‌داری از خود نشان دهد. بنابراین، وصف یک الگوریتم به عنوان «دقیق» به تنهایی برای ارزیابی عدالت آن کافی نیست.
آیا سوگیری فقط مختص الگوریتم‌های قدیمی است؟
با پیشرفت مدل‌های زبانی بزرگ و هوش مصنوعی مولد، مسئله سوگیری به شکلی نوین بروز کرده است. مدل‌های زبانی از انبوهی از متن‌ها و داده‌های انسانی یاد می‌گیرند و ممکن است کلیشه‌های موجود در این داده‌ها را منعکس کنند.
گزارش شاخص هوش مصنوعی استنفورد در سال ۲۰۲۵ نیز به تحقیقات اشاره می‌کند که نشان می‌دهند حتی مدل‌هایی که به منظور کاهش سوگیری طراحی شده‌اند، ممکن است در برخی آزمون‌ها همچنان الگوهای سوگیرانه ضمنی نشان دهند؛ از جمله ارتباط‌های کلیشه‌ای بین جنسیت، شغل و برخی گروه‌های اجتماعی.
این موضوع به این معنا نیست که هر جوابی که یک مدل زبانی ارائه می‌دهد، الزماً سوگیرانه است؛ بلکه نشان‌دهنده ضرورت ارزیابی و آزمون مستمر چنین سیستم‌هایی است.
چگونه می‌توان سوگیری هوش مصنوعی را کاهش داد؟
راه‌حل تعریف شده‌ای برای حذف کامل سوگیری وجود ندارد، اما با انجام اقداماتی می‌توان خطر آن را کاهش داد.
داده‌ها را قبل از آموزش بررسی کنید
یکی از نخستین مراحل، ارزیابی کیفیت، نمایندگی و ساختار داده‌ها است. توسعه‌دهندگان باید از مبدأ داده‌ها آگاه باشند، بشناسند که چه گروه‌هایی در داده‌ها پوشش داده شده‌اند، چه گروه‌هایی کمتر دیده شده‌اند و هنگام برچسب‌گذاری چه اشتباهاتی ممکن است بوجود آید.
عملکرد مدل را برای گروه‌های متفاوت ارزیابی کنید
میانگین دقت مدل ممکن است تصویر دقیقی ارائه ندهد. با ارتباط دادن به کاربرد، باید شاخص‌هایی نظیر نرخ مثبت کاذب و منفی کاذب و دیگر معیارهای عملکرد برای گروه‌های مختلف را نیز مورد بررسی قرار داد.
انسان را از فرایند حذف نکنید
در تصمیم‌گیری‌های حساس، اتکا به خروجی الگوریتم به عنوان حقیقت نهایی می‌تواند خطرناک باشد. در بسیاری از موارد پرریسک، خروجی هوش مصنوعی باید یکی از ورودی‌های تصمیم‌گیری انسانی باشد، نه جایگزین کامل قضاوت انسان.
البته «نظارت انسانی» به تنهایی کافی نیست. اگر تصمیم‌گیرنده بدون بررسی دقیق، هر خروجی الگوریتم را تأیید کند، حضور انسان در واقع مشکل را حل نخواهد کرد.
مدل را پس از عرضه نیز ارزیابی کنید
سوگیری تنها در زمان ساخت مدل اهمیت ندارد. داده‌های دنیای واقعی ممکن است تغییر کنند، کاربران رفتارهای جدیدی از خود بروز دهند و شرایطی پیش آید که هنگام آموزش مدل وجود نداشته است. چارچوب مدیریت ریسک هوش مصنوعی NIST نیز بر ارزیابی، پایش و مستندسازی مستمر تأکید می‌کند و توصیه می‌کند که عملکرد و ریسک‌های سیستم حتی بعد از استقرار نیز رصد شوند.
سوگیری همیشه عمدی نیست
یکی از نکات کلیدی درباره سوگیری هوش مصنوعی این است که برای تولید نتایج تبعیض‌آمیز، لزوماً نیازی به برنامه‌نویسی متعصب یا الگوریتمی با «قصد» تبعیض وجود ندارد.
NIST سه نوع کلیدی از سوگیری را بررسی می‌کند: سوگیری سیستمی، سوگیری محاسباتی و آمارهای انسانی؛ این سوگیری‌ها ممکن است حتی بدون وجود نیت تبعیض‌آمیز به وجود بیایند.
به بیان ساده‌تر، ممکن است هیچ‌کس تصمیم نگرفته باشد که یک گروه خاص نادیده گرفته شود؛ با این حال، ترکیب داده‌های ناقص، هدف نامناسب، طراحی نادرست، محدودیت‌های فنی و روش استفاده از نتایج مدل می‌تواند در نهایت منجر به چنین نتیجه‌ای گردد.
آینده هوش مصنوعی؛ بی‌طرفی یا مسئولیت‌پذیری؟
شاید توقع داشتن «بی‌طرفی مطلق» از هوش مصنوعی از ابتدا اشتباه بوده باشد. این فناوری در یک فضای اجتماعی ساخته نمی‌شود و نمی‌تواند با یک خط کد تمام پیش‌داوری‌های موجود در جهان را از بین ببرد. هدفی واقع‌بینانه‌تر، ایجاد سیستم‌هایی است که سوگیری‌های ممکن را شناسایی، اندازه‌گیری و مستند سازند و در راستای کنترل آن‌ها گام بردارند.
NIST، هوش مصنوعی قابل اعتماد را مجموعه‌ای از ویژگی‌ها در نظر می‌گیرد که شامل انصاف و مدیریت سوگیری، اعتبار، قابلیت اطمینان، امنیت، شفافیت، توضیح‌پذیری، حفظ حریم خصوصی و پاسخگویی می‌شود.
در پایان، سوال اصلی تنها این نیست که «آیا هوش مصنوعی سوگیرانه است؟»؛ سوالات مهم‌تری وجود دارند: سوگیری از کجا ناشی می‌شود، چه گروه‌هایی را تحت تأثیر قرار می‌دهد، چگونه می‌توان آن را اندازه‌گیری کرد و چه تدبیری برای اصلاح آن وجود دارد؟
هوش مصنوعی می‌تواند فرآیند تصمیم‌گیری را سریع‌تر، ارزان‌تر و در بسیاری مواقع دقیق‌تر کند؛ اما سرعت و مقیاس بالای آن می‌تواند احتمال خطا را نیز افزایش دهد و آن را گسترش دهد. با افزایش نقش الگوریتم‌ها در تصمیم‌گیری‌های روزمره ما، شناخت و بررسی مکانیزم‌های سوگیری آن‌ها بیش از پیش ضروری خواهد بود.
مسئولیت‌پذیری در هوش مصنوعی از یک سوال ساده آغاز می‌شود: اگر انسانی چنین تصمیمی می‌گرفت، از او می‌خواستیم که توضیح دهد چرا آن را اتخاذ کرده است؛ پس چرا از یک الگوریتم انتظار کمتری داریم؟
منابع مورد استفاده
۱. NIST AI Risk Management Framework (AI RMF) و مطالب رسمی مؤسسه ملی استاندارد و فناوری آمریکا درباره سوگیری، انصاف و ویژگی‌های هوش مصنوعی قابل اعتماد
۲. گزارش رویترز در مورد ابزار آزمایشی استخدام مبتنی بر هوش مصنوعی آمازون و موضوع سوگیری جنسیتی در سال ۲۰۱۸
۳. گزارش ProPublica درباره ابزار COMPAS و تفاوت الگوهای خطا در پیش‌بینی احتمال تکرار جرم، ۲۰۱۶
۴. Stanford AI Index Report 2025، بخش هوش مصنوعی مسئولانه
57
نظرات کاربران