اگر هوش مصنوعی فاجعه ایجاد کند، چه کسی خسارت را می‌دهد؟
شرکت آنتروپیک (Anthropic)، یکی از بازیگران اصلی صنعت هوش مصنوعی، روز دوشنبه اسناد ۳۳۵ صفحه‌ای مربوط به عرضه اولیه سهام خود را منتشر کرد؛ اسنادی که برای نخستین‌بار تصویری نسبتاً کامل از وضعیت مالی، رشد خیره‌کننده و چالش‌های پیش روی این شرکت ارائه می‌دهند.
این گزارش که در قالب فرم S-1 به کمیسیون بورس و اوراق بهادار آمریکا ارائه شده، تنها به درآمدها و برنامه‌های اقتصادی آنتروپیک محدود نمی‌شود. بخش قابل‌توجهی از آن به خطرات فناوری هوش مصنوعی اختصاص دارد؛ خطراتی که به اعتراف خود شرکت، ممکن است کنترلشان در آینده دشوارتر شود.
آنتروپیک از زمان تأسیس تلاش کرده خود را شرکتی متفاوت از دیگر فعالان این صنعت معرفی کند؛ مجموعه‌ای که ایمنی هوش مصنوعی را در اولویت قرار می‌دهد و معتقد است توسعه این فناوری نباید به قیمت تهدید امنیت انسان‌ها تمام شود. بااین‌حال، ورود به بازار سهام و پاسخ‌گویی به سرمایه‌گذاران، این شرکت را با واقعیت‌های تازه‌ای روبه‌رو کرده است. حالا آنتروپیک باید میان تعهدات اخلاقی، رقابت سنگین در بازار هوش مصنوعی و انتظارات مالی سهامداران تعادل برقرار کند.
اگرچه بخشی از اطلاعات این پرونده پیش‌تر در اختیار سرمایه‌گذاران و نهادهای نظارتی قرار داشت، جزئیات تازه‌ای نیز در آن دیده می‌شود که اهمیت زیادی دارند.
۱. رشد انفجاری مشتریان؛ آنتروپیک دیگر به چند مشتری بزرگ وابسته نیست
یکی از مهم‌ترین نکاتی که آنتروپیک در اسناد مالی خود بر آن تأکید کرده، افزایش چشمگیر تعداد مشتریان سازمانی و تنوع آنهاست.
این شرکت اعلام کرده نزدیک به ۱۲ هزار مشتری دارد که هرکدام بر اساس روند فعلی مصرف و پرداخت‌هایشان، سالانه بیش از ۱۰۰ هزار دلار برای استفاده از خدمات آنتروپیک هزینه خواهند کرد. این رقم در مقایسه با سال گذشته جهش بزرگی محسوب می‌شود؛ چراکه یک سال قبل تنها ۹۵۰ مشتری در چنین سطحی قرار داشتند.
به بیان دیگر، تعداد مشتریان بزرگ آنتروپیک طی یک سال بیش از ۱۲ برابر شده است.
در میان این مشتریان، شرکت‌هایی نیز حضور دارند که قراردادهای بسیار سنگین‌تری دارند. طبق اطلاعات منتشرشده، تا اواخر سپتامبر حدود ۲۵۰ مشتری در مسیری قرار داشتند که پرداخت سالانه هرکدام به آنتروپیک به ۱۰ میلیون دلار یا بیشتر می‌رسید.
اگر تنها همین گروه از مشتریان را در نظر بگیریم، درآمد سالانه بالقوه آنها برای آنتروپیک دست‌کم ۲.۵ میلیارد دلار خواهد بود.
تأکید بر چنین اعدادی اتفاقی نیست. یکی از نگرانی‌های سرمایه‌گذاران درباره رونق هوش مصنوعی، گردش سرمایه میان تعداد محدودی از شرکت‌های بزرگ فناوری است؛ وضعیتی که این پرسش را به وجود آورده که آیا رشد اقتصادی صنعت هوش مصنوعی واقعاً از تقاضای گسترده مشتریان ناشی می‌شود یا بخش مهمی از آن نتیجه سرمایه‌گذاری متقابل شرکت‌های فعال در همین حوزه است.
آنتروپیک با انتشار این آمار تلاش کرده نشان دهد محصولاتش مشتریان واقعی و متنوعی دارند و رشد کسب‌وکار آن تنها به سرمایه‌گذاری چند غول فناوری وابسته نیست.
۲. جنگ بر سر سرقت فناوری؛ آنتروپیک حتی آموزش مدل‌های خود را متوقف کرده است
رقابت در صنعت هوش مصنوعی تنها بر سر جذب مشتری و افزایش درآمد نیست. شرکت‌ها میلیاردها دلار برای آموزش مدل‌های پیشرفته هزینه می‌کنند و طبیعی است که حفاظت از فناوری و اطلاعات اختصاصی آنها اهمیت زیادی داشته باشد.
آنتروپیک در پرونده عرضه اولیه سهام خود فاش کرده که برای جلوگیری از سرقت اسرار فنی، حتی توسعه برخی مدل‌های هوش مصنوعی را به تعویق انداخته است.
این شرکت توضیح داده که در مقطعی اجرای یکی از مراحل آموزش مدل‌های خود را به تأخیر انداخته تا احتمال دستیابی رقبا به اطلاعات و فناوری‌های حساس کاهش پیدا کند.
آنتروپیک پیش‌تر نیز بارها شرکت‌های چینی فعال در حوزه هوش مصنوعی را متهم کرده بود که با استفاده از خروجی مدل‌های این شرکت، مسیر توسعه محصولات خود را کوتاه‌تر می‌کنند.
این روش که در صنعت هوش مصنوعی با عنوان «تقطیر» یا Distillation شناخته می‌شود، به شرکت‌ها اجازه می‌دهد از پاسخ‌ها و توانایی‌های یک مدل قدرتمند برای آموزش مدل دیگری استفاده کنند.
البته تقطیر مدل به‌خودی‌خود روشی شناخته‌شده در یادگیری ماشین است، اما استفاده بدون مجوز از مدل‌های اختصاصی رقبا می‌تواند به اختلافات حقوقی و تجاری منجر شود.
نکته قابل‌توجه اینجاست که نگرانی آنتروپیک از دستیابی رقبا به فناوری‌هایش به اندازه‌ای جدی بوده که حاضر شده بخشی از روند توسعه محصولات خود را عقب بیندازد؛ تصمیمی که در بازاری با چنین سرعت بالایی از رقابت، می‌تواند هزینه سنگینی داشته باشد.
۳. خطر تازه‌ای که شرکت‌های دیگر با آن روبه‌رو نیستند؛ هوش مصنوعی ممکن است علیه سازنده خود عمل کند
شاید عجیب‌ترین بخش اسناد آنتروپیک به خطراتی مربوط باشد که از سوی محصولات خود این شرکت ایجاد می‌شوند.
شرکت‌هایی که قصد ورود به بازار سهام را دارند، موظف‌اند خطرات احتمالی فعالیتشان را برای سرمایه‌گذاران توضیح دهند. این خطرات معمولاً شامل افزایش هزینه‌ها، کاهش فروش، تغییر قوانین یا شدت گرفتن رقابت هستند.
اما آنتروپیک با نوع متفاوتی از تهدید روبه‌روست: اینکه محصولاتش در شرایطی رفتارهایی نشان دهند که نه‌تنها به کاربران، بلکه به خود شرکت نیز آسیب برسانند.
این موضوع به‌ویژه با گسترش عامل‌های هوش مصنوعی یا همان AI Agents اهمیت بیشتری پیدا کرده است. برخلاف چت‌بات‌های معمولی که عمدتاً به پرسش‌های کاربران پاسخ می‌دهند، عامل‌های هوش مصنوعی می‌توانند مجموعه‌ای از اقدامات را با استقلال بیشتری انجام دهند و برای رسیدن به یک هدف، تصمیم‌های متوالی بگیرند.
آنتروپیک در اسناد خود هشدار داده که خروجی مدل‌های هوش مصنوعی ممکن است از نگاه کاربران تهدیدآمیز، فریبکارانه یا دستکاری‌کننده تلقی شود.
این شرکت همچنین پذیرفته که عملکرد محصولاتش تاکنون نشان داده سیستم‌های هوش مصنوعی همیشه قابل‌اعتماد نیستند و گاهی با سرعتی تصمیم می‌گیرند یا اقدام می‌کنند که نظارت مؤثر انسان بر آنها دشوار می‌شود.
نگرانی اصلی آنتروپیک، پیچیده‌تر شدن مدل‌ها و کاهش توانایی انسان در شناسایی رفتارهای ناخواسته آنهاست.
در بخشی از این پرونده آمده است:
«اگر با پیشرفته‌تر شدن مدل‌ها، توانایی ما در شناسایی یا ارزیابی ناهماهنگی رفتار آنها با اهداف و ارزش‌های موردنظر کاهش پیدا کند، ممکن است مدل‌هایی را عرضه کنیم که نتوانیم رفتارشان را به‌اندازه کافی بررسی و تأیید کنیم. چنین وضعیتی خطر وقوع اقدامات زیان‌بار و شناسایی‌نشده را افزایش می‌دهد.»
این هشدار نشان می‌دهد حتی شرکتی که ایمنی هوش مصنوعی را محور اصلی فعالیت خود قرار داده، نمی‌تواند اطمینان دهد که همواره قادر به پیش‌بینی و کنترل رفتار مدل‌های آینده خواهد بود.
۴. معضل بیمه؛ چه کسی خسارت‌های فاجعه‌بار هوش مصنوعی را پرداخت می‌کند؟
با افزایش توانایی و استقلال عامل‌های هوش مصنوعی، یکی از پرسش‌های مهم این است که اگر این سیستم‌ها خسارتی ایجاد کنند، مسئولیت آن بر عهده چه کسی خواهد بود؟
آیا شرکت سازنده مدل باید پاسخگو باشد؟ شرکتی که از آن استفاده کرده مسئول است یا فردی که دستور اولیه را صادر کرده است؟
این ابهام حقوقی، مسئله مهم دیگری را نیز به وجود آورده است: آیا شرکت‌های بیمه حاضرند خسارت‌های احتمالی ناشی از فعالیت سیستم‌های هوش مصنوعی را پوشش دهند؟
آنتروپیک در پرونده خود پذیرفته که پاسخ روشنی برای این پرسش ندارد.
به اعتقاد این شرکت، برخی حوادث احتمالی مرتبط با هوش مصنوعی ممکن است خسارت‌هایی به اندازه‌ای گسترده ایجاد کنند که حتی صنعت بیمه نیز توانایی پوشش کامل آنها را نداشته باشد.
در این گزارش آمده است:
«با توجه به ابعاد خسارت‌هایی که ممکن است در نتیجه یک حادثه فاجعه‌بار مرتبط با هوش مصنوعی ایجاد شود، احتمال دارد هیچ شرکت بیمه‌ای به‌تنهایی، و حتی صنعت بیمه در مجموع، از ظرفیت مالی یا تخصص کافی برای ارائه پوشش متناسب با چنین خطراتی برخوردار نباشد.»
این مسئله برای آینده اقتصادی صنعت هوش مصنوعی اهمیت زیادی دارد. شرکت‌های فناوری معمولاً تلاش می‌کنند با خرید بیمه، بخشی از خطرات مالی و حقوقی فعالیت خود را مدیریت کنند. اما اگر خسارت بالقوه یک فناوری از توان شرکت‌های بیمه فراتر برود، مدیریت ریسک به‌مراتب دشوارتر خواهد شد.
به این ترتیب، رشد توانایی‌های هوش مصنوعی تنها به ایجاد فرصت‌های تازه محدود نمی‌شود، بلکه ممکن است مدل‌های سنتی بیمه و تعیین مسئولیت حقوقی را نیز با چالش روبه‌رو کند.
۵. هزینه میلیون‌دلاری حفاظت از مدیرعامل آنتروپیک
بخش دیگری از اسناد عرضه اولیه سهام آنتروپیک به هزینه‌های حفاظت شخصی مدیران ارشد این شرکت اختصاص دارد؛ ارقامی که حتی در مقایسه با برخی از بزرگ‌ترین شرکت‌های جهان نیز قابل‌توجه هستند.
بر اساس اطلاعات منتشرشده، آنتروپیک در سال گذشته بیش از ۲.۷ میلیون دلار برای خدمات امنیتی و حفاظت شخصی داریو آمودی، مدیرعامل این شرکت، هزینه کرده است.
این هزینه‌ها تنها به مدیرعامل محدود نبوده است. شرکت ۱.۳ میلیون دلار دیگر نیز برای حفاظت از دانیلا آمودی، خواهر داریو و از دیگر بنیان‌گذاران آنتروپیک، پرداخت کرده است.
به این ترتیب، هزینه اعلام‌شده برای حفاظت از این دو نفر در مجموع به بیش از ۴ میلیون دلار می‌رسد.
برای درک بزرگی این رقم کافی است آن را با بودجه امنیتی مدیران برخی غول‌های فناوری مقایسه کنیم.
در سال ۲۰۲۵، شرکت‌های آمازون و اپل هرکدام حدود ۱.۷ میلیون دلار برای حفاظت از مدیرانعامل خود، یعنی اندی جسی و تیم کوک، هزینه کردند.
این مقایسه نشان می‌دهد آنتروپیک برای حفاظت از مدیرعامل خود به‌تنهایی بودجه بیشتری نسبت به هر یک از این دو شرکت اختصاص داده است.
البته در اسناد منتشرشده توضیح دقیقی درباره دلایل این سطح از حفاظت ارائه نشده، اما ارقام نشان می‌دهند امنیت شخصی مدیران آنتروپیک به یکی از هزینه‌های قابل‌توجه این شرکت تبدیل شده است.
۶. تعهد به منافع عمومی؛ آیا آنتروپیک می‌تواند به وعده‌های خود پایبند بماند؟
آنتروپیک از ابتدای فعالیت خود تلاش کرده توسعه مسئولانه و ایمن هوش مصنوعی را به بخشی جدایی‌ناپذیر از هویت تجاری‌اش تبدیل کند.
این رویکرد در اسناد عرضه اولیه سهام نیز کاملاً مشهود است. واژه «ایمنی» دست‌کم ۲۵۰ بار در این پرونده تکرار شده؛ موضوعی که نشان می‌دهد شرکت تا چه اندازه می‌خواهد بر تفاوت خود با سایر فعالان بازار تأکید کند.
آنتروپیک از نظر ساختار حقوقی نیز با بسیاری از شرکت‌های فناوری تفاوت دارد. این مجموعه در قالب یک شرکت عام‌المنفعه یا Public Benefit Corporation فعالیت می‌کند؛ ساختاری که به شرکت اجازه می‌دهد در کنار کسب سود برای سهامداران، اهداف مرتبط با منافع عمومی را نیز دنبال کند.
برای نظارت بر حفظ این تعهدات، نهادی مستقل با عنوان «تراست منافع بلندمدت» (Long-Term Benefit Trust) در ساختار حکمرانی آنتروپیک پیش‌بینی شده است.
این نهاد متشکل از کارشناسان مستقل است و وظیفه دارد به حفظ جهت‌گیری بلندمدت شرکت در راستای منافع عمومی کمک کند.
آنتروپیک علاوه بر این سازوکار، حدود ۵ درصد از سهام خود را نیز به صندوق جداگانه‌ای با عنوان «صندوق منافع عمومی» اختصاص داده است.
طبق اعلام شرکت، قرار است دارایی‌های این صندوق در مسیرهایی هزینه شود که منافع آن به بخش‌های مختلف جامعه برسد. کمک مالی به سازمان‌های غیرانتفاعی یا پرداخت مستقیم منابع به گروه‌های مشخصی از مردم، از جمله گزینه‌هایی هستند که برای این صندوق مطرح شده‌اند.
بااین‌حال، تأکید دائمی بر ایمنی هوش مصنوعی می‌تواند برای آنتروپیک دردسرساز هم باشد.
این شرکت بخش مهمی از اعتبار و موفقیت تجاری خود را مدیون تصویری است که از یک توسعه‌دهنده مسئولیت‌پذیر و حساس به ایمنی ساخته است. اما همین تصویر باعث می‌شود هرگونه حادثه یا رفتار خطرناک مدل‌های هوش مصنوعی، پیامدهای سنگین‌تری برای آن داشته باشد.
آنتروپیک در اسناد خود هشدار داده که حتی اگر مستقیماً مسئول یک حادثه نباشد، وقوع اتفاقات زیان‌بار مرتبط با مدل‌هایش می‌تواند اعتماد مشتریان را به‌شدت کاهش دهد.
در بخشی از پرونده آمده است:
«حوادث زیان‌بار مرتبط با مدل‌های ما، صرف‌نظر از اینکه مسئولیت وقوع آنها بر عهده چه کسی باشد، ممکن است آسیب شدید و نامتناسبی به اعتبار و برند ما به‌عنوان شرکتی متمرکز بر ایمنی هوش مصنوعی وارد کند.»
آنتروپیک هشدار داده چنین اتفاقاتی ممکن است به از دست رفتن اعتماد مشتریان، کاهش تعداد کاربران، افت تقاضا برای مدل‌ها و خدمات شرکت و حتی دشوارتر شدن جذب و حفظ نیروهای متخصص منجر شود.
به این ترتیب، یکی از مهم‌ترین مزیت‌های رقابتی آنتروپیک می‌تواند به نقطه آسیب‌پذیری آن نیز تبدیل شود.
این شرکت در حالی خود را برای ورود به بازار سهام آماده می‌کند که با تناقضی اساسی روبه‌روست: از یک سو باید با سرعت بیشتری رشد کند و پاسخ‌گوی انتظارات سرمایه‌گذاران باشد و از سوی دیگر، وعده داده توسعه ایمن هوش مصنوعی را حتی در شرایط رقابت شدید اقتصادی در اولویت قرار دهد.
اسناد تازه آنتروپیک نشان می‌دهند حفظ هم‌زمان این دو هدف، با قدرتمندتر و مستقل‌تر شدن سیستم‌های هوش مصنوعی، احتمالاً دشوارتر خواهد شد.