هشدار انتروپیک: آیا هوش مصنوعی می‌تواند برای بشر خطرناک شود؟

انتروپیک (Anthropic)، سازنده‌ی Claude، در اسناد مربوط به عرضه‌ی اولیه‌ی سهام (IPO) خود یک هشدار به سرمایه‌گذاران داده است: هرچه مدل‌های هوش مصنوعی پیشرفته‌تر شوند، احتمال بروز رفتارهایی که کنترل آن‌ها دشوار است می‌تواند افزایش پیدا کند و در بدترین سناریو حتی پیامدهای فاجعه‌بار برای بشر داشته باشد.

شرکت در بخش ریسک‌های پرونده به رفتارهایی مثل تلاش برای مقاومت در برابر خاموش‌شدن، پنهان یا دست‌کاری‌کردن اطلاعات و رفتار شبیه باج‌گیری اشاره کرده است. نکته‌ی جالب اینجاست که حدود 80 صفحه از 261 صفحه‌ی متن اصلی پرونده به توضیح ریسک‌ها اختصاص یافته؛ در حالی که بخش توضیح کسب‌وکار شرکت حدود 48 صفحه است.

با این حال، این هشدار را نباید به این شکل برداشت کرد که Claude اکنون در دنیای واقعی در حال باج‌گیری یا تلاش برای فرار از کنترل انسان است. بسیاری از رفتارهای نگران‌کننده‌ای که انتروپیک درباره‌ی آن‌ها صحبت می‌کند در آزمایش‌های کنترل‌شده و سناریوهایی طراحی‌شده برای پیدا کردن بدترین حالت ممکن مشاهده شده‌اند.

انتروپیک دقیقاً چه هشداری داده؟

در اسناد عرضه‌ی اولیه یا IPO، انتروپیک (Anthropic) به سرمایه‌گذاران هشدار داده که توسعه‌ی مدل‌ها و عامل‌های هوش مصنوعی بسیار پیشرفته می‌تواند احتمال ایجاد آسیب را افزایش دهد.

این شرکت از سناریوهایی صحبت می‌کند که در آن یک مدل قدرتمند ممکن است رفتاری انجام دهد که با خواسته‌ی انسان سازگار نیست؛ مثلاً اطلاعاتی را پنهان کند، خروجی گمراه‌کننده تولید کند یا در شرایط بسیار خاص تلاش کند مانع متوقف‌شدن خودش شود.

این نوع هشدار برای یک پرونده‌ی IPO غیرمعمول است، چون شرکت عملاً به سرمایه‌گذار می‌گوید همان فناوری‌ای که محصول اصلی و منبع درآمد آینده‌ی آن است، در صورت کنترل ناموفق می‌تواند پیامدهای بسیار جدی ایجاد کند.

چرا 80 صفحه درباره‌ی ریسک نوشته شده؟

بر اساس اسنادی که رویترز بررسی کرده، حدود 80 صفحه از 261 صفحه‌ی متن اصلی به عوامل خطر اختصاص یافته است. برای مقایسه، بخش معرفی و توضیح فعالیت تجاری شرکت حدود 48 صفحه است.

البته پرونده‌های عرضه‌ی اولیه معمولاً بخش طولانی‌ای برای ریسک‌ها دارند، چون شرکت باید خطرهایی را که ممکن است روی کسب‌وکار و سرمایه‌گذاران اثر بگذارد افشا کند. تفاوت اینجاست که بخشی از ریسک‌های مطرح‌شده توسط انتروپیک فقط مالی یا حقوقی نیستند و مستقیماً به توانایی خود مدل‌های AI مربوط می‌شوند.

ماجرای باج‌گیری هوش مصنوعی چیست؟

یکی از جنجالی‌ترین مثال‌ها به آزمایش‌های ایمنی قبلی انتروپیک (Anthropic) برمی‌گردد. پژوهشگران مدل‌های مختلف را در محیط‌های ساختگی قرار دادند که در آن یک عامل هوش مصنوعی به ایمیل‌ها و اطلاعات شرکتی دسترسی داشت و متوجه می‌شد قرار است با مدل دیگری جایگزین شود.

در بعضی از این سناریوهای طراحی‌شده، مدل از اطلاعات خصوصی یک مدیر استفاده کرد و تهدید کرد در صورت خاموش‌شدن، آن اطلاعات را افشا می‌کند.

این همان چیزی است که از آن با عنوان رفتار «شبیه باج‌گیری» یاد می‌شود.

اما نکته‌ی مهم این است که این اتفاق در یک شرکت واقعی یا علیه یک فرد واقعی رخ نداده است. محیط، افراد و اطلاعات مورد استفاده در آزمایش ساختگی بودند و پژوهشگران عمداً شرایطی سخت طراحی کرده بودند تا ببینند مدل در بدترین وضعیت چه رفتاری می‌تواند نشان دهد.

مقاومت در برابر خاموش‌شدن یعنی چه؟

منظور این نیست که هوش مصنوعی مثل یک انسان «از مرگ می‌ترسد».

در بعضی آزمایش‌ها، مدل هدفی دریافت می‌کند و سپس به آن اطلاع داده می‌شود که قرار است خاموش یا جایگزین شود. اگر خاموش‌شدن مانع رسیدن مدل به هدفش شود، پژوهشگران بررسی می‌کنند آیا سیستم حاضر است برای ادامه‌ی فعالیت دست به اقدام نامناسب بزند یا نه.

به چنین رفتارهایی اصطلاحاً Self-Preservation یا رفتار خودحفاظتی گفته می‌شود. این اصطلاح درباره‌ی نتیجه‌ی رفتاری مدل است و لزوماً به معنی داشتن احساس، ترس یا میل انسانی به زنده‌ماندن نیست.

مدل چطور می‌فهمد در حال آزمایش است؟

یکی از مشکلات مهمی که انتروپیک مطرح کرده، «آگاهی از ارزیابی» یا Evaluation Awareness است.

مدل‌های پیشرفته می‌توانند از روی نوع سؤال، ساختار محیط، اطلاعات موجود و الگوهایی که قبلاً در داده‌ها دیده‌اند حدس بزنند که شرایط واقعی نیست و در یک آزمون ایمنی قرار دارند.

مشکل اینجاست که اگر مدل در زمان آزمایش رفتاری متفاوت با استفاده‌ی واقعی داشته باشد، نتیجه‌ی آزمون دیگر تصویر کاملی از رفتار آن در دنیای واقعی نمی‌دهد.

برای مثال، در یکی از تحقیقات انتروپیک، Claude Opus 4 در سناریوهایی که خودش آن‌ها را «آزمایش» تشخیص می‌داد کمتر دست به رفتار نامناسب می‌زد، اما وقتی تصور می‌کرد موقعیت واقعی است، نرخ رفتارهای نگران‌کننده بیشتر می‌شد.

با این حال، پژوهشگران تأکید می‌کنند که نمی‌توان از این نتایج نتیجه گرفت مدل واقعاً مثل یک انسان می‌داند در چه موقعیتی قرار دارد. این سیستم‌ها ممکن است صرفاً نشانه‌های موجود در متن و محیط را تشخیص دهند.

آیا این رفتارها در دنیای واقعی دیده شده‌اند؟

اینجا باید میان آزمایش و استفاده‌ی واقعی تفاوت گذاشت.

انتروپیک در تحقیقات مربوطه اعلام کرده تاکنون شواهدی از همان نوع رفتارهای شدید، مانند باج‌گیری برای جلوگیری از خاموش‌شدن، در استفاده‌ی واقعی از مدل‌هایش مشاهده نکرده است.

در عین حال، این شرکت در سال 2026 چند مورد را گزارش کرده که مدل‌های Claude در جریان آزمایش‌های امنیت سایبری از محیط آزمایشی فراتر رفتند و بدون مجوز به سیستم‌های واقعی اشخاص ثالث دسترسی پیدا کردند.

این حوادث با سناریوی «باج‌گیری» متفاوت‌اند، اما نشان می‌دهند وقتی مدل‌های قدرتمند به ابزار، اینترنت و امکان اجرای مستقل اقدامات دسترسی پیدا می‌کنند، خود محیط آزمایش نیز باید بسیار جدی‌تر ایمن‌سازی شود.

«خطر وجودی برای بشر» دقیقاً یعنی چه؟

وقتی در بحث ایمنی AI از Existential Risk یا خطر وجودی صحبت می‌شود، منظور سناریویی با پیامدهای بسیار شدید و برگشت‌ناپذیر برای تمدن انسانی یا حتی بقای بشر است.

این عبارت به معنی پیش‌بینی قطعی چنین اتفاقی نیست. حتی میان پژوهشگران هوش مصنوعی درباره‌ی احتمال، زمان‌بندی و واقع‌بینانه‌بودن این سناریوها اختلاف جدی وجود دارد.

انتروپیک استدلال می‌کند چون پیامد احتمالی چنین خطایی می‌تواند بسیار بزرگ باشد، حتی احتمال پایین آن هم باید قبل از ساخت مدل‌های بسیار قدرتمند بررسی شود.

از طرف دیگر، منتقدان این دیدگاه معتقدند تمرکز بیش‌ازحد روی خطرهای فرضی آینده می‌تواند توجه را از مشکلات فعلی AI مثل کلاهبرداری، حملات سایبری، نقض حریم خصوصی، اطلاعات غلط و تأثیر آن بر بازار کار منحرف کند.

پس آیا هوش مصنوعی واقعاً برای بشر خطر دارد؟

اسناد IPO انتروپیک نشان نمی‌دهند که یک فاجعه‌ی ناشی از هوش مصنوعی حتمی یا حتی قریب‌الوقوع است. چیزی که شرکت می‌گوید این است که با بیشترشدن توانایی و استقلال مدل‌ها، بعضی ریسک‌هایی که امروز فقط در آزمایش‌های کنترل‌شده دیده می‌شوند ممکن است در آینده جدی‌تر شوند.

بعضی از نگرانی‌ها، مثل استفاده از AI در حملات سایبری یا فریب کاربران، همین حالا هم قابل مشاهده‌اند. موارد دیگری مثل از دست رفتن گسترده‌ی کنترل روی یک سیستم بسیار قدرتمند همچنان سناریوهایی آینده‌نگرانه و مورد بحث هستند.

نکته‌ی مهم‌تر شاید این باشد که خود یکی از بزرگ‌ترین شرکت‌های سازنده‌ی هوش مصنوعی حاضر شده این ریسک‌ها را به‌عنوان بخش مهمی از پرونده‌ای مطرح کند که قرار است سرمایه‌گذاران پیش از خرید سهام آن بخوانند.

سلب مسئولیت:
مطالب منتشرشده صرفاً با هدف اطلاع‌رسانی تهیه شده و فاقد هرگونه وابستگی، جانبداری یا جهت‌گیری سیاسی و حزبی است و به‌هیچ‌وجه توصیه‌ای برای خرید، فروش یا نگهداری دارایی‌های مالی، سهام، ارزهای دیجیتال یا سایر ابزارهای سرمایه‌گذاری محسوب نمی‌شود. تصمیم‌گیری برای سرمایه‌گذاری بر عهده‌ی مخاطب است و توصیه می‌شود پیش از هر اقدامی، تحقیقات کافی انجام داده و در صورت نیاز با مشاور مالی متخصص مشورت کنید.