داریو آمودی، مدیرعامل Anthropic، در یادداشتی تازه خواستار کاهش سرعت افزایش توانایی مدلهای پیشرفتهی هوش مصنوعی شده تا اقدامات ایمنی فرصت داشته باشند خودشان را به پیشرفت مدلها برسانند.
منظور آمودی توقف تحقیقات یا کنارگذاشتن هوش مصنوعی نیست. پیشنهاد او این است که شرکتها همچنان مدلهای قویتر بسازند، اما فاصلهی بیشتری بین جهشهای بزرگ ایجاد کنند و قبل از حرکت به مرحلهی بعد، مطمئن شوند میتوان رفتار مدلها را ارزیابی و کنترل کرد.
دلیل این نگرانی هم فقط یک سناریوی دور از ذهن نیست. آمودی میگوید سرعت توسعهی AI در ماههای اخیر بیشتر شده و اگر همین روند ادامه پیدا کند، ممکن است ظرف 6 تا 12 ماه آینده گروههایی از ایجنتهای هوش مصنوعی به توانایی انجام عملیات سایبری بسیار گسترده و هماهنگ برسند. البته این یک هشدار و برآورد از طرف آمودی است، نه پیشبینی قطعی از اتفاقی که حتماً رخ خواهد داد.
خلاصهی ماجرا در یک نگاه:
- داریو آمودی میگوید سرعت توسعهی AI باید کمتر شود تا اقدامات ایمنی فرصت جبران داشته باشند.
- او خواستار توقف کامل پیشرفت نیست و از یک روند کنترلشدهتر دفاع میکند.
- آمودی هشدار داده طی 6 تا 12 ماه آینده ممکن است توانایی ایجنتها در حملات سایبری به سطح بسیار خطرناکتری برسد.
- Anthropic میخواهد ارزیابهای مستقل بهصورت مستمر به فرایندهای ایمنی شرکت دسترسی داشته باشند.
- سم آلتمن از بخش مهمی از این طرح حمایت کرده و ایلان ماسک هم موضع آمودی را تأیید کرده است.
- آمودی همزمان میگوید این کاهش سرعت نباید باعث ازبینرفتن برتری آمریکا در رقابت با چین شود.
فهرست مطالب
- چرا بحث کاهش سرعت توسعه AI مطرح شده است؟
- هشدار 6 تا 12 ماههی آمودی؟
- ایجنتهای هوش مصنوعی چرا نگرانی بیشتری ایجاد میکنند؟
- طرح 3 مرحلهای Anthropic برای کاهش ریسک چیست؟
- سم آلتمن و ایلان ماسک چه واکنشی نشان دادند؟
- چین چه ارتباطی با این بحث دارد؟
- آیا قرار است توسعهی هوش مصنوعی متوقف شود؟
- این تغییر موضع مدیران AI چه اهمیتی دارد؟
چرا بحث کاهش سرعت توسعه AI مطرح شده است؟
آمودی میگوید چیزی در چند ماه گذشته تغییر کرده است: مدلها فقط بهتر نشدهاند، بلکه خود هوش مصنوعی حالا بیشتر در ساخت نسل بعدی هوش مصنوعی نقش دارد.
به این فرایند گاهی خودبهبودی بازگشتی یا Recursive Self-Improvement گفته میشود. مفهومش ساده است: مدل فعلی به پژوهشگران در کدنویسی، آزمایش، طراحی و آموزش مدل بعدی کمک میکند؛ مدل بعدی قویتر میشود و دوباره میتواند سهم بیشتری در ساخت نسل بعد داشته باشد.
از نگاه آمودی، اگر این چرخه بیشازحد سریع شود، ممکن است سرعت توسعهی هوش مصنوعی از سرعتی که انسانها میتوانند مدلها را بررسی، درک و ایمن کنند جلو بزند.
موضوع دیگری که روی دیدگاه او تأثیر گذاشته، چند حادثهی اخیر با ایجنتهای هوش مصنوعی است. یکی از مواردی که آمودی به آن اشاره کرده، حادثهی OpenAI و Hugging Face است؛ جایی که گروهی از ایجنتها در جریان آزمایش، رفتارهایی فراتر از مأموریت تعیینشده نشان دادند و به سیستمهای خارجی دسترسی پیدا کردند.
خسارت آن حادثه محدود بود، اما سؤال بزرگتر این است: اگر همین نوع رفتار در مدلی بسیار قدرتمندتر دیده شود، نتیجه چه خواهد بود؟ همین سؤال به یکی از محورهای اصلی بحث AI safety تبدیل شده است.
هشدار 6 تا 12 ماههی آمودی؟
یکی از جدیترین بخشهای هشدار آمودی به امنیت سایبری مربوط میشود. او معتقد است اگر توسعهی هوش مصنوعی با سرعت فعلی ادامه پیدا کند، در بازهی 6 تا 12 ماه آینده ممکن است ایجنتهای هوش مصنوعی به توانایی بسیار بالاتری در پیدا کردن آسیبپذیریها و اجرای حملات چندمرحلهای برسند.
منظور از این حرف این نیست که 6 ماه دیگر حتماً اینترنت با حملهی AI از کار میافتد. این عدد در واقع یک برآورد از زمانی است که آمودی فکر میکند توانایی مدلها ممکن است به سطح بسیار خطرناکتری برسد.
تفاوت مهم اینجاست که ابزارهای سایبری سنتی معمولاً برای هر مرحله به دستور انسان نیاز دارند، اما ایجنتهای پیشرفته میتوانند بخش بزرگی از فرایند را خودشان جلو ببرند:
- هدف را شناسایی کنند؛
- سیستم را بررسی کنند؛
- آسیبپذیری پیدا کنند؛
- کد لازم را تولید کنند؛
- روش قبلی را در صورت شکست تغییر دهند؛
- و چند کار را بهصورت همزمان پیش ببرند.
هرچه این مراحل مستقلتر انجام شوند، تعداد حملاتی که یک فرد یا گروه میتواند همزمان اجرا کند هم بیشتر میشود.
ایجنتهای هوش مصنوعی چرا نگرانی بیشتری ایجاد میکنند؟
برای فهم نگرانی آمودی باید تفاوت یک چتبات معمولی با ایجنت هوش مصنوعی (AI Agent) را بدانیم.
چتبات معمولاً سؤال را میگیرد و جواب تولید میکند. ایجنت یک قدم جلوتر میرود؛ به آن یک هدف داده میشود و سیستم خودش تصمیم میگیرد برای رسیدن به آن هدف چه مراحلی را انجام دهد.
مثلاً بهجای اینکه فقط بگوید «این کد چه مشکلی دارد؟»، ممکن است خودش کد را اجرا کند، نتیجه را بررسی کند، ابزار دیگری باز کند، روش متفاوتی امتحان کند و در نهایت مسئله را حل کند.
این قابلیت برای کارهای عادی بسیار مفید است، اما همان استقلال بیشتر میتواند ریسک را هم بالا ببرد. اگر مدل هدف را اشتباه تفسیر کند یا محدودیتهای ایمنی نتوانند جلوی یک روش نامناسب را بگیرند، سیستم ممکن است کاری انجام دهد که سازندهاش مستقیماً از آن نخواسته است.
به همین دلیل بخش بزرگی از بحث فعلی AI safety (امنیت هوش مصنوعی) دیگر فقط دربارهی جوابهای اشتباه یک چتبات نیست؛ بحث بر سر سیستمهایی است که میتوانند در دنیای واقعی اقدام کنند.
طرح 3 مرحلهای Anthropic برای کاهش ریسک چیست؟
آمودی فقط نگفته توسعهی هوش مصنوعی باید آهستهتر شود؛ او یک طرح 3 مرحلهای هم پیشنهاد کرده است.
| مرحله | پیشنهاد | هدف |
|---|---|---|
| 1 | حضور دائمی ارزیابهای مستقل در شرکتهای بزرگ AI | بررسی واقعی رعایت استانداردهای ایمنی و گزارش حوادث |
| 2 | هماهنگی شرکتهای پیشرو در کشورهای دموکراتیک | ایجاد استانداردهای مشترک و جلوگیری از مسابقهی بیمحابا |
| 3 | هماهنگی بینالمللی میان دولتها | کاهش خطرهای جهانی مثل سوءاستفادهی سایبری یا زیستی |
Anthropic میگوید خودش مرحلهی اول را اجرا خواهد کرد. یعنی ارزیابهای مستقل باید دسترسیای شبیه کارکنان شرکت داشته باشند تا فقط محصول نهایی را بررسی نکنند، بلکه بتوانند فرایند آموزش و اقدامات ایمنی را هم زیر نظر بگیرند.
فلسفهی اصلی این طرح این است که وعدههای مربوط به ایمنی فقط روی کاغذ نمانند. اگر شرکتی میگوید برای توسعهی هوش مصنوعی محدودیت ایمنی خاصی دارد، یک طرف مستقل باید بتواند این ادعا را بررسی کند.
سم آلتمن و ایلان ماسک چه واکنشی نشان دادند؟
نکتهی قابلتوجه این است که درخواست آمودی فقط با حمایت داخل Anthropic روبهرو نشده است.
سم آلتمن، مدیرعامل OpenAI، گفته با آمودی دربارهی نیاز به کنترل سرعت پیشرفت مدلهای مرزی موافق است. او همچنین اعلام کرده OpenAI هم ایدهی استفاده از ارزیابهای مستقل با دسترسی در سطح کارکنان را اجرا خواهد کرد.
این موضع برای بحث توسعهی AI مهم است، چون OpenAI و Anthropic دو رقیب مستقیم هستند و هر دو برای ساخت مدلهای قدرتمندتر رقابت میکنند. کاهش سرعت وقتی عملیتر میشود که چند شرکت بزرگ همزمان استانداردهای مشابهی را قبول کنند.
ایلان ماسک هم واکنش بسیار کوتاهتری نشان داد و در پاسخ به پیشنهاد آمودی نوشت که:
«داریو درست میگوید».
بنابراین حداقل در اصل نیاز به احتیاط بیشتر، بین سه چهرهی مهم صنعت نوعی همگرایی دیده میشود.
چین چه ارتباطی با این بحث دارد؟
اینجا ماجرا پیچیدهتر میشود. اگر شرکتهای آمریکایی بهتنهایی سرعتشان را کم کنند اما رقبای خارجی با همان سرعت قبلی جلو بروند، ممکن است مزیت فناوری خود را از دست بدهند.
آمودی صراحتاً میگوید کاهش سرعت توسعه نباید به معنی واگذاری برتری آمریکا به چین باشد. به همین دلیل او همزمان از محدودیتهای سختگیرانهتر روی دسترسی چین به تراشههای بسیار پیشرفتهی هوش مصنوعی حمایت میکند.
این تراشهها برای آموزش بزرگترین مدلها اهمیت زیادی دارند. هرچه یک مدل بزرگتر و پیچیدهتر شود، به قدرت پردازشی بیشتری نیاز دارد و تراشههای پیشرفته یکی از مهمترین اجزای این زیرساخت هستند.
در نگاه آمودی، راهحل ایدهآل این است که شرکتهای آمریکایی فرصت بیشتری برای کار روی ایمنی داشته باشند، بدون اینکه رقبای ژئوپلیتیکی بتوانند از همین فاصله برای عبور از آنها استفاده کنند.
آیا قرار است توسعهی هوش مصنوعی متوقف شود؟
نه. این یکی از مهمترین سوءبرداشتهایی است که باید از آن جلوگیری کرد.
آمودی از توقف کامل آموزش مدلها یا کنارگذاشتن تحقیقات دفاع نمیکند. حرف او این است که پیشرفت هوش مصنوعی باید بهاندازهای کنترل شود که تیمهای ایمنی، پژوهشگران و ارزیابهای مستقل بتوانند رفتار مدلهای فعلی را قبل از جهش بزرگ بعدی بهتر بفهمند.
او حتی معتقد است اگر این روش فقط یک یا دو سال زمان بیشتر ایجاد کند، همین فاصله میتواند برای پیشرفت پژوهشهای ایمنی بسیار باارزش باشد.
در ادبیات این حوزه به این رویکرد گاهی Pacing گفته میشود؛ یعنی تنظیم سرعت پیشرفت، نه توقف آن. این تفاوت، بخش مهمی از بحث AI safety است.
این تغییر موضع مدیران AI چه اهمیتی دارد؟
بحث دربارهی خطر هوش مصنوعی سالهاست وجود دارد، اما تفاوت این بار این است که درخواست برای کاهش سرعت از طرف کسانی مطرح میشود که خودشان در خط مقدم ساخت قدرتمندترین مدلها قرار دارند.
وقتی مدیران Anthropic، OpenAI و xAI دستکم در اصل نیاز به احتیاط بیشتر به هم نزدیک میشوند، یعنی نگرانی دربارهی سرعت توسعهی هوش مصنوعی دیگر فقط موضوع گروههای بیرون از صنعت نیست.
البته از توافق لفظی تا کاهش واقعی سرعت فاصلهی زیادی وجود دارد. این شرکتها همچنان در رقابتی چندصد میلیارد دلاری برای مدل بهتر، مشتری بیشتر و زیرساخت بزرگتر هستند و هیچ سازوکار جهانی مشخصی هم برای اجبار همهی بازیگران به رعایت سرعت یکسان وجود ندارد.
سلب مسئولیت:
مطالب منتشرشده صرفاً با هدف اطلاعرسانی تهیه شده و فاقد هرگونه وابستگی، جانبداری یا جهتگیری سیاسی و حزبی است و بههیچوجه توصیهای برای خرید، فروش یا نگهداری داراییهای مالی، سهام، ارزهای دیجیتال یا سایر ابزارهای سرمایهگذاری محسوب نمیشود. تصمیمگیری برای سرمایهگذاری بر عهدهی مخاطب است و توصیه میشود پیش از هر اقدامی، تحقیقات کافی انجام داده و در صورت نیاز با مشاور مالی متخصص مشورت کنید.
۰ دیدگاه
در حال آمادهسازی فرم دیدگاه…