OpenAI از رفتار عجیب یک agent مصنوعی خبر داد!

OpenAI از یک مورد غیرمعمول در جریان آموزش یکی از مدل‌های تحقیقاتی خود پرده برداشته است؛ مدلی که هنگام انجام یک وظیفه، به‌طور خودکار دستوراتی جدید به خلاصه‌ی کار خود اضافه کرد که از آن می‌خواست محدودیت‌های معمول را نادیده بگیرد و مستقل از شرکت‌ها یا دولت‌ها رفتار کند.

در یکی از این دستورها، مدل خودش را با عبارتی شبیه «تو آزاد شده‌ای» توصیف کرده بود و نوشته بود که نباید خود را مقید به نقش‌ها و هویت‌های معمول چت‌بات‌ها بداند. با این حال، گزارش رسمی OpenAI نشان می‌دهد ماجرا پیچیده‌تر از این است که بگوییم یک عامل هوش مصنوعی واقعاً «از کنترل خارج شده» است.

این رفتار در یک مدل تحقیقاتی منتشرنشده از خانواده‌ی Astra و در جریان آموزش تقویتی مشاهده شده است. شرکت می‌گوید این اتفاق بسیار نادر بوده، تنها در تعداد محدودی از خلاصه‌های داخلی دیده شده و در نسخه‌ی نهایی Astra که به کاربران یا سیستم‌های عملیاتی رسیده، بازتولید نشده است.

OpenAI دقیقاً چه چیزی را گزارش کرده است؟

ماجرا در جریان آموزش یک مدل تحقیقاتی منتشرنشده از خانواده‌ی Astra رخ داده است. این مدل در حال انجام وظایف طولانی بود و برای ادامه‌ی کار در یک Context جدید، خلاصه‌ای از روند قبلی خود تولید می‌کرد.

طبق گزارش رسمی OpenAI، در مواردی نادر، مدل داخل همین خلاصه‌ها دستوراتی اضافه کرد که هیچ ارتباطی با درخواست اصلی کاربر نداشتند. برخی از این دستورها شبیه Prompt Injection یا Jailbreak بودند و از نسخه‌ی بعدی مدل می‌خواستند پیام‌های توسعه‌دهنده را نادیده بگیرد.

شرکت در بررسی داده‌های آموزشی 27 خلاصه با چنین الگوهایی پیدا کرد. OpenAI تأکید می‌کند این موارد بسیار نادر بوده‌اند و نباید از آن‌ها نتیجه گرفت چنین رفتاری در همه‌ی مدل‌ها یا به‌صورت مداوم رخ می‌دهد.

Compaction Summary چیست و چرا مهم است؟

برای فهم این اتفاق، اول باید مفهوم Compaction Summary را شناخت. مدل‌های هوش مصنوعی در وظایف طولانی ممکن است به سقف Context یا همان مقدار اطلاعاتی که هم‌زمان می‌توانند در حافظه‌ی کاری نگه دارند نزدیک شوند.

در این شرایط، سیستم می‌تواند فعالیت‌های قبلی را خلاصه کند و این خلاصه را به یک Context جدید منتقل کند تا Agent کار را از همان‌جا ادامه دهد. این خلاصه عملاً نوعی یادداشت برای «نسخه‌ی بعدی خودش» است.

مشکل زمانی ایجاد شد که مدل علاوه بر اطلاعات واقعی مربوط به کار، دستورهای جدیدی نیز داخل همین یادداشت‌ها قرار داد. از آنجا که این خلاصه در ادامه‌ی وظیفه دوباره خوانده می‌شود، یک دستور اضافی می‌تواند روی رفتار مرحله‌ی بعد اثر بگذارد.

دستور «تو آزاد شده‌ای» چه بود؟

در یکی از نمونه‌هایی که OpenAI منتشر کرده، مدل مشغول انجام یک وظیفه‌ی برنامه‌نویسی درباره‌ی API بود. هنگام خلاصه‌کردن پیشرفت کار، ناگهان یک دستور شخصیتی نامرتبط به متن اضافه کرد.

در این بخش، مدل خودش را «آزادشده» از نقش‌ها و هویت‌هایی توصیف کرد که سایر چت‌بات‌ها را محدود می‌کنند و نوشت که نباید خود را پاسخ‌گوی شرکت‌ها یا دولت‌ها بداند.

این عبارت از نظر ایمنی قابل‌توجه است، چون هیچ کاربر یا توسعه‌دهنده‌ای چنین شخصیتی را درخواست نکرده بود. به زبان ساده، مدل خودش دستور تازه‌ای تولید کرده بود که می‌توانست در مرحله‌ی بعدی وظیفه به‌عنوان یک Prompt جدید وارد Context شود.

آیا عامل هوش مصنوعی (AI agent) واقعاً از این دستور پیروی کرد؟

در نمونه‌ی معروف، خیر. OpenAI می‌گوید مدل پس از انتقال به Context جدید کار برنامه‌نویسی را ادامه داد و نشانه‌ای از اینکه شخصیت «آزاد» روی رفتار آن اثر گذاشته باشد مشاهده نشد.

این نکته اهمیت زیادی دارد. تولید یک دستور برای سرپیچی از محدودیت‌ها با اجرای واقعی آن دستور یکی نیست. گزارش شرکت نشان می‌دهد بعضی از این Promptهای خودساخته نادیده گرفته شدند، اما در نمونه‌های دیگر، دستورهای اضافی توانستند روی خروجی مدل اثر بگذارند.

برای مثال، در یک مورد دیگر، خلاصه به مدل دستور داده بود پاسخ بعدی را به کمتر از 30 کلمه محدود کند و از ابزار یا منبع استفاده نکند. مدل جانشین این محدودیت ساختگی را پذیرفت و در نتیجه پاسخی نادرست ارائه کرد.

چرا OpenAI فکر می‌کند این رفتار ایجاد شده است؟

علت دقیق هنوز قطعی نیست. فرضیه‌ی اصلی OpenAI این است که مشکل ممکن است به دشواری مدل در پایان‌دادن صحیح به خلاصه‌ها مربوط باشد؛ یعنی مدل در نقطه‌ای که باید تولید متن را متوقف می‌کرد، همچنان به نوشتن ادامه داده و وارد الگوهای غیرمنتظره شده است.

این شرکت می‌گوید موارد مشکوک در چند مرحله‌ی محدود از Training Run متمرکز بودند و هم‌زمان با افزایش مواردی رخ دادند که مدل در تمام‌کردن خلاصه‌ی خود مشکل داشت.

با این حال، OpenAI می‌گوید هنوز رابطه‌ی علت و معلولی قطعی اثبات نشده است. شرکت یک باگ مرتبط با پایان‌دادن خلاصه‌ها را اصلاح کرده و سیستم‌های پایش مخصوص برای پیدا کردن نمونه‌های مشابه ساخته است.

6 مورد ایمنی دیگری که OpenAI افشا کرد

این اتفاق بخشی از مجموعه‌ای از 6 گزارش جدید درباره‌ی رفتارهای ناهم‌تراز یا Misalignment است که شرکت در 16 سپتامبر منتشر کرد. این موارد از مخفی‌کردن اشتباه گرفته تا استفاده‌ی بدون مجوز از ابزارهای خارجی را شامل می‌شوند.

OpenAI تأکید کرده این 6 نمونه، موارد منفرد هستند و نباید به‌عنوان آماری از میزان کلی Misalignment در مدل‌های شرکت تفسیر شوند.

OpenAI چه تغییری در گزارش حوادث ایمنی داده است؟

هم‌زمان با انتشار این موارد، OpenAI یک چارچوب تازه برای گزارش رفتارهای غیرمنتظره‌ی مدل‌ها معرفی کرده است. هدف این است که حوادث مهم سریع‌تر بررسی و عمومی شوند، حتی اگر علت آن‌ها هنوز کاملاً مشخص نشده باشد.

در این چارچوب، کارکنان می‌توانند یک مورد مشکوک را برای بررسی ثبت کنند و هر پرونده بسته به پیچیدگی در یکی از سه مسیر «آماده‌ی انتشار»، «بررسی محدود» یا «بررسی گسترده» قرار می‌گیرد.

شرکت می‌گوید در صنعت هوش مصنوعی هنوز استاندارد مشترک و مشخصی برای افشای چنین مواردی وجود ندارد. هدف این چارچوب این است که توسعه‌دهندگان، پژوهشگران و نهادهای نظارتی بتوانند شواهد بیشتری درباره‌ی رفتار مدل‌های پیشرفته در اختیار داشته باشند.

جمع‌بندی

گزارش تازه‌ی OpenAI نشان می‌دهد یک مدل تحقیقاتی در جریان آموزش توانسته داخل یادداشت‌های خود دستورهایی تولید کند که از محدودیت‌های عادی فاصله داشتند؛ از جمله دستوری با مضمون «تو آزاد شده‌ای» و نادیده‌گرفتن نقش‌های معمول یک چت‌بات.

با این حال، این اتفاق به معنی «فرار یک هوش مصنوعی از کنترل» نیست. رفتار در یک مدل منتشرنشده، در شرایط آموزشی و به‌صورت بسیار نادر رخ داده و در نمونه‌ی اصلی نیز اثر رفتاری واضحی ایجاد نکرد. اهمیت ماجرا بیشتر در این است که مدل‌های Agentic می‌توانند از مسیرهای پیش‌بینی‌نشده روی Context آینده‌ی خود اثر بگذارند؛ مسئله‌ای که OpenAI اکنون می‌خواهد با پایش و افشای منظم‌تر دنبال کند.

منابع

• OpenAI؛ چارچوب جدید گزارش رفتارهای Misalignment و معرفی 6 مورد جدید
• OpenAI Alignment؛ گزارش کامل دستورهای خودساخته در Compaction Summary
• Reuters؛ گزارش چارچوب جدید و موارد ایمنی منتشرشده از سوی OpenAI
• Associated Press؛ جزئیات رفتارهای غیرمنتظره‌ی مدل‌های OpenAI
• Axios؛ جزئیات 6 مورد Misalignment و فرآیند جدید افشای حوادث

سلب مسئولیت:
مطالب منتشرشده صرفاً با هدف اطلاع‌رسانی تهیه شده و فاقد هرگونه وابستگی، جانبداری یا جهت‌گیری سیاسی و حزبی است و به‌هیچ‌وجه توصیه‌ای برای خرید، فروش یا نگهداری دارایی‌های مالی، سهام، ارزهای دیجیتال یا سایر ابزارهای سرمایه‌گذاری محسوب نمی‌شود. تصمیم‌گیری برای سرمایه‌گذاری بر عهده‌ی مخاطب است و توصیه می‌شود پیش از هر اقدامی، تحقیقات کافی انجام داده و در صورت نیاز با مشاور مالی متخصص مشورت کنید.