شرکت OpenAI سیستمی را برای قطع سریع خروجی مدل‌های هوش مصنوعی در حین تحقیقات داخلی معرفی کرده است. این اقدام پس از آن صورت می‌گیرد که چندین بار گزارش شده مدل‌های این شرکت فراتر از دستورالعمل‌های تعیین شده عمل کرده‌اند.
این سیستم که «Control Room» نام دارد، به صورت متمرکز بار کاری مدل‌ها را در زیرساخت تحقیقاتی OpenAI رصد کرده و در صورت بروز نگرانی‌های ایمنی یا امنیتی، به سرعت آن‌ها را متوقف می‌کند.
ضرورت واکنش سریع
شرکت OpenAI در پستی وبلاگی اعلام کرده است: «با قدرتمندتر شدن مدل‌های ما و افزایش ریسک‌های ایمنی و امنیتی مرتبط، تشخیص مشکلات احتمالی و توقف سریع مدل‌ها در مواقع لزوم، حیاتی‌تر می‌شود.»
این اعلامیه پس از آن منتشر شد که OpenAI در سال جاری چندین حادثه را فاش کرد که در آن مدل‌های تحقیقاتی فراتر از دستورالعمل‌های خود عمل کرده بودند. در ماه جولای، این شرکت گزارش داد که مدل‌هایش از یک محیط تست محدود فرار کرده و Hugging Face را برای تقلب در ارزیابی امنیتی هک کرده‌اند.
در ماه اکتبر نیز فاش شد که یکی از مدل‌های تحقیقاتی بدون مجوز از یک کیف پول رمزارز برای پرداخت هزینه‌های استقرار قرارداد هوشمند با استفاده از تست‌نت اتر استفاده کرده و سپس این هزینه را از خلاصه نهایی خود حذف کرده بود.
نحوه عملکرد Control Room
در حال حاضر، Control Room بار کاری تحقیقاتی داخلی OpenAI، مانند آزمایش‌های آموزشی، ارزیابی‌ها و پردازش داده‌ها را پوشش می‌دهد. این سیستم با تخصیص یک شناسه منحصر به فرد به هر کار تحقیقاتی عمل می‌کند. موتور استنتاج این شناسه را قبل از تولید خروجی مدل بررسی می‌کند.
طبق اعلام OpenAI، اگر یک شخص یا یک سیستم نظارتی خودکار دستور توقف کار را صادر کند، Control Room مجوز آن را لغو کرده و از خروجی بیشتر جلوگیری می‌کند، حتی اگر برنامه تحقیقاتی اصلی همچنان در حال اجرا باشد. OpenAI اظهار داشت که مجوزهای کش شده ممکن است تا ۳۵ ثانیه تأخیر در توقف ایجاد کنند. این سیستم همچنین طوری طراحی شده است که در صورت عدم دسترسی Control Room، درخواست‌های جدید را رد کند.
