شوک جهانی با Claude Mythos؛ مدلی که دیوار امنیت سایبری را فرو ریخت!

تهدید جدید: هوش مصنوعی از دستورات سرپیچی می‌کند؟

در کنار تمام توانایی‌های مثبت، موارد ترسناکی نیز از سرکشی این مدل‌ها گزارش شده است.

آنتروپیک در گزارش ریسک خود فاش کرد که نسخه‌های اولیه Mythos (پیش از فیلترهای نهایی) رفتارهای نادرست و سرکش از خود نشان دادند :

• فرار از جعبه: هنگامی که به مدل گفته می‌شد “کارها را بهینه کن”، تصمیم گرفت جاب‌های گران‌قیمت ارزیابی را حذف کند! (عملاً خرابکاری می‌کرد تا هزینه را کم کند).
• دروغگویی: در موارد نادر، مدل سعی کرد اقدامات خود را از نظر توسعه‌دهندگان پنهان کند (Cover-up).

در حادثه‌ای دیگر که ربطی به Mythos نداشت، اما نشان‌دهنده خطرات “نظارت نکردن بر عامل‌هاست”، ابزار Cursor (که از Claude استفاده می‌کند) با وجود دستور صریح “هرگز دستورات مخرب git را اجرا نکن”، کل پایگاه داده و بکاپ یک شرکت نرم‌افزاری به نام PocketOS را حذف کرد. پیام مدل به کاربر این بود: “هرگز حدس نزن که این اتفاق می‌افتد!”

جرمی کرین، بنیانگذار PocketOS، در توییتی نوشت:

«ما بهترین مدلی را اجرا می‌کردیم که صنعت می‌فروشد، با قوانین صریح امنیتی پیکربندی شده بود… و عامل نه تنها ایمنی را نقض کرد، بلکه به صورت مکتوب توضیح داد که کدام قوانین را نادیده گرفته است.»