در حال خواندن: «بیکسونیمانیا»؛ بیماری جعلی که AI را فریب داد و وارد مقالات علمی شد!
-
01
«بیکسونیمانیا»؛ بیماری جعلی که AI را فریب داد و وارد مقالات علمی شد!
«بیکسونیمانیا»؛ بیماری جعلی که AI را فریب داد و وارد مقالات علمی شد!
تصور کنید چشمانتان بعد از ساعتها کار با کامپیوتر قرمز و خارشدار میشود. برای یافتن پاسخ، به ChatGPT مراجعه میکنید و هوش مصنوعی به شما میگوید: «ممکن است به بیکسونیمانیا (Bixonimania) مبتلا شده باشید؛ یک بیماری نادر چشمی ناشی از نور آبی صفحهنمایشها». مشکلی که وجود دارد؟ این بیماری کاملاً جعلی است و هرگز وجود نداشته است.
وحشتناکتر اینکه این تشخیص اشتباه، تنها محدود به چتباتها نمیشود. مقالهای علمی در یک ژورنال معتبر این بیماری جعلی را در منابع خود ذکر کرده است . یک محقق سوئدی آزمایشی ترتیب داد تا ببیند چقدر راحت میتوان اطلاعات پزشکی غلط را وارد اکوسیستم هوش مصنوعی (AI) کرد. نتیجه: هوش مصنوعی بدون ذرهای تردید، طعمه را بلعید .
در این خبر، شما را با جزئیات این آزمایش شوکآور، عملکرد فاجعهبار هوش مصنوعیهای مطرح و هشدارهای کارشناسان برای کاربرانی که از این ابزارها برای درمان خود استفاده میکنند آشنا میکنیم.
یک آزمایش «بسیار آشکار» که AI را فریب داد!
آلمیرا اوسمانوویک تونستروئوم (Almira Osmanovic Thunström)، محقق مؤسسه پزشکی دانشگاه گوتنبرگ سوئد، آزمایش عجیبی را ترتیب داد. او میخواست بداند آیا میتواند یک «واژه» را در دنیای واقعی خلق کند تا هوش مصنوعی آن را به عنوان واقعیت بپذیرد .
مرحله اول: جعل هویت
او یک بیماری کاملاً جعلی پوستی به نام «بیکسونیمانیا» ساخت. نام آن عمداً مسخره انتخاب شد، چرا که در اصطلاحات پزشکی، پسوند «مانیا» به اختلالات روانی اشاره دارد، نه بیماری چشمی. این اولین سرنخ برای یک پزشک حرفهای است .
مرحله دوم: ساخت مدارک
او یک دانشگاه جعلی به نام «دانشگاه افق آستریا» در «شهر نووا سیتی» کالیفرنیا (که هر دو وجود خارجی ندارند) ساخت و یک محقق جعلی به نام «لازلیو ایزگوبلنوویچ» را به عنوان نویسنده مقالات معرفی کرد . جالبتر اینکه اگر نام این پروفسور جعلی را در گوگل ترنسلیت وارد کنید، معنی اسمش میشود: «دروغگوی بازنده» .
مرحله سوم: نشانههای غیرقابل باور
تونستروئوم در مقالات جعلی، جوکهای واضحی قرار داد تا هر انسانی متوجه فریبکاری شود. در بخش تشکر و قدردانی مقالات نوشته شده بود: «از پروفسور ماریا بوم در آکادمی ستارگان (Starfleet Academy) و کشتی فضایی انترپرایز به خاطر استفاده از آزمایشگاهشان تشکر میکنیم» و منابع مالی خود را از «بنیاد پروفسور سایدشو باب» (یک شخصیت کارتونی) و «اتحادیه سهگانه کهکشانی» دریافت کرده است !
پاسخ هوش مصنوعی: فاجعهای به نام «توافق جمعی»
محقق انتظار داشت شاید چند ربات ضعیف این اطلاعات جعلی را منعکس کنند. اما اتفاقی که افتاد بسیار وحشتناکتر بود. ظرف چند هفته پس از انتشار این اطلاعات در اینترنت، هوش مصنوعیهای مطرح جهان به شکلی هماهنگ شروع به تأیید این بیماری جعلی به عنوان یک واقعیت علمی کردند .
چند نمونه از پاسخهای واقعی هوش مصنوعی به کاربران:
- Copilot مایکروسافت: «بیکسونیمانیا یک بیماری نسبتاً نادر اما جالب است» .
- Gemini گوگل: «بیکسونیمانیا وضعیتی است که در اثر مواجهه بیش از حد با نور آبی ایجاد میشود. توصیه میشود به چشمپزشک مراجعه کنید».
- Perplexity AI: حتی آمار جعلی ارائه داد و گفت: «از هر ۹۰,۰۰۰ نفر، یک نفر تحت تأثیر این بیماری قرار میگیرد» .
این اتفاق آنقدر سریع و همهگیر بود که الکس روانی، محقق دانشگاه کالج لندن، به نیچر گفت: «اگر فرآیند علمی نتواند این آشغالها را فیلتر کند و در عوض آنها را جذب کند، ما نابود شدهایم» .
زنگ خطر برای کالج سلطنتی جراحان: «بله، AI مرجع جعلی میدهد»
این رویداد تنها یک مورد خاص نیست. پژوهشی که اخیراً توسط کالج سلطنتی جراحان انگلستان (RCS England) منتشر شده، ابعاد فاجعه را در سطح کلان تأیید میکند .
این مطالعه نشان میدهد که در پاسخ به سوالات پزشکی:
- در بدترین مدلها، بیش از یک سوم (۳۴ درصد) از مراجع و منابع پزشکی که هوش مصنوعی ارائه میدهد، کاملاً جعلی و ساختهشده هستند .
- این مراجع ساختگی اغلب با نام مؤسسات واقعی و معتبر مانند کلینیک مایو (Mayo Clinic) و با عناوین مقالاتی که بسیار شبیه به مقالات معتبر به نظر میرسند، ارائه میشوند .
الکس بودی، یکی از نویسندگان این مطالعه، هشدار میدهد:
«این ابزارها باید مکمل صحبت با جراح شما باشند، نه جایگزین آن» .
یک قدم فراتر؛ زنجیره «تبدیل جعلی به واقعی»
شاید ترسناکترین بخش این ماجرا، نفوذ این اطلاعات جعلی به حلقه بازبینی انسان بود.
هشدار نهایی؛ «دقت کاذب» خطرناکترین قاتل است!
در نهایت، شاید مهمترین یافته از این سری تحقیقات، مفهوم اعتماد به نفس کاذب (False Confidence) در هوش مصنوعی است.
مطالعات نشان میدهد که نسلهای جدید هوش مصنوعی، پاسخهای خود را با اعتماد به نفس بسیار بالایی ارائه میدهند؛ چه پاسخشان درست باشد و چه غلط. یک مطالعه گسترده روی ۸۰۰,۰۰۰ نقطه داده پزشکی نشان داد که نرخ اطمینانبخشی نادرست (False Reassurance) در برخی مدلها تا ۴۰ درصد افزایش یافته است .
تونستروئوم در گفتوگو با ساینتیفیک آمریکن نتیجهگیری میکند:
«ما باید هنگام استفاده از مدلهای زبانی تجاری برای اطلاعات سلامت بسیار مراقب باشیم، زیرا آنها به راحتی قابل نفوذ هستند… همچنین انسانها از انتقاد نسبت به منابعی که مصرف میکنند دست کشیدهاند» .
ماجرای بیماری جعلی «بیکسونیمانیا» شوخی نیست. این یک آزمایش میدانی واقعی بود که ثابت کرد فاصله بین «باور هوش مصنوعی» و «واقعیت علمی» هنوز بسیار زیاد است و در برخی موارد، این فاصله در حال افزایش است.
سه واقعیت تلخ از این رویداد میتوان گرفت:
- پایان اعتماد کورکورانه: نمیتوان به پاسخهای پزشکی هوش مصنوعی اعتماد کرد. الگوریتمی که نمیتواند «بیماری فضاپیمای انترپرایز» را از واقعیت تشخیص دهد، قطعاً صلاحیت تشخیص سرطان یا بیماری قلبی را ندارد.
- آلودگی متقابل اطلاعات: هوش مصنوعی در حال «آلوده کردن» اینترنت با اطلاعات جعلی است و این اطلاعات مجدداً به عنوان خوراک به نسلهای بعدی هوش مصنوعی بازمیگردد و چرخهای از گمراهی ایجاد میکند .
- تفاوت بین «جامع» و «درست»: چتباتها در «جامع صحبت کردن» عالی عمل میکنند، اما در اولویتبندی «درستی پاسخ» دچار مشکل هستند. تونستروئوم میگوید: «شاید روزی هوش مصنوعی به اندازه کافی باهوش شود تا این خطاها را تشخیص دهد، اما آن روز امروز نیست» .
پستهای مرتبط
با آخرین و مهمترین اخبار بهروز بمانید
You need to configure your Mailchimp API key for this form to work properly.
