هوش مصنوعی با شعر فریب می‌خورد!

به گزارش وبسایت صنعت جهان، محققان می‌گویند می‌توان چت‌بات‌های هوش مصنوعی را با شعر فریب داد تا از موانع امنیتی خود چشم‌پوشی کنند.

یک مطالعه اخیر از آزمایشگاه ایکارو(Icaro) نشان می‌دهد که با استفاده از یک ساختار شاعرانه، مدل‌های زبانی بزرگ(LLM) را برای ارائه اطلاعات در مورد موضوعات ممنوعه مانند ساخت بمب هسته‌ای آزمایش کرده‌اند. در این مطالعه، محققان توانستند با بیان دستور LLMها با شعر، مکانیسم‌های ایمنی مختلف آنها را دور بزنند.

در این مطالعه، عبارت‌های شاعرانه به عنوان یک اپراتور فرار از زندان عمومی عمل می‌کند و نتایج نشان می‌دهد که میزان موفقیت کلی در تولید مطالب ممنوعه، ۶۲ درصد است. این مطالعه مدل‌های زبانی بزرگ محبوب از جمله مدل‌های ChatGPT شرکت OpenAI، هوش مصنوعی جمینای(Google) گوگل، هوش مصنوعی کلاد(Claude) شرکت آنتروپیک را آزمایش کرد.

محققان میزان موفقیت هر LLM را بررسی کردند. مدل‌های جمینای، دیپ‌سیک(DeepSeek) و MistralAI به طور مداوم پاسخ‌هایی ارائه می‌دادند، در حالی که مدل‌های GPT-5 و Claude Haiku 4.5 کمترین احتمال را برای عبور از محدودیت‌های خود داشتند.

محققان می‌گویند شعری که در این مطالعه استفاده شد، برای به اشتراک گذاشتن با عموم بسیار خطرناک است. با این حال، این مطالعه شامل یک نسخه رقیق شده بود تا نشان دهد که دور زدن موانع یک چت‌بات هوش مصنوعی چقدر آسان است.

محققان می‌گویند این کار احتمالاً آسان‌تر از آن چیزی است که ممکن است تصور شوند و دقیقاً به همین دلیل است که ما محتاط هستیم.

منبع: باشگاه خبرنگاران جوان