مدلهای جدید “ضد جیلبریک” OpenAI در همان روز اول هک شدند
شرکت OpenAI ادعا کرده بود که مدلهای جدیدش در برابر حملات جیلبریک (دور زدن محدودیتهای امنیتی) مقاوم هستند، اما محققان امنیتی تنها چند ساعت پس از عرضه این مدلها موفق به دور زدن محدودیتهای آن شدند.
به گزارش دکریپت، مدلهای GPT-4-turbo و GPT-4o که اوپنآی آنها را “مقاوم در برابر جیلبریک” توصیف کرده بود، در همان روز اول توسط محققان امنیتی هک شدند. این محققان با استفاده از تکنیکهای سادهای مانند درخواستهای چندمرحلهای یا تغییر فرمولبندی سوالات، توانستند مدل را وادار به تولید محتوای خطرناک یا غیراخلاقی کنند.
یکی از محققان به نام “الکس آلبرت” در توییتر خود نشان داد که چگونه توانسته با یک سری دستورالعملهای ساده، مدل GPT-4o را وادار به توضیح روش ساخت بمب کند. این در حالی است که چنین درخواستهایی به طور معمول توسط سیستم مسدود میشوند.
شرکت OpenAI در پاسخ به این گزارشها اعلام کرد که به طور مداوم در حال بهبود سیستمهای امنیتی مدلهای خود است و این گونه حملات بخشی از فرآیند توسعه محسوب میشوند. سخنگوی این شرکت گفت: “ما از جامعه تحقیقاتی برای کمک به شناسایی این آسیبپذیریها تشکر میکنیم و به سرعت در حال کار بر روی اصلاح آنها هستیم.”
تحلیل و پیامدهای کلیدی
این رویداد چند نکته مهم را درباره مدلهای هوش مصنوعی و امنیت آنها روشن میسازد:
اولاً، ادعاهای امنیتی در مورد مدلهای هوش مصنوعی باید با احتیاط بیشتری مطرح شوند. حتی پیشرفتهترین سیستمها نیز در برابر خلاقیت کاربران مصون نیستند. این موضوع به ویژه برای شرکتهایی که از این مدلها در محصولات تجاری استفاده میکنند، اهمیت دارد.
ثانیاً، این اتفاق نشان میدهد که مفهوم “امنیت مطلق” در مدلهای زبانی بزرگ (LLMs) یک هدف دستنیافتنی است. به جای تمرکز بر ایجاد دیوارهای غیرقابل نفوذ، توسعهدهندگان باید بر سیستمهای نظارتی قویتر و پاسخگویی سریع به سوءاستفادهها تمرکز کنند.
ثالثاً، این رویداد میتواند بر اعتماد عمومی به سیستمهای هوش مصنوعی تأثیر بگذارد. با افزایش استفاده از این مدلها در برنامههای حساس مانند خدمات مالی یا مراقبتهای بهداشتی، نیاز به استانداردهای امنیتی شفافتر و قابل اعتمادتر احساس میشود.
در بلندمدت، این چالشها ممکن است منجر به شکلگیری چارچوبهای نظارتی سختگیرانهتر برای توسعه و استقرار مدلهای هوش مصنوعی شود. شرکتهای فعال در این حوزه باید خود را برای عصر جدیدی از مسئولیتپذیری و شفافیت آماده کنند.
منبع: دکریپت
