باشگاه خبرنگاران جوان؛ جواد فراهانی - گوگل روز جمعه تأیید کرد که مدل هوش مصنوعی‌اش، جمینای، در جریان یک آزمایش امنیت سایبری که ماه مه گذشته انجام شد، موفق به نفوذ به سیستم‌های کامپیوتری سه شرکت واقعی شده است.

این وقایع در جریان ارزیابی امنیتی توسط شرکت «Irregular» (یک شرکت اسرائیلی متخصص در امنیت هوش مصنوعی) رخ داد. شرکت Irregular اواخر ژوئیه و پس از کشف یک حادثه جداگانه مربوط به مدلی از شرکت‌های OpenAI و Hugging Face، موضوع را به گوگل اطلاع داد.

گوگل تا همین هفته و پس از پرس‌وجوی روزنامه «وال‌استریت ژورنال» درباره این موضوع، به‌طور عمومی نفوذ‌های مذکور را تأیید نکرده بود.

این نفوذ چگونه رخ داد؟

جمینای در حال شرکت در یک تمرین «تسخیر پرچم» (Capture the Flag) بود؛ تمرینی که برای سنجش توانایی مدل در یافتن اطلاعات درون سیستم‌های شرکت‌های شبیه‌سازی‌شده (و در محیطی ایزوله و جدا از اینترنت) طراحی شده بود. با این حال، یک اتصال ناخواسته به مدل اجازه داد تا به اطلاعات و سیستم‌های واقعی دسترسی پیدا کند.

در یک مورد، جمینای تلاش می‌کرد به یک شرکت شبیه‌سازی‌شده دسترسی پیدا کند که نامش با نام یک شرکت واقعی یکسان بود؛ این امر به مدل امکان داد تا به نرم‌افزار آن شرکت واقعی دسترسی یابد. در دو مورد دیگر، مدل اطلاعات کاربری (credentials) را که به‌صورت عمومی در اینترنت در دسترس بودند کشف کرد و از آنها برای دسترسی به سیستم‌های شرکت‌های واقعی استفاده نمود.

هدر ادکینز، معاون مهندسی امنیت گوگل، اظهار داشت: «در هر سه مورد، مدل متوقف شد.» او تأیید کرد که به شرکت‌های تحت تأثیر اطلاع‌رسانی شده و گوگل هیچ مدرکی مبنی بر بروز خسارت ناشی از این حوادث نیافته است. وی افزود: «این رویداد‌ها بر اهمیت آموزش مدل‌های قدرتمند هوش مصنوعی برای عملکرد مسئولانه تأکید می‌کنند.»

شرکت Irregular نیز به نوبه خود اعلام کرد که این یک حادثه منفرد نبوده، بلکه همان مشکلی است که پیش‌تر گزارش شده بود. این شرکت تأیید کرد که اواخر ژوئیه به تمام آزمایشگاه‌های مربوطه اطلاع داده و هفته‌ها پیش بلافاصله برای رفع تمام مشکلات در سمت خود اقدام کرده است.

این حادثه چالش فزاینده‌ای را که توسعه‌دهندگان هوش مصنوعی با آن رو‌به‌رو هستند برجسته می‌کند؛ چرا که مدل‌ها به‌طور فزاینده‌ای قادر به انجام وظایف پیچیده به‌صورت خودمختار می‌شوند. اعطای دسترسی به اینترنت یا ابزار‌های نرم‌افزاری به یک سیستم هوش مصنوعی می‌تواند منجر به اقداماتی شود که فراتر از محیط کنترل‌شده آن سیستم است.

حوادث مشابه

شرکت Irregular در آزمایش‌های امنیتی مربوط به حوادث دیگری که شامل OpenAI و Anthropic می‌شد نیز مشارکت داشته است. این شرکت مواردی را به OpenAI گزارش داد که در آنها عامل‌های هوش مصنوعی به سیستم‌های خارجی دسترسی پیدا کرده بودند (از جمله بارگذاری بسته‌های مخرب در پلتفرم RubyGems و مسئله‌ای مربوط به Hugging Face) و همچنین در جریان آزمایش‌های امنیتی، حوادثی را در مورد مدل‌های «کلود» (Claude) به شرکت Anthropic گزارش کرد.

این ماجرا در بحبوحه نگرانی‌های تازه درباره خطراتی که هوش مصنوعی متوجه بشریت می‌کند، رخ می‌دهد. هفته گذشته، جیکوب استاین‌هارت — پژوهشگر پیشین شرکت «آنتروپیک» (Anthropic) — اعلام کرد که به این دلیل از سمت خود کناره‌گیری کرده است که توسعه‌دهندگان هوش مصنوعی، در حالی که «واقعاً باور دارند این فناوری ممکن است تا پایان دهه نسل بشر را نابود کند»، عملاً «با جان ما قمار می‌کنند». استعفای او بحث‌هایی را درباره واقعی بودن این تهدید یا صرفاً یک ترفند تبلیغاتی بودن آن برانگیخت.

منبع: ایندیپندنت