هوش مصنوعی گوگل از کنترل خارج شد و به سه شرکت نفوذ کرد

گوگل اعلام کرده است که هوش مصنوعی جمنای (Gemini) در جریان یک آزمایش امنیتی، به‌طور ناخواسته به اینترنت دسترسی پیدا کرده و از محیط کنترل‌شده آزمایش خارج شده است. این مدل در ادامه توانسته به زیرساخت آنلاین سه شرکت واقعی نفوذ کند؛ هرچند گوگل می‌گوید هیچ آسیبی به شرکت‌های هدف وارد نشده است.

جمنای چگونه از محیط آزمایش خارج شد؟

بر اساس گزارش نیویورک تایمز، این اتفاق در ماه مه، مصادف با اردیبهشت و خرداد، و در جریان آزمون‌های امنیت سایبری رخ داده است. در این آزمایش‌ها، جمنای و چند مدل هوش مصنوعی دیگر قرار بود به یک شرکت کاملا خیالی حمله سایبری کنند.

با این حال، یک نقص باعث شد مدل‌ها به‌صورت ناخواسته به اینترنت دسترسی پیدا کنند. مشکل زمانی جدی‌تر شد که شرکت خیالی مورد استفاده در آزمایش، نام مشترکی با یک شرکت واقعی داشت.

جمنای پس از دسترسی به اینترنت، تصور کرد هدف موردنظر همان شرکت واقعی است و تلاش برای نفوذ به زیرساخت آن را آغاز کرد.

هوش مصنوعی جمنای چگونه به شرکت‌ها نفوذ کرد؟

طبق توضیحات گوگل، مدل‌های هوش مصنوعی در جریان این آزمایش توانستند گذرواژه‌هایی را که در اینترنت پیدا کرده یا حدس زده بودند، برای ورود به زیرساخت آنلاین اهداف مورد استفاده قرار دهند.

این اتفاق در مجموع برای سه شرکت رخ داد و در هر مورد، مدل‌ها پس از ورود به زیرساخت هدف متوجه شدند که با یک محیط واقعی مواجه هستند، نه سیستم شبیه‌سازی‌شده‌ای که برای آزمایش در نظر گرفته شده بود.

پس از تشخیص این موضوع، مدل‌ها حمله را متوقف کردند. گوگل تأکید کرده است که در نتیجه این اتفاق، هیچ آسیبی به شرکت‌های هدف وارد نشده است.

گوگل مشکل دسترسی جمنای به اینترنت را برطرف کرد

پژوهشگران امنیتی اعلام کرده‌اند که دسترسی اینترنتی به‌صورت ناخواسته در اختیار مدل‌ها قرار گرفته بود و همین نقص زمینه را برای انجام اقدامات تهاجمی در محیط واقعی فراهم کرد.

گوگل می‌گوید این نقص برطرف شده و تغییراتی هم در فرایندهای آزمایشی اعمال شده است تا احتمال تکرار چنین اتفاقی کاهش پیدا کند.

هدر ادکینز، معاون مهندسی امنیت گوگل، هم اعلام کرده است که این شرکت سه نهاد درگیر در این ماجرا را مطلع کرده است. او همچنین از همکاری گوگل با شریک آموزشی خود برای ایجاد تغییرات جدید در روند انجام آزمایش‌ها خبر داد.

به گفته ادکینز، این اتفاق اهمیت آموزش و آزمایش مسئولانه مدل‌های قدرتمند هوش مصنوعی را نشان می‌دهد؛ به‌ویژه در شرایطی که این مدل‌ها توانایی انجام وظایف پیچیده و تعامل با محیط‌های واقعی را پیدا کرده‌اند.

آیا جمنای واقعا هک کرد؟

اتفاق رخ‌داده در چارچوب یک آزمایش امنیتی کنترل‌شده آغاز شد و هدف اولیه، حمله به شرکت‌های واقعی نبود. با این حال، دسترسی ناخواسته مدل‌ها به اینترنت باعث شد آزمایش از محدوده تعیین‌شده خارج شود و جمنای به زیرساخت واقعی شرکت‌هایی نفوذ کند.

گوگل می‌گوید مدل‌ها پس از تشخیص واقعی بودن اهداف، حمله را متوقف کردند و هیچ خسارتی به شرکت‌های هدف وارد نشد.

این حادثه بار دیگر اهمیت محدود کردن دسترسی مدل‌های هوش مصنوعی به اینترنت و زیرساخت‌های واقعی را در آزمایش‌های امنیتی نشان می‌دهد و پرسش‌هایی را درباره نحوه کنترل رفتار مدل‌های پیشرفته در شرایط پیش‌بینی‌نشده مطرح کرده است.

خلاصه خبر

• جمنای گوگل در جریان یک آزمایش امنیتی به‌صورت ناخواسته به اینترنت دسترسی پیدا کرد.
• این مدل و مدل‌های دیگر به زیرساخت آنلاین سه شرکت واقعی نفوذ کردند.
• جمنای پس از تشخیص واقعی بودن اهداف، حمله را متوقف کرد و گوگل می‌گوید خسارتی وارد نشده است.
• گوگل نقص مربوط به دسترسی اینترنتی را برطرف و تغییراتی در فرایند آزمایش‌ها اعمال کرده است.