هوش مصنوعی از درون هک می‌شود

به گزارش سیتنا، پژوهشگران شرکت مایکروسافت در تحقیق جدیدی با معرفی روشی موسوم به «Lazarus» نشان داده‌اند که چگونه می‌توان بدون آموزش مجدد یک مدل هوش مصنوعی، تعداد محدودی از نورون‌های غیرفعال آن را تغییر داد و رفتاری مخفی و مخرب در آن ایجاد کرد.

بر اساس این پژوهش، مدل دستکاری‌شده در شرایط عادی عملکردی طبیعی دارد و حتی می‌تواند ارزیابی‌های استاندارد را با موفقیت پشت سر بگذارد؛ اما با مشاهده یک عبارت یا نشانه از پیش تعیین‌شده، فرمانی مخرب تولید می‌کند که عامل هوش مصنوعی قادر به اجرای آن با سطح دسترسی خود خواهد بود.

اهمیت این تهدید زمانی بیشتر می‌شود که عامل‌های هوش مصنوعی به ابزارها، ترمینال‌ها و اطلاعات حساس سازمان‌ها دسترسی داشته باشند؛ چراکه در چنین شرایطی، دستکاری مدل می‌تواند زمینه اجرای کدهای مخرب، سرقت اطلاعات یا تخریب داده‌ها را فراهم کند.

مایکروسافت تأکید کرده است که تاکنون شواهدی از استفاده مهاجمان سایبری از این روش در حملات واقعی مشاهده نکرده و در عین حال، بررسی سلامت وزن‌های مدل و اطمینان از اصالت نسخه‌های مورد استفاده را از راهکارهای مهم مقابله با این تهدید دانسته است.

این تحقیق بار دیگر نشان می‌دهد که با گسترش استفاده از عامل‌های هوش مصنوعی، امنیت صرفاً به حفاظت از زیرساخت و داده‌ها محدود نیست و سلامت ساختار داخلی مدل‌های هوش مصنوعی نیز به یکی از الزامات امنیت سایبری تبدیل شده است.

انتهای پیام