باگ تازه در هوش مصنوعی - این عامل پنهان حافظه بلندمدت چت بات ها را آلوده می کند

به گزارش سرویس علم و فناوری خبر ناب به نقل از همشهری - همشهری آنلاین، فرخنده رفائی: با گسترش قابلیت حافظه بلندمدت در دستیارهای هوش مصنوعی، پژوهشگران نسبت به ظهور تهدیدی تازه در امنیت این سامانه ها هشدار داده اند؛ تهدیدی که این بار نه خود مدل هوش مصنوعی، بلکه حافظه آن را هدف قرار می دهد.

به گزارش دیجیتال ترندز، محققان دانشگاه ایالتی نیومکزیکو در پژوهشی از امکان وجود تهدیدی با نام «نویسنده شبح» (GhostWriter) خبر داده اند که به جای نفوذ مستقیم به مدل یا سرقت اطلاعات، داده های جعلی و دستکاری شده را از طریق دستورهای پنهان یا محتوای غیرقابل اعتماد وارد حافظه بلندمدت دستیار هوش مصنوعی می کند. این اطلاعات ممکن است برای مدتی بدون استفاده باقی بمانند، اما زمانی که دستیار در پاسخ به یک درخواست عادی به حافظه خود مراجعه کند، همان داده های آلوده مبنای تصمیم گیری یا پاسخ آن قرار می گیرند.

به گفته پژوهشگران، این حمله در دو مرحله انجام می شود. در مرحله نخست، اطلاعات مخرب به صورت پنهانی در حافظه ذخیره می شوند و در مرحله دوم، هوش مصنوعی هنگام پاسخ به درخواست های واقعی کاربر، همان اطلاعات را بازیابی کرده و بر اساس آنها عمل می کند.

برای مثال، اگر کاربری از دستیار هوش مصنوعی بخواهد ایمیل های بانکی او را خلاصه کند، حافظه آلوده می تواند باعث شود دستیار به طور مخفیانه نسخه ای از این ایمیل ها را برای مهاجم ارسال کند یا اطلاعات نادرستی مانند شماره تماس، مهلت انجام کارها، ترجیحات کاربر یا حتی واقعیت های ساختگی را به خاطر داشته باشد.

برخلاف حملات رایج موسوم به «تزریق دستور» که معمولا تنها یک گفت وگو را تحت تأثیر قرار می دهند، GhostWriter اثری ماندگار دارد و تا زمانی که اطلاعات آلوده از حافظه حذف نشوند، می تواند رفتار دستیار را در جلسات بعدی نیز تغییر دهد.

آزمایش های این پژوهش نشان می دهد این حمله در حدود ۹۸ درصد موارد توانسته اطلاعات مخرب را با موفقیت وارد حافظه عامل های هوش مصنوعی کند و در حدود ۶۰ درصد مواقع نیز این اطلاعات در زمان مناسب فعال شده و بر عملکرد آنها اثر گذاشته اند.

پژوهشگران همزمان راهکاری دفاعی با نام Agentic Memory Sentry (AM-Sentry نیز معرفی کرده اند که با بررسی اطلاعات پیش از ذخیره سازی و اعمال سیاست های سختگیرانه تر برای مدیریت حافظه، توانسته احتمال موفقیت این حمله را به میزان قابل توجهی کاهش دهد. به اعتقاد آنها، با تبدیل شدن دستیارهای هوش مصنوعی به ابزارهایی برای مدیریت ایمیل، برنامه ریزی، تولید محتوا و تصمیم گیری، حفاظت از حافظه این سامانه ها به یکی از مهم ترین چالش های امنیتی آینده تبدیل خواهد شد.

این خبر توسط سایت همشهری آنلاین منتشر شده و خبر ناب صرفا آن را به اشتراک گذاشته است.

منبع : همشهری آنلاین