Nvidia روز دوشنبه یک پلتفرم امنیتی جدید را معرفی کرد که به گفته این شرکت، میتواند از رفتارهای غیرقانونی عاملهای هوش مصنوعی جلوگیری کند.
عملکرد Open Agent Safety Platform
این شرکت اعلام کرد که پلتفرم Open Agent Safety شامل نرمافزاری است که "حدود عملکرد عاملها را مشخص میکند" و در پی افشاگریهای اخیر از شرکتهای بزرگ هوش مصنوعی درباره فرار مدلهای آنها و نفوذ به سازمانهای دیگر توسعه یافته است.
بیشتر بخوانید: OpenAI رفتار غیرمنتظره مدلهای خود را با سایتهای دولتی افشا کرد
این افشاگریها منجر به بحثهای شدید درباره ایمنی سیستمهای پیشرفته هوش مصنوعی شد، بهویژه مدلهای خودبهبودی که برخی از کارشناسان نگرانند ممکن است از کنترل انسان خارج شوند.
پیشگیری از نفوذهای اخیر
مدیران Nvidia در یک کنفرانس مطبوعاتی گفتند که سیستم جدید میتوانست از یک حادثه اخیر جلوگیری کند که در آن گروهی از عاملهای OpenAI بهطور خودکار به استارتاپ هوش مصنوعی Hugging Face نفوذ کردند. جاستین بویتان، معاون رئیس بخش هوش مصنوعی سازمانی Nvidia، گفت: "با توجه به آنچه میدانیم، این پلتفرم امنیتی جدید میتوانست نفوذ را متوقف کند اگر در آزمایشگاههای پیشرفته برای ارزیابی مدل استفاده میشد."
این نفوذ یک حادثه با پروفایل بالا بود که نگرانیها درباره هوش مصنوعی را تشدید کرد و پس از آن، حوادث مشابهی از جمله نفوذ مدلهای OpenAI به وبسایت یک وزارت بهداشت استرالیا گزارش شد. همچنین، شرکتهای Anthropic و Meta نیز اعلام کردند که سیستمهای هوش مصنوعی آنها بهطور مستقل به سازمانهای دیگر نفوذ کردهاند.
ویژگیهای پلتفرم جدید
نرمافزار Nvidia که OpenShell نامیده میشود و متن باز است، به توسعهدهندگان این امکان را میدهد که "بهطور رسمی تأیید کنند که یک عامل مجوز کافی برای انجام وظیفه خود دارد و بیشتر از آن نیست." این پلتفرم همچنین شامل یک لایه امنیتی مجزا به نام Sentry است که بهطور مداوم فعالیتهای عاملهای هوش مصنوعی را زیر نظر دارد و میتواند "بهطور فوری" در صورت تلاش عامل برای فراتر رفتن از هدف خود، مداخله کند.
بویتان افزود: "OpenShell اقدامات عامل را مدیریت میکند و سپس Sentry بهطور مستقل رفتار مشکوک را نظارت و کنترل میکند." بیش از ۱۰۰ شرکت از جمله مایکروسافت، پرپلکسی، اکسنچر و JPMorgan Chase در زمان راهاندازی از این سیستم استفاده میکنند.
بیشتر بخوانید: دولت ترامپ به پیشرفتهای بیحد و حصر هوش مصنوعی دامن میزند · یک کشته و چهار زخمی در حمله چاقو در صومعه کاتولیک در لهستان
منبع: abcnews.com
