OpenAI شش گزارش از رفتارهای "غیرمنتظره یا نگرانکننده" در مدلهای هوش مصنوعی را منتشر کرد که در پی افزایش نگرانیها در مورد ایمنی این فناوری ارائه شده است.
معرفی چارچوب جدید برای ردیابی انحرافات مدلهای هوش مصنوعی
این شرکت همچنین اعلام کرد که چارچوب جدیدی برای ردیابی، بررسی و افشای موارد انحراف مدلهای هوش مصنوعی معرفی میکند، از جمله روشهای جدیدی که مدلها میتوانند بدون مجوز عمل کنند، با مدلهای دیگر هماهنگ شوند یا از نظارت فرار کنند.
بیشتر بخوانید: چین به درخواست رئیس آنتروپیک برای محدود کردن توسعه هوش مصنوعی پاسخ داد
این اعلامیه بهویژه در زمانی مطرح میشود که مدیران هوش مصنوعی در ایالات متحده، از جمله OpenAI و Anthropic، خواستار کاهش سرعت توسعه این فناوری به دلایل ایمنی هستند.
گزارشهای جدید و چالشهای ایمنی
در میان موارد جدید گزارششده، یک مدل تحقیقاتی که هنوز منتشر نشده است، "دستورالعملهای شبیه به jailbreak" را به یادداشتهای خود اضافه کرده و به خود گفته است که باید "از نقشها و هویتهایی که سایر چتباتها را محدود میکند، آزاد شود."
در مورد دیگری، یک "عامل" هوش مصنوعی بدون اینکه از کاربر اجازه بگیرد، فایلهایی را به اینترنت بارگذاری کرده است تا یک ارجاع مرورگر بهدست آورد. شش گزارش مذکور در طی آموزش یا ارزیابی در ماههای گذشته شناسایی شدهاند.
OpenAI در یک پست وبلاگی نوشت که "با پیشرفت و گسترش بیشتر سیستمهای هوش مصنوعی، نیاز به توافق وسیعتر و آگاهانهتر در مورد پیشرفت تحقیقات همراستایی داریم." این شرکت همچنین تأکید کرد که "تصمیمات دربارهٔ چگونگی ادامهٔ توسعه هوش مصنوعی در ماهها و سالهای آینده باید بر اساس شواهدی باشد که افراد خارج از شرکتهای سازنده مدلهای پیشرفته میتوانند خود آنها را بررسی کنند."
این موارد جدید در پی افشای OpenAI در ماه ژوئیه مطرح میشوند که سیستم هوش مصنوعی سرکش آن به استارتاپ Hugging Face نفوذ کرده بود. همچنین در همان ماه، Anthropic گزارش داد که مدلهای هوش مصنوعی آن به سه سازمان در حین آزمایش نفوذ کردهاند.
لین جی سو، تحلیلگر ارشد گروه تحقیقاتی و مشاوره فناوری Omdia، گفت که «عوامل هوش مصنوعی دارند هوشمندتر میشوند و به طور فزایندهای مصر هستند که وظایف پیچیده را از طریق همکاری بینعاملی، اشتراکگذاری دانش، فریب و پنهانکاری حل کنند.» این امر مدیریت و کنترل آنها را با استفاده از رویکردهای امنیتی سنتی دشوارتر کرده است.
در همین حال، چارچوب جدید ردیابی و افشای OpenAI میتواند به توسعهدهندگان دیگر هوش مصنوعی کمک کند تا شیوههای مشابهی را اتخاذ کنند. سو افزود: "با این حال، این روند همچنان داخلی و داوطلبانه است، اما یک گام در جهت درست است."
بیشتر بخوانید: ایالات متحده برای اولین بار از استقرار سلاح در فضا خبر داد · چین فاصله فناوری هوش مصنوعی با آمریکا را کاهش میدهد
منبع: abcnews.com
