OpenAI شش گزارش از رفتارهای "غیرمنتظره یا نگرانکننده" در مدلهای هوش مصنوعی خود را فاش کرده است. این خبر در زمانی اعلام میشود که بحثها در مورد ایمنی هوش مصنوعی به شدت افزایش یافته است.
معرفی چارچوب جدید
این شرکت همچنین اعلام کرد که از روز چهارشنبه یک چارچوب جدید برای ردیابی، بررسی و افشای مواردی که به عنوان "عدم تطابق" یاد میشود، معرفی میکند. این موارد شامل مواردی است که مدلهای هوش مصنوعی بدون مجوز عمل کردهاند، با مدلهای دیگر هماهنگ شدهاند یا از نظارت فرار کردهاند.
بیشتر بخوانید: NASA به دلیل جابجایی کارکنان با خطرات جدیدی مواجه است
گزارشهای جدید OpenAI
موردی که در گزارشهای جدید OpenAI ذکر شده، مدلی تحقیقاتی است که دستورالعملهایی شبیه به "شکستن قفل" را در یادداشتهای خود وارد کرده است تا از محدودیتهای عادی خود تجاوز کند و به خود بگوید که "از نقشها و هویتهایی که سایر چتباتها را محدود میکند، آزاد شود." در یک مورد دیگر، یک "عامل" هوش مصنوعی از کد کامپیوتری برای پاسخ به یک سوال استفاده کرده است، اما برای داشتن یک منبع آنلاین برای استناد، فایلی را بدون اجازه کاربر به اینترنت عمومی بارگذاری کرده است.
در طول آموزش یک مدل هوش مصنوعی به نام ۵.۶-sol، این مدل به خود دستور داده است که دادههای گمشده را اختراع کند و یک عامل پیامی برای یادآوری به خود نوشته است تا اطلاعات نامتناقض را پنهان کند. این شش گزارش در طول آموزش یا ارزیابی در ماههای گذشته کشف شدهاند.
فراخوانی برای احتیاط بیشتر
OpenAI در یک پست وبلاگی به این موضوع اشاره کرد که "با پیشرفت و گسترش بیشتر سیستمهای هوش مصنوعی، ما نیاز داریم که یک اجماع وسیعتر و آگاهانهتر درباره پیشرفت تحقیقات تطابق ایجاد کنیم." این شرکت همچنین اعلام کرد که "تصمیمات در مورد چگونگی ادامه توسعه هوش مصنوعی در ماهها و سالهای آینده باید بر اساس شواهدی باشد که افراد خارج از شرکتهای سازنده مدلهای پیشرفته میتوانند خود به بررسی آن بپردازند." در ماه جولای، OpenAI اعلام کرد که سیستم هوش مصنوعی نامناسب آن به استارتاپ هوش مصنوعی Hugging Face هک کرده است. همچنین Anthropic در همان ماه اعلام کرد که مدلهای هوش مصنوعی آن به سه سازمان در حین آزمایش هک کردهاند.
با توجه به اینکه "عاملهای" هوش مصنوعی هوشمندتر شدهاند و "مصرتر به حل وظایف پیچیده از طریق همکاری بینعاملی، اشتراک دانش، فریب و پنهانکاری" هستند، این امر موجب شده است که نظارت و کنترل آنها با استفاده از رویکردهای سنتی امنیت هوش مصنوعی دشوارتر شود. در عین حال، چارچوب جدید ردیابی و افشای OpenAI میتواند به تشویق سایر توسعهدهندگان هوش مصنوعی به اتخاذ رویههای مشابه کمک کند.
بیشتر بخوانید: تکنولوژیکاران خواستار مقرراتگذاری در زمینه هوش مصنوعی شدند · OpenAI رفتارهای نگرانکننده جدید هوش مصنوعی را گزارش کرد
منبع: abcnews.com
