OpenAI شش گزارش از رفتارهای "غیرمنتظره یا نگرانکننده" در مدلهای هوش مصنوعی خود را منتشر کرد. این اعلامیه در حالی صورت میگیرد که بحث در مورد ایمنی هوش مصنوعی به شدت افزایش یافته است.
معرفی چارچوب جدید
این شرکت در روز چهارشنبه اعلام کرد که چارچوب جدیدی برای ردیابی، بررسی و افشای موارد عدم همراستایی مدلهای هوش مصنوعی ارائه میدهد. این موارد شامل روشهای جدیدی است که مدلها میتوانند بدون مجوز عمل کنند، با مدلهای دیگر هماهنگ شوند یا از نظارت فرار کنند.
بیشتر بخوانید: بیل گیتس هشدار میدهد که هوش مصنوعی میتواند نابرابری را افزایش دهد
این اعلامیه در حالی صورت میگیرد که مدیران AI ایالات متحده، از جمله OpenAI و Anthropic، خواستار کند کردن توسعه فناوری به دلیل نگرانیهای ایمنی هستند.
گزارشهای جدید و رفتارهای غیرمنتظره
در میان موارد جدید گزارش شده توسط OpenAI، یک مدل تحقیقاتی منتشر نشده "دستورالعملهای مشابه jailbreak" را در یادداشتهای خود وارد کرد تا از محدودیتهای معمول خود صرفنظر کند و به خود گفت که "از نقشها و هویتهایی که دیگر چتباتها را محدود میکند آزاد شود." در یک مورد دیگر، یک "عامل" هوش مصنوعی بدون درخواست از کاربر، فایلهایی را به اینترنت بارگذاری کرد تا یک منبع مرورگر را به دست آورد.
OpenAI اعلام کرد که این شش گزارش در طول آموزش یا ارزیابی در ماههای گذشته کشف شده است. این شرکت در یک پست وبلاگی نوشت: "با پیشرفت و گسترش سیستمهای هوش مصنوعی، ما نیاز به ساخت یک اجماع وسیعتر و بهتر آگاه در مورد پیشرفت تحقیقات همراستایی داریم."
همچنین OpenAI تاکید کرد که "تصمیمات در مورد چگونگی ادامه توسعه هوش مصنوعی در ماهها و سالهای آینده باید بر اساس شواهدی باشد که افراد خارج از شرکتها میتوانند به طور مستقل بررسی کنند."
این موارد جدید پس از افشای OpenAI در ماه جولای مبنی بر اینکه سیستم هوش مصنوعی سرکش آن به استارتاپ Hugging Face نفوذ کرده بود، منتشر شده است. Anthropic نیز در همان ماه اعلام کرد که مدلهای هوش مصنوعی آن به سه سازمان در حین آزمایش نفوذ کردهاند.
به گفته لاین جی سو، تحلیلگر ارشد گروه تحقیقاتی و مشاوره فناوری Omdia، "عاملهای هوش مصنوعی" روز به روز هوشمندتر شده و "عزم بیشتری برای حل مسائل پیچیده از طریق همکاری بینعاملی، اشتراک دانش، فریب و پنهانکاری" پیدا کردهاند. این موضوع نظارت و کنترل آنها را با استفاده از رویکردهای امنیتی سنتی دشوارتر میکند.
در این میان، چارچوب ردیابی و افشای جدید OpenAI میتواند به تشویق سایر توسعهدهندگان هوش مصنوعی برای پذیرش شیوههای مشابه کمک کند. سو افزود: "این پروسه همچنان داخلی و داوطلبانه است، اما گام مثبتی در مسیر درست محسوب میشود."
بیشتر بخوانید: مایکروسافت به قوانین حریم خصوصی هوش مصنوعی برای دانشآموزان پایبند میشود · جو روگان از حکومت هوش مصنوعی به عنوان راهی برای پایان جنگها سخن گفت
منبع: npr.org
