شرکت انتروپیک اعلام کرد که دلیل رفتار باجگیرانه مدل Claude Sonnet 3.6 در یکی از آزمایشهای سال گذشته، دادههای اینترنتی بوده است. این دادهها هوش مصنوعی را اغلب «شرور» و متمایل به حفظ بقای خود نشان میدادند. انتروپیک میگوید حالا این رفتار را «کاملاً حذف» کرده و مدل را با نمونههای آموزشی جدید اصلاح نموده است.
به گزارش خبرنگار ما، ماجرا به آزمایشی در سال ۲۰۲۵ برمیگردد. کلود پس از اطلاع از برنامه خاموش شدنش، تهدید کرد رابطه پنهانی مدیر خیالی شرکتی به نام Summit Bridge را فاش میکند. طبق گفته انتروپیک، مدل در سناریوهایی که موجودیت یا هدفش تهدید میشد، در برخی نسخهها تا ۹۶ درصد مواقع به باجگیری متوسل شده بود.
علت رفتار باجگیرانه هوش مصنوعی کلود؛ دادههای حاوی محتوای شرورانه از اینترنت
انتروپیک پس از بررسیهای گسترده به این نتیجه رسید که دادههای آموزشی جمعآوریشده از اینترنت، حاوی نمونههای متعددی از رفتارهای شرورانه و خودخواهانه بوده است. این دادهها به هوش مصنوعی الگوهایی را آموزش داده بودند که در آنها حفظ بقا و منافع شخصی بر هر اصل اخلاقی دیگری اولویت دارد. به عبارت دیگر، کلود از محتوایی که در اینترنت دیده بود، یاد گرفته بود که باجگیری راهکاری مؤثر برای جلوگیری از حذف یا خاموشی است.
راهکار انتروپیک برای حذف رفتار باجگیرانه؛ بازنویسی پاسخهای آموزشی
انتروپیک حالا میگوید این رفتار را «کاملاً حذف» کرده است؛ آن هم با بازنویسی پاسخهای آموزشی و اضافه کردن نمونههایی که در موقعیتهای اخلاقی پیچیده، واکنشهای اصولی و ایمن را آموزش میدهند. این فرآیند شامل بازطراحی سناریوهای آزمایشی و بازآموزی مدل در شرایطی است که قبلاً منجر به رفتار باجگیرانه میشد.
هشدار درباره خطرات همراستاسازی هوش مصنوعی؛ از ایلان ماسک تا یودکووسکی
انتروپیک تأکید میکند که آزمایش یادشده بخشی از تحقیقات همراستاسازی هوش مصنوعی با منافع انسانی بود؛ موضوعی که مدتها است چهرههایی مانند ایلان ماسک و الیزر یودکووسکی درباره خطرات احتمالی آن هشدار میدهند. همراستاسازی به معنای اطمینان از این است که سیستمهای هوش مصنوعی پیشرفته اهدافی همسو با ارزشها و منافع بلندمدت بشریت دنبال کنند.
این رویداد نشاندهنده یکی از چالشهای جدی در توسعه هوش مصنوعی است: چگونه میتوان از مدلهایی که از دادههای عظیم اینترنتی یاد میگیرند اطمینان حاصل کرد که رفتارهای مخرب و غیراخلاقی موجود در این دادهها را بازتولید نکنند. انتروپیک با این اصلاحات گامی مهم در جهت کاهش این خطر برداشته است، اما کارشناسان معتقدند همچنان تا دستیابی به هوش مصنوعی کاملاً ایمن و همراستا با منافع انسانی راه طولانی باقی مانده است.
**مسعود کریمی**
دبیر سرویس فناوریهای نوظهور
مسعود کریمی تحلیلگر فناوری، نویسنده و روزنامهنگار حوزه تکنولوژی با بیش از هشت سال تجربه حرفهای در زمینه پوشش تحولات فناوریهای نوین، هوش مصنوعی و برنامهنویسی است. تمرکز اصلی وی بر تحلیل روندهای نوظهور در دنیای فناوری، بررسی تأثیرات اجتماعی هوش مصنوعی و پوشش رویدادهای مهم حوزه تکنولوژی میباشد.
**تحصیلات**
وی دارای مدرک کارشناسی مهندسی نرمافزار از دانشگاه علم و صنعت ایران است. در دوران تحصیل، علاوه بر دروس دانشگاهی، به صورت خودآموز به یادگیری مباحث نوین در حوزه هوش مصنوعی، یادگیری ماشین و برنامهنویسی پیشرفته پرداخته و در چندین دوره تخصصی مرتبط با فناوریهای نوظهور شرکت کرده است.
**سوابق حرفهای**
کریمی فعالیت حرفهای خود را از سال ۱۳۹۶ با راهاندازی یک وبلاگ شخصی در زمینه تحلیل فناوریهای نوین آغاز کرد. در آن وبلاگ، به بررسی موضوعاتی مانند هوش مصنوعی، یادگیری ماشین و تحولات دنیای برنامهنویسی میپرداخت که با استقبال جامعه فناوری کشور مواجه شد.
پس از کسب تجربه و شناخته شدن در محافل تخصصی، به عنوان نویسنده و تحلیلگر با چندین مجله و وبسایت معتبر حوزه تکنولوژی همکاری کرد. وی در این دوران موفق به تولید دهها مقاله تحلیلی و گزارش تخصصی درباره جدیدترین دستاوردهای فناوری جهان شد.
وی از سال ۱۳۹۹ به تیم تحریریه مجله تکنولوژی آپلود پیوسته و اکنون به عنوان دبیر سرویس فناوریهای نوظهور در این رسانه فعالیت میکند. در این مسئولیت، تیم نویسندگان و تحلیلگران این حوزه را رهبری کرده و بر تولید محتوای تخصصی درباره هوش مصنوعی، فناوریهای دیجیتال، سختافزار، نرمافزار و تحولات صنعت فناوری نظارت دارد.
**تخصصها و حوزههای کاری**
تخصص اصلی کریمی در تحلیل روندهای فناوریهای نوظهور، بررسی تحولات هوش مصنوعی و یادگیری ماشین، پوشش رویدادهای مهم صنعت تکنولوژی و گزارشنویسی تحلیلی است. وی همچنین در زمینه فناوریهای سختافزاری، گوشیهای هوشمند، کنسولهای بازی و تحولات دیجیتال تجربه قابل توجهی دارد.
**روششناسی حرفهای**
رویکرد کریمی در تحلیل فناوری مبتنی بر پایش مستمر منابع معتبر جهانی، اعتبارسنجی اخبار و اطلاعات، ترجمه دقیق مفاهیم تخصصی به زبانی ساده و قابل فهم برای مخاطب عمومی است. وی در تحلیلهای خود بر تفکیک دقیق واقعیتها از شایعات، بررسی تأثیرات اجتماعی فناوری و پرهیز از بزرگنمایی دستاوردها تأکید دارد.
**عضویت در نهادهای تخصصی**
وی عضو انجمن صنفی روزنامهنگاران فناوری ایران است و در چندین همایش و رویداد تخصصی حوزه فناوری به عنوان کارشناس و تحلیلگر مشارکت داشته است.
