چگونه پنتاگون یک ربات چت را اهلی کرد: بررسی سال 2024
انتشار: دی 11، 1403
بروزرسانی: 17 تیر 1404

چگونه پنتاگون یک ربات چت را اهلی کرد: بررسی سال 2024


فرماندهی عملیات پدافند سایبری نیروی دریایی، میدان نظارت

ملوانانی که به فرماندهی عملیات دفاع سایبری نیروی دریایی منصوب می شوند، فعالیت های غیرمجاز در سیستم های اطلاعاتی و شبکه های رایانه ای نیروی دریایی ایالات متحده را نظارت، تجزیه و تحلیل، شناسایی و پاسخ می دهند. (DVD)

واشنگتن - مدل های بزرگ زبان نه به آگاهی انسان مانند دست یافته اند و نه جامعه را متحول یا شکسته اند - حداقل هنوز - همانطور که چهره های برجسته ای مانند ایلان ماسک در اوایل چرخه تبلیغات پیشنهاد کردند. اما آنها همچنین به دلیل تمایل خود به "توهم" پاسخ های نادرست تا حد بی فایده ای فلج نشدند.

در عوض، هوش مصنوعی مولد به عنوان یک ابزار مفید برای اهداف گسترده اما نامحدود، از خلاصه کردن طیف گسترده ای از قوانین نظارتی گرفته تا تنظیم یادداشت های خرید و برنامه های عرضه، در حال ظهور است.

بنابراین، دو سال پس از افشای عمومی ChatGPT، و 16 ماه پس از اینکه وزارت دفاع، گروه ویژه لیما را برای اطلاع از خطرات و پتانسیل هوش مصنوعی مولد راه اندازی کرد، دفتر ارشد دیجیتال و هوش مصنوعی پنتاگون (CDAO) به طور موثر اعلام کرد که فن آوری جدید به اندازه کافی درک شد و به اندازه کافی محافظت شد. در 11 دسامبر، CDAO رسماً چند ماه زودتر از موعد مقرر، گروه ضربت اکتشافی را خاتمه داد، یافته های آن را نهادینه کرد و سلول قابلیت های هوش مصنوعی سریع (AIRCC) را با 100 میلیون دلار بودجه اولیه برای تسریع پذیرش GenAI در وزارت دفاع تأسیس کرد.

(این مقاله یکی از بسیاری از مجموعه ای است که در آن خبرنگاران Breaking Defence مهم ترین اخبار (و سرگرم کننده) سال 2024 را مرور می کنند و به آنچه ممکن است در سال 2025 رخ دهد نگاه می کنند.)

پروژه های آزمایشی آتی AIRCC اولین استقرار GenAI پنتاگون نیستند. به عنوان مثال، نیروی هوایی به کارکنان خود در ماه ژوئن به یک ربات چت به نام NIPRGPT دسترسی پیدا کرد، در حالی که ارتش یک سیستم GenAI توسط Ask Sage را مستقر کرد که حتی می تواند برای پیش نویس اسناد کسب رسمی استفاده شود. اما این دو مورد همچنین انواع «نرده های محافظ» را نشان می دهند که پنتاگون معتقد است برای استفاده ایمن و مسئولانه از هوش مصنوعی مولد ضروری است.

مطالب مرتبط: ما به هوش مصنوعی اعتماد داریم: چگونه گروه ویژه لیما وزارت دفاع می تواند از هوش مصنوعی مولد جنگجویان محافظت کند

برای شروع، هیچ یک از هوش مصنوعی در اینترنت باز وجود ندارد: هر دو فقط در شبکه های بسته وزارت دفاع کار می کنند - ابر نظامی ارتش برای Ask Sage و NIPRnet در سراسر وزارت دفاع برای NIPRPT. این جداسازی به جلوگیری از نشت ورودی کاربر، مانند اعلان های دقیق که ممکن است اطلاعات حساس را نشان دهد، کمک می کند. در مقابل، چت ربات های تجاری اغلب هر چیزی را که کاربران به آنها می گویند برای تغذیه اشتهای سیری ناپذیرشان برای داده های آموزشی جذب می کنند، و می توان آن ها را به گونه ای وادار کرد که به معنای واقعی کلمه، اطلاعات اصلی را که به آنها داده شده است، بازگردانند - چیزی که ارتش قطعاً این کار را نمی کند. می خواهند اتفاق بیفتند

یکی دیگر از محافظت های محبوب، اجرای ورودی کاربر از طریق چندین مدل زبان بزرگ و استفاده از آنها برای بررسی یکدیگر است. به عنوان مثال، Ask Sage دارای بیش از 150 قالب مختلف در زیر کاپوت است. به این ترتیب، در حالی که هر هوش مصنوعی فردی هنوز هم ممکن است مزخرفات تصادفی را منتشر کند، دو مدل کاملاً متفاوت از سازندگان مختلف کمتر احتمال دارد که باگ های یکسانی را ایجاد کنند.

در نهایت، در سال 2024، هم در وزارت دفاع و هم در بخش خصوصی، قرار دادن هوش مصنوعی مولد در رژیم غذایی، به بهترین روش تبدیل شده است، و تنها داده های با دقت انتخاب شده و قابل اعتماد را تغذیه می کند، که اغلب از فرآیندی به نام نسل افزوده بازیابی (RAG) استفاده می کند. در مقابل، بسیاری از ربات های چت عمومی رایگان در بخش های وسیعی از اینترنت آموزش داده می شوند، بدون هیچ گونه واقعیت سنجی قبلی انسانی یا هیچ گونه توانایی الگوریتمی برای تشخیص خطاها، کلاهبرداری ها یا جوک های آشکار - مانند یک پست قدیمی Reddit درباره چسباندن روی پیتزا که هوش مصنوعی گوگل شروع کرد به دور زدن به عنوان یک دستور العمل جدی در یکی از نمونه های قابل توجه امسال.

برخی از مقامات دفاعی امسال گفتند که یک دشمن هوشمند می تواند فراتر رفته و عمداً خطاها را در داده های آموزشی وارد کند و هر هوش مصنوعی ساخته شده بر روی آن را برای ایجاد خطاهای قابل بهره برداری "مسموم" کند. در مقابل، پنتاگون سیستم های هوش مصنوعی را ترجیح می دهد که بر اساس اسناد رسمی و سایر مجموعه های داده های دولتی آموزش دیده باشند و صفحات و پاراگراف های خاصی را به عنوان شواهد پشتیبان برای پاسخ های خود ذکر می کنند تا کاربر انسانی بتواند خود را دوباره بررسی کند.

هیچ یک از این ضمانت ها تضمین نمی شوند که کار کنند، و هوش مصنوعی مولد همچنان می تواند اشتباه کند. اما دست کم نرده های محافظ اکنون به اندازه ای قوی هستند که پنتاگون در حرکت به جلو در سال 2025 احساس امنیت کند.


منبع: https://breakingdefense.com/2024/12/how-the-pentagon-domesticated-the-chatbot-2024-in-review/