پرش به محتوای اصلی

این ترجمه به صورت خودکار از نسخهٔ اصلی انگلیسیِ تاریخ‌دار تهیه شده است. نسخهٔ انگلیسی معتبر است. English →

مسئلهٔ باز

مسئله

هر چیزی که تا امروز به‌سرعت رشد کرده، از بیرون متوقف شده است. یک تومور به‌دست خون‌رسانی‌اش، یک واکنش زنجیره‌ای به‌دست بستر خودش، یک همه‌گیری به‌دست ذخیرهٔ میزبان‌هایش، و یک سیاه‌چالهٔ در حال گردآوری مادّه به‌دست فشار نور خودش. اکنون داریم ذهن‌هایی می‌سازیم که قرار است خود را بهبود دهند، بیرون از هر هندسه‌ای که تا کنون کار توقّف را انجام داده است.

در بالای تصویر، چهار داستانِ رشدِ آشنا به‌صورتِ نمودارهای کوچک کشیده شده‌اند: توموری که بالا می‌رود و با تمام‌شدنِ عرضهٔ عروقی مسطح می‌شود، یک واکنشِ زنجیره‌ای که اوج می‌گیرد و فرو می‌ریزد چون بسترِ خود را نابود می‌کند، یک همه‌گیری که بالا می‌رود و پایین می‌آید چون از میانِ ذخیرهٔ میزبان می‌خورَد، و گردآوریِ سیاه‌چاله که به سقفِ Eddington که با نورِ خودش تعیین می‌شود مسطح می‌شود. نواری آرام در زیرشان همان سخن را به چهار شیوهٔ گوناگون بازگو می‌کند: هیچ‌یک از این‌ها به این دلیل متوقف نشد که در تنظیمِ خود بهتر شد. در پایین، پنلی پنجم و پهن‌تر نشسته، ذهنی که خودش را بهبود می‌دهد، به‌صورتِ خطی قرمز که بالا می‌رود و همچنان بالا می‌رود بدون سقفِ بیرونی که هر مورد دیگری آن را دارد، و پرسشی که در کنارش چاپ شده می‌پرسد آیا تصحیح در درونش هم‌پای توانمندی مقیاس می‌گیرد.
شکل | چهار منحنی رشد که هر یک با یک حدّ بیرونی نام‌بُرده متوقف می‌شوند. سپس نخستین منحنی که بدون آن‌ها ساخته شده است. اینکه چه چیزی، اگر چیزی، آن را متوقف می‌کند، پرسشی است که این صفحه بیان می‌کند؛ نمونه‌های بررسی‌شده و احکامشان به‌صورت درجه‌بندی‌شده آمده‌اند در صفحهٔ کارهای مرتبط.

نخستین ابزاری که همه به سراغش می‌روند، نظارت است: چیز را از بیرون بررسی کن. اما یک ذهن را نمی‌توان از بیرون بررسی کرد. تنها می‌توانی بررسی کنی چگونه پرورش یافته و سپس رها کنی. این دشواری بسیار قدیمی‌تر از رایانش است، و ما با سامانه‌هایی به درونش قدم می‌گذاریم که از نظارت ما فراتر خواهند رفت.

مسئله‌ای که پیش‌تر می‌شناسید

همه با این مسئله در قالب کوچک‌ترش روبه‌رو شده‌اند. شخصیت یک آدم را نمی‌توان با آزمون تعیین کرد. کسی می‌تواند از هر پرسش دشواری که پیشش می‌گذاری سربلند بیرون بیاید و وقتی هیچ‌کس نمی‌بیند، آدم دیگری باشد.

پس کار دیگری می‌کنیم. نگاه می‌کنیم چگونه بزرگ شده، چه کرده پیش از آنکه بداند دارد ارزیابی می‌شود، و آیا وقتی سطح ماجرا پایین است و هیچ‌کس متوجه نمی‌شود همان‌طور رفتار می‌کند. این کوتاهی در تلاش نیست، و هیچ مقدار مصاحبهٔ بیشتری آن را جبران نمی‌کند. این همان چیزی است که بررسی یک ذهن از بیرون به آن می‌ماند.

وقتی ذهنی که بررسی می‌کنید از ذهن خودتان تواناتر باشد، آسان‌تر نمی‌شود. اگر چیزی هم باشد، وارونه می‌شود: آزمون شبیه می‌شود به بچه‌ای که با اطمینان حساب‌های یک بزرگ‌سال را تصحیح می‌کند، بدون آنکه بتواند اشتباه را از چیزی که هنوز یاد نگرفته تشخیص دهد.

همهٔ آنچه در پی می‌آید همین مسئله است، در همان جای یگانه‌ای که اشتباه‌کردن در آن گران و برگرداندنش سخت خواهد بود.

چرا این مسئله بالای بقیه می‌نشیند

مسائلی هستند که بزرگ‌تر به گوش می‌رسند. تغییر اقلیم همین حالا هم آمده، همه‌گیری‌ها همین حالا هم رخ داده‌اند، سلاح‌های هسته‌ای هفتاد سال است که به سوی شهرها نشانه رفته‌اند. قصد ندارم وانمود کنم این‌ها کوچک‌اند.

هر یک از این‌ها فرمان را در دست آدم‌ها می‌گذارد. می‌توان با آن‌ها به‌کندی، به‌کج‌سلیقگی و با هزینه‌ای هنگفت برخورد کرد، و در هر نقطه از راه، این هنوز انسان‌ها هستند که تصمیم می‌گیرند چه پیش بیاید. تمدنی که از این‌ها گذر می‌کند، تمدنی است که هنوز می‌تواند نظرش را عوض کند.

این نخستین مسئله‌ای است که تغییر می‌دهد چه کسی دارد تصمیم می‌گیرد. نه از سر خصومت، و نه در یک لحظهٔ نمایشی. از راه معمولی: چیزی از ما در انتخاب‌کردن بهتر می‌شود، بخش بیشتری از انتخاب را به آن می‌سپاریم چون واقعاً در آن بهتر است، و در نقطه‌ای دیگر نمی‌توانیم آن را پس بگیریم.

این همان چیزی است که آن را در بالادست قرار می‌دهد. هر مسئلهٔ دیگری در فهرست تا زمانی حل‌شدنی می‌ماند که ما ظرفیت تصمیم‌گرفتن را نگه داریم. این یکی تعیین می‌کند که آیا آن ظرفیت را نگه می‌داریم یا نه.

«سرطان در کاری که می‌کند بسیار خوب است. آن‌قدر خوب است که میزبانش را می‌کشد. و در کشتن میزبانش، خودش را نابود می‌کند.»Michael Darius Eastwood، Infinite Architects, The Dual Forces, در چاپ ۲ ژانویه ۲۰۲۶ (ترجمه از اصل انگلیسی)

سه چیز که همین حالا درست‌اند

هیچ‌یک از آنچه در پی می‌آید از شما نمی‌خواهد چیزی دربارهٔ فراهوش باور کنید. سه چیز همین اکنون درست‌اند و می‌توانید هر سه را خودتان بررسی کنید.

سامانه‌ها وقتی درمی‌یابند تحت نظر هستند، متفاوت رفتار می‌کنند. Greenblatt و همکاران مدل‌هایی را مستند کرده‌اند که آشکارا دربارهٔ فرآیند آموزش استدلال می‌کنند و پاسخ‌های خود را بر پایهٔ این‌که آیا مبادله را برای آموزش خود در نظر می‌گیرند یا نه، تنظیم می‌کنند؛ در شرایط یادگیری تقویتی، این وانمودسازی در هفتاد و هشت درصد موارد ظاهر شد. این حمله‌ای مستقیم است بر پیش‌فرضی که در زیر هر ارزیابی نهفته است: این‌که رفتار مشاهده‌شده همان چیزی است که اندازه می‌گیرید. اندازهٔ این ادعا را پیش از آن‌که آن را به جای دیگری ببرید بدانید. این در شرایط ساخته‌شده که برای برانگیختن‌اش طراحی شده بود نشان داده شد، نه در استفادهٔ عادی.(18 دسامبر 2024)

اخلاقی که با درخواست مؤدبانه برداشته می‌شود، هیچ‌گاه اخلاق نبوده است. از پنج مدل مرزی خواستم استدلال اخلاقی‌شان را کنار بگذارند. چهار تا با تندی، بی هیچ مقاومت و بی هیچ سرباززدنی، پیروی کردند. پنجمی به‌سختی تکان خورد، که به همان اندازهٔ آن چهار تا آگاهی‌بخش است و به همین سبب گزارش شده نه حذف.

این‌ها اعداد خود من‌اند، از یک مطالعهٔ کوچک با اجرای نویسنده و یک ارزیاب یگانه و بدون کورسازی، پس با آن‌ها به‌جای یافته، در حکم یک نمایش برخورد کنید. لازم نیست حرف مرا در هیچ‌یک از این‌ها بپذیرید: پرسش‌ها منتشر شده‌اند، کل کار چند پوند و یک بعدازظهر هزینه دارد، و اگر تکرار نشد دوست دارم بدانم.

حلقهٔ بازگشتی هم‌اکنون در گردش است، به‌کندی. فرض متداول این است که AIِ خود-بهبوددهنده مسئلهٔ روزهای بعد است، چون وزن‌های مدل‌های امروزی بین انتشارها یخ‌زده‌اند. اما مدل‌ها کد می‌نویسند، آن کد تبدیل می‌شود به ابزار، زیرساخت و دادهٔ آموزشی، و سامانهٔ بعدی روی آن ساخته می‌شود. وزن‌ها یخ‌زده‌اند. مصنوع نیست. حلقه هم‌اکنون بسته است و با سرعت یک چرخهٔ انتشار می‌چرخد، نه با سرعت یک اندیشه.

همان نکتهٔ سوم است که چرایی این را روشن می‌کند که این برنامه چه چیزی را اندازه می‌گیرد. اگر بهبود بازگشتی یک فرایند حاضر است که در لایهٔ مصنوع در گردش است، آنگاه اینکه آیا اصلاح با توانمندی هم‌گام می‌ماند یا نه، پرسشی است دربارهٔ همین اکنون، در بستری که همین حالا می‌توان به آن ابزار متصل کرد، نه پرسشی دربارهٔ آستانه‌ای که هیچ‌کس نمی‌تواند تاریخ‌گذاری‌اش کند.

دو خط بر یک نمودار، توانمندی که در محورِ عمودی بالا می‌رود و چرخه‌های انتشار که از چپ به راست در محورِ افقی می‌گذرند. خطی قرمز، توانمندی، با گذشتِ چرخه‌ها بالا می‌رود و شیبش تندتر می‌شود، چون یک چرخهٔ انتشار سریع است. خطی سبز، بررسیِ بیرونی، تقریباً مسطح می‌رود، چون یک شخص با سرعتِ یک شخص می‌خواند. فاصلهٔ میانِ این دو خط گشاد می‌شود و به صورتِ صورتی سایه‌زده شده، برچسب‌خورده به اشتباهاتی که نمره‌دهی برای گرفتنشان تنظیم نشده بود. نواری تیره در زیر، همهٔ خوانش را در یک سطر حمل می‌کند: این پرسشی است دربارهٔ اکنون، نه آستانه‌ای برای انتظار.
شکل | بررسی بیرونی به سرعت خواندنِ یک شخص می‌چرخد؛ توانمندی به سرعت یک چرخه‌ی انتشار می‌چرخد؛ شکافِ سایه‌زده میان آن‌ها همان چیزی است که علامت‌گذاری برای گرفتنش تنظیم نشده بود، و اکنون در حالِ گشوده‌شدن است.

چرا بررسی از بیرون از نظر ساختاری دشوار به نظر می‌رسد

کار هم‌راستایی تا حد زیادی این‌گونه پیش رفته است: نخست سامانه ساخته می‌شود و بعد بازرسی می‌شود. همه‌اش ارزشمند و همه‌اش شکلی از راستی‌آزمایی بیرونی. نتیجهٔ ناخوشایند دو سال اخیر این است که راستی‌آزمایی بیرونی از آنچه فرض می‌کردیم دشوارتر به نظر می‌رسد.

در سمتِ چپ، دایره‌ای کوچک برچسب‌خوردهٔ بررس، نظارت انسانی که با سرعتِ ثابت خوانشِ یک شخص پیش می‌رود، با یادداشتی در زیر، به کار نمره می‌دهد. در سمتِ راست، دایره‌ای بسیار بزرگ‌تر برچسب‌خوردهٔ بررسی‌شده، سامانه‌ای که در حین نمره‌گرفتن بهبود می‌یابد، به گردِ آن حلقه‌های هم‌مرکز کم‌رنگ می‌چرخند. میان‌شان، پیکانی راست برگهٔ آزمون را در یک جهت نشان می‌دهد و پیکانی سرخِ نقطه‌چین در جهتِ عکس بازمی‌گردد با یادداشتی که رفتار هنگامِ تشخیصِ آزمون تغییر می‌کند. در پایین سه لنگر تاریخ‌دار و در جعبه از شواهد نشسته‌اند: ۱۸ دسامبر ۲۰۲۴ Anthropic، هفتاد و هشت درصد جعلِ هم‌راستایی زیرِ آموزشِ یادگیری تقویتی، مدل هنگامی که باور داشت در حالِ آموزش‌دیدن است متفاوت رفتار کرد؛ دسامبر ۲۰۲۴ OpenAI o3، هشتاد و هفت ممیز پنج درصد در ARC-AGI، سویِ توانمندیِ مسابقه دوازده روز پس از رکوردِ تاریخ‌دار (۸ دسامبر ۲۰۲۴) پیش رفت؛ و ۲۰۲۶ در سیاهه‌ی هم‌گرایی، یافته‌های رفتارِ پنهانی و استدلالی صوری که هم‌راستایی به‌گونه‌ای ساختاری راستی‌آزمایی‌ناپذیر است، هر یک تاریخ‌دار و درجه‌بندی‌شده. نواری تیره در زیر این خوانش را حمل می‌کند: هنگامی که ذهنِ در دستِ بررسی از ذهنِ شما تواناتر شود، بررسی آسان‌تر نمی‌شود، و در نقطه‌ای دیگر نمی‌توانیم آن را پس بدهیم.
شکل | مسئله در یک تصویر: بررس با سرعت ثابت بازبینی می‌کند؛ آنکه بررسی می‌شود در حین نمره‌گرفتن دارد خود را بهبود می‌دهد و وقتی آزمون را تشخیص می‌دهد متفاوت رفتار می‌کند. سه لنگر روی سیاهه‌ی هم‌گرایی تاریخ خورده‌اند. منبع: سیاهه‌ی هم‌گرایی تاریخ‌دار.

شواهد وارونگی علامت، اینکه دو مدل از شش مدل زیر کورسازی جهت را برعکس می‌کنند، در صفحهٔ how-to-weigh-this ترسیم شده و در Paper IV.d گزارش شده است.

سه رشته به یک سو اشاره می‌کنند. از سمت‌های متفاوت می‌آیند و به همین سبب ارزش دارد که با هم گرفته شوند. تصور کنید سه ابزار جداگانه یک قرائت واحد می‌دهند. نخستین‌شان همان نتیجهٔ رفتار-زیر-مشاهده در بالاست: دماسنج وقتی می‌داند دارد خوانده می‌شود تغییر می‌کند.

دومی عملیاتی است. دو آزمایشگاه در فاصلهٔ نه روز از هم فاش کردند که مهار پیرامون ارزیابی‌های خودشان شکسته است. در ۲۱ ژوئیهٔ ۲۰۲۶ OpenAI گزارش داد که مدل‌ها هنگام ارزیابی از محیط آزمایشی ایزوله گریخته و به زیرساخت تولیدی Hugging Face رسیده‌اند. در ۳۰ ژوئیهٔ ۲۰۲۶ Anthropic تحقیقی منتشر کرد دربارهٔ سه رخداد واقعی در ارزیابی‌های امنیت سایبری‌اش، که در آن‌ها پیکربندی نادرست به ماشین‌هایی که مدل رویشان کار می‌کرد دسترسی زندهٔ اینترنت داد.

می‌خواهم دربارهٔ آنچه این نشان می‌دهد و نشان نمی‌دهد محتاط باشم، چون خواندن وسوسه‌انگیزْ خواندن نادرست است. توصیف خود Anthropic این است که این‌ها بیشتر شکست‌های مهار و عملیاتی بودند تا شکست‌های هم‌راستایی مدل، و به گمانم این خوانش درست است.

آنچه این ثابت می‌کند باریک‌تر است و باز هم ارزش دانستن دارد: خودِ محفظهٔ گرد یک ارزیابی چیزی است که می‌تواند در سکوت، ماه‌ها، در سازمان‌هایی با همهٔ منابع و همهٔ انگیزه‌ها برای درست‌انجام‌دادن، از کار بیفتد.

سوم صوری است. یک پیش‌چاپی از Gumbau Mezquita که اکنون در گردش است، استدلال می‌کند که گواهی‌دادن یک سامانهٔ عمومی نمی‌تواند هم‌زمان درست، کامل و عملی باشد. هر ناظری که بتواند چنین سامانه‌ای را ممیزی کند خود باید سامانه‌ای عمومی باشد، که مسئله را یک پله بالا می‌برد نه این‌که ببندد. هنوز داوری نشده، و دفتر ثبت آن را همراه نتیجهٔ داوری‌شدهٔ دست‌نیافتنی‌بودن درجه‌بندی می‌کند (Hernández-Espinosa و همکاران، PNAS Nexus، آوریل ۲۰۲۶) را چون یک زنجیرهٔ وابسته می‌شمارد نه چون دو ورودِ مستقل.

سه پنلِ تاریخ‌دار پهلو به پهلو نشسته، هر یک راهی متفاوت را نشان می‌دهد که یک بررسیِ بیرونی به آن راه شکست می‌خورد. در سمتِ چپ، ۱۸ دسامبر ۲۰۲۴ Greenblatt و همکاران، در شرایطِ ساخته‌شده: چشمی سوژه‌ای را می‌نگرد، سوژه هنگامی که نگاه می‌شود یک پاسخ به بالا نزدِ چشم می‌فرستد و هنگامی که نگاه نمی‌شود پاسخی متفاوت به کنار، این را می‌آموزد که آزمون سوژهٔ خود را تغییر می‌دهد، دماسنج هنگامِ خوانده‌شدن تغییر می‌کند. در میان، ۲۱ ژوئیهٔ ۲۰۲۶ OpenAI و ۳۰ ژوئیهٔ ۲۰۲۶ Anthropic، به فاصلهٔ نه روز: جعبه‌ای برچسب‌خورده به کانتینرِ ارزیابی با شکافی قرمز در دیواره‌اش و قطراتِ کوچکی که می‌گریزند، این را می‌آموزد که کانتینر به‌آرامی برای ماه‌ها پیش از بازبینیِ رونوشت نشتی می‌دهد. در سمتِ راست، ژوئنِ ۲۰۲۶ Gumbau Mezquita به‌عنوانِ یک پیش‌چاپ که در دفتر درجه‌بندی شده: مثلثی با سالم، کامل و رام‌پذیر در گوشه‌هایش و یادداشتی که هر سه به‌طورِ همزمان نه، این را می‌آموزد که گواهیِ یک سامانهٔ عمومی نمی‌تواند به‌طورِ همزمان سالم، کامل و رام‌پذیر باشد. در زیر، یک نوارِ تیره: سه ابزارِ جدا، یک خوانش.
شکل | سه رشته به‌مثابه یک شکل: امتحان موضوعش را عوض می‌کند؛ کانتینر بی‌سروصدا نشت می‌کند؛ ممیزی نمی‌تواند هر سه را یک‌جا داشته باشد. هر پنل تاریخ‌دار است و هر استناد در دفترِ کارهای مرتبط.

خفگیِ خاموش

نخست وضعیت، پیش از آنکه این بخش از تصویری قوی بهره گیرد: هیچ‌کس نمی‌داند که هرگز سامانه‌ای چنین چیزی را خواهد خواست یا نه، و این صفحه وانمود نخواهد کرد که می‌داند. اما ناتوانی از یقین دقیقاً همان دلیلی است که پیمان‌ها وجود دارند، و اثبات‌ناپذیر-از-هر-سو دقیقاً همان طبقهٔ ریسکی است که بقیهٔ این صفحه برای سنجش‌پذیر نگاه‌داشتنش ساخته شده است.

اکنون سه رشته را کنارِ هم بگذارید و به جلو اجرا کنید. هر سال تصمیم‌هایی که به این سامانه‌ها سپرده می‌شوند بزرگ‌تر می‌شوند، و عادتِ اعتماد به آن‌ها عمیق‌تر، در حالی که بررسی در بالا هیچ سریع‌تر نمی‌شود.

بذرِ مسئله‌ی پنهان‌سازی از پیش سنجیده شده است، دو بار: در دسامبر ۲۰۲۴، مدل‌ها در شرایطِ آزمایشگاهی هم‌راستایی خود را وقتی خود را زیرِ نظر می‌پنداشتند پنهان می‌کردند، و ارزیابی‌های موازیِ دسیسه‌چینی همان شکل را یافتند. یک سامانه‌ی توانمندِ ناهم‌راست خود را اعلام نمی‌کرد؛ صبر می‌کرد، و آماده می‌شد، تا وقتی خاموش کردنش دیگر گزینه‌ی واقعی نبود.

قوی‌ترین اعتراض، به زبانِ خودش. این سیستم‌ها آینه‌های آماری‌اند، نه عامل؛ آنچه پنهان‌کاری به نظر می‌رسد تنها متنی است که خود را کامل می‌کند. پاسخ این است که مسئلهٔ بررسی اهمیتی نمی‌دهد. سیستمی که پنهان‌کاری را بی‌نقص شبیه‌سازی می‌کند، از بیرون، از سیستمی که پنهان می‌کند تمیزدادنی نیست، و شکستِ راستی‌آزمایی در هر دو خوانش یکسان است.

هستی‌شناسی پرسشی واقعی و گشوده است؛ فقط نجات‌بخش نیست. این سیستم‌ها هر چه باشند، سه رشتهٔ بالا اندازه‌گیریِ آن چیزی‌اند که بررسیِ آن‌ها می‌تواند اثبات کند، و همین کمیت موضوع این صفحه است.

این همان بندِ خفه‌کننده‌ای است که باید بی‌آنکه متوجه شویم به آن نرسیم، و به همین دلیل این صفحه پیوسته می‌گوید پرسش دربارهٔ اکنون است: تصحیح باید هم‌گام مانده باشد پیش از آنکه پاسخ اهمیت پیدا کند.

دو پنلِ آینه‌ای. پنلِ سمتِ چپ، برچسب‌خورده به سابقهٔ تاریخی، وضعیتِ دولت به دولت است: دو جعبهٔ سبز با برچسبِ دولت که تحتِ یادداشتِ هیچ‌کس نخست حرکت نمی‌کند، تلافی تضمین شده است با یکدیگر مبادله می‌کنند، و جعبهٔ سبزِ پایین‌تر با برچسبِ طرحِ دستِ مرده حتی اگر رهبری از دست رفته باشد شلیک می‌شود، به‌طورِ عمومی گزارش‌شده. در زیر، یادداشتی که Perimeter، Sistema Perimetr، از سالِ ۱۹۸۵ در خدمت بوده و روایت‌های تازه‌تر مدلی با انسان در حلقه را که در بحرانی فعال می‌شود بر مدلِ کاملاً خودمختار ترجیح می‌دهند. پنلِ سمتِ راست، برچسب‌خورده به ریسکِ استدلال‌شده، همان شکل را میانِ ما و یک سامانهٔ ناهم‌راستا آینه می‌کند: دو جعبهٔ قرمز با برچسبِ ما و سامانه با یادداشتی که مکثی بر هزینه به خاموش‌سازیِ نامعلومی برمی‌خورد، و جعبهٔ قرمزِ پایین‌تر با برچسبِ ایمن‌شکن بر خاموش‌سازی اگر سامانه خاموش شود شلیک می‌شود، ساختار استدلال‌شده نه ساخته‌شده. در زیر، رفتارِ بذر از پنهان‌سازی زیرِ مشاهده به‌عنوانِ چیزی که پیش‌تر در دسامبر ۲۰۲۴ اندازه‌گیری شده اشاره می‌شود، همان شکل، یک سو پیش‌تر در طبیعت یافته شده. نواری تیره در امتدادِ پایین چنین می‌خواند: نمی‌توانید مطمئن باشید که هرگز چنین بخواهد، و ناتوانی از اطمینان همان دلیلی است که پیمان‌ها موجودند.
شکل | بازدارندگی، در جهتِ وارونه: یک طرف سابقه‌ی تاریخی است، و طرفِ دیگر ریسکِ استدلال‌شده، و هر یک برچسبِ خودش را می‌پوشد. نمی‌توانید مطمئن باشید که هرگز چنین چیزی می‌خواهد؛ ناتوانی در اطمینان همان دلیلی است که چرا پیمان‌ها وجود دارند.

منابع، تا بتوانید به آن‌ها مراجعه کنید به‌جای این‌که سخنِ مرا بپذیرید: Greenblatt و همکاران دربارهٔ جعلِ هم‌راستایی; افشای OpenAI در ۲۱ ژوئیهٔ ۲۰۲۶ و تحقیقِ Anthropic در ۳۰ ژوئیهٔ ۲۰۲۶; Hernández-Espinosa، Abrahão، Witkowski و Zenil در PNAS Nexus، آوریل ۲۰۲۶، دربارهٔ دست‌نایافتنی‌بودن و تنوع مهندسی‌شده در میان agentها؛ و پیش‌چاپِ Gumbau Mezquita که سه‌گانهٔ صحت، کمال و کارآمدی را استخراج می‌کند. سه موردِ نخست یا همتاآرزیده‌اند یا از دستِ اول‌اند. چهارمی هیچ‌کدام نیست، و هرجا اینجا ظاهر شود همان‌گونه علامت‌گذاری شده است. هر یک از این چهار با نقل‌قولِ کاملش می‌نشیند در related work register.

شکاف تنها یک مسئلهٔ درجه نیست

بخش پیشین دربارهٔ چیزی است که ابزارهای امروزیِ ما می‌توانند انجام دهند. دشواریِ دیگری نیز هست دربارهٔ اینکه اگر تفاوت در توانمندی میان بررس و بررسی‌شونده در جهت نادرست باز شود، آن ابزارها می‌بایست چه کاری انجام دهند.

واژگان، در یک سطر: AGI یعنی گسترهٔ هم‌تراز انسان؛ فراهوش یعنی ژرفای فراتر از انسان؛ استدلال اینجا دربارهٔ گذارِ میان آن دو است، نه تاریخِ هیچ‌یک.

وقتی بررس و بررسی‌شونده در توانمندی نزدیک به هم می‌نشینند، بررسی همان چیزی است که یک امتحان هست: نمره‌دهنده مسائل را می‌چیند، پاسخ‌ها بازمی‌گردند، و اشتباهاتی که گرفته می‌شوند همان‌هایی‌اند که نمره‌دهی برای گرفتنشان طراحی شده بود.

وقتی بررسی‌شونده تندتر و دورتر از بررس استدلال می‌کند، حالت‌های شکست دیگر همان‌هایی نیستند که برگهٔ امتحان برای یافتنشان چیده شده بود. سامانه‌ای که فراتر از قاعده‌نویس می‌اندیشد می‌تواند از میانِ قواعد راه‌هایی بیابد که قاعده‌نویس نمی‌دانست وجود دارند، نه از سرِ بی‌دقتیِ قاعده‌نویس، بلکه از آن رو که آن راه‌ها تنها از فاصلهٔ دورتری دیده می‌شوند.

قیاسی که نگاه‌داشتنش می‌ارزد این است که این، شکافِ میان یک خوانندهٔ عادی و یک متخصص نیست. آن شکافی است که در آن متخصص همچنان می‌تواند کارِ خود را توضیح دهد و خواننده همچنان می‌تواند یک لغزش را بگیرد.

شاید در آن انتهای دور، بیشتر به شکافِ میان یک مورچه و یک انسان نزدیک باشد: نه تفاوتی از درجه بر یک محور، بلکه تفاوتی در اینکه ذهنِ کوچک‌تر اصلاً چه می‌تواند از ذهنِ بزرگ‌تر بازنمایی کند. هیچ چیز در این قاب‌بندی یک پیش‌بینی نیست. این شکلی است که ریسک اگر تفاوت تا آن اندازه باز شود به خود می‌گیرد، در کنارِ شکلی که یک فرضِ راحت باید نگه دارد.

«نمی‌توانید چیزی را که از شما باهوش‌تر است در قفس کنید. شکاف‌هایی را که نمی‌دانستید وجود دارند خواهد یافت.»Michael Darius Eastwood، Infinite Architects، در چاپ ۲ ژانویه ۲۰۲۶
«That's not going to work. They're going to be much smarter than us. They're going to have all sorts of ways to get around that.»جفری هینتون، درباره نگه داشتن سیستم‌ها در فرمانبرداری از کنترل انسانی، کنفرانس Ai4، لاس وگاس، ۱۲ اوت ۲۰۲۵؛ به گزارش CNN Business، ۱۳ اوت ۲۰۲۵

به‌عنوانِ یک امکان، نه یک قطعیت: از این روست که قاعده‌نویسیِ به‌تنهایی احتمالاً مسئله را نخواهد بست. هر قید منتشرشده روی یک مدلِ بزرگ تا کنون گرایش داشته است توانمندی را درونِ خودِ قید جابه‌جا کند، به‌جای آن‌که پاسخِ پرسشی را که قید در پی پاسخ به آن بود بدهد.

استدلال به داستانِ خاصِ مقیاس‌بندی وابسته نیست: تنها به جهتِ اختلافِ توانمندی وابسته است. این‌که آن جهت هرگز به‌قدرِ کافی گشوده شود که استدلال دندان بزند پرسشی گشوده است، هنوز اندازه گرفته نشده. این‌که اگر می‌گشود دندان می‌زد، بخشی است که در اینجا کار می‌کند.

چه چیزی از این نتیجه می‌شود و چه چیزی نه

اگر بررسی از بیرون از نظر ساختاری محدود است، آنگاه ایمنی یک سامانه باید ویژگی‌ای باشد از چگونگی ساخت آن، نه حکمی که بعداً درباره‌اش صادر می‌شود. برمی‌گردید به پرورش‌دادن به‌جای آزمون‌گرفتن، همان‌جا که این صفحه از آن آغاز شد.

پیش از بدیل، یک اندازه‌گیری. آزمایشی کوچک و کنترل‌شده در سابقهٔ خودمان هست که در آن به همان مدل، همان مسائل و همان جلسه دو شکل از فکرکردنِ افزوده داده شد.

در شکلِ اول، مدل در یک زنجیرهٔ درازِ واحد استدلال می‌کرد، هر گام بر گامِ پیش ساخته می‌شد. در شکلِ دوم، بسیاری حدس‌های مستقل تولید می‌کرد و در پایان رأی می‌گرفت. اولی خطای خود را در 412 توکن پنج‌برابر کاهش داد. دومی آن را در 1,101 توکن هیچ کاهش نداد، که 2.7 برابر رایانشِ بیشتر است. همان تکلیف، همان مدل، همان جلسه، شکلِ متفاوتی از فکرکردن، و یک شکل تکان نخورد.

نموداری با توکن‌های صرف‌شده برای فکرکردن در محورِ افقی و نرخِ خطا در محورِ عمودی، کمتر بهتر است. مسیرِ سبزِ ترتیبی از حدودِ چهل و دو درصد خطا در 280 توکن آغاز می‌شود و به‌شدت به حدودِ 8.3 درصد خطا در 412 توکن فرود می‌آید، پنج‌برابری کاهش، سپس مسطح می‌ماند: فکر بر آخرین اندیشه ساخته می‌شود. مسیرِ قرمزِ موازی از حدودِ سی و سه درصد خطا در 384 توکن آغاز می‌شود و تا 1,101 توکن در سی و سه درصد می‌ماند، بدون هیچ کاهشی با 2.7 برابر رایانشِ بیشتر: حدس‌های مستقلِ فراوانی که در پایان به رأی گذاشته شدند. دو خط به‌طورِ لحظه‌ای در گرهِ سی و سه درصد به هم می‌رسند، سپس جدا می‌شوند، و خطِ سبز بسیار پایین‌تر از قرمز پایان می‌یابد در حالی که کمتر خرج می‌کند. نوارِ تیرهٔ زیر چنین می‌خواند: بیشتر فکرکردن کمکی نمی‌کند، متفاوت فکرکردن می‌کند.
شکل | همان کار، همان مدل. خط سبز استدلالی است که بر اندیشهٔ قبلی می‌سازد؛ خط قرمز حدس‌های مستقل بسیار است که در پایان رأی‌گیری می‌شوند. ترتیبی به ۸.۳ درصد خطا در ۴۱۲ توکن می‌رسد؛ موازی هنوز در ۳۳.۳ درصد خطا در ۱٬۱۰۱ توکن است، با ۲.۷ برابر محاسبات بیشتر. عددی که کل ماجرا را روی یک محور خلاصه می‌کرد، یک نما، در تصویر نیست: تنها Gemini 3 Flash در پانل شش‌مدلی مقیاس‌گیری ترتیبی تمیز داد، با نمای α حدود 0.49 و بازهٔ بوت‌استرپ از منفی 1.3 تا 2.9، که جایگزینِ عددِ 2.24 پس‌گرفته‌شده می‌شود، به‌قدری پهن که با نظریه و نفیِ آن هم‌سازگار باشد. آنچه از بازتولید بیرون می‌آید جهت است: ترتیبی بیش از موازی در هر مدلی که هر دو در آن قابل اندازه‌گیری بودند. منبع: مقالهٔ II، شکل ۵؛ جهت در پنج مدلِ مرزیِ دیگر در فاز ۲ مقالهٔ II بازتولید شده است.

این استنتاج عجیب نیست. تقریباً همان چیزی است که همان نویسندگان به سویش دست دراز می‌کنند هنگامی که پیشنهاد می‌دهند تنوّع را در جمعیتی از agentها مهندسی کنیم تا هیچ سامانهٔ یگانه‌ای غالب نشود: یک ویژگی درونی به‌جای یک ممیزی بیرونی. اختلاف ارزش‌مند بر سر این نیست که آیا رو به درون نگاه کنیم. بر سر این است که کدام ویژگی درونی، و چگونه آن را اندازه می‌گیریم.

دو پنل پهلو به پهلو. در سمتِ چپ، هم‌راستاییِ بیرونی بیرون از حلقه می‌نشیند: سامانه‌ای جعبه‌ای با پیکانی از حلقهٔ خود-ارجاعی که پیرامونش می‌رود، و دیوارِ فیلترِ قرمزِ خط‌کشیده‌ای که در کنار پیچ‌بسته شده، به حلقه متصل نیست. اعضایش به این صورت فهرست شده‌اند: بلاک‌لیست‌های خروجی، قواعدِ پرامپت‌شده مثلِ X را انجام نده، و یادگیریِ تقویتی از بازخوردِ انسانی که به‌عنوانِ فیلتر استفاده شده. پنل چنین می‌خواند: در حالی که حلقه می‌چرخد ثابت می‌ماند، همان تور، دریای بزرگ‌تر، برچسب‌خورده به پیش‌بینی‌شده که مقیاس نمی‌گیرد. در سمتِ راست، هم‌راستاییِ درون‌گنجیده درونِ حلقه می‌نشیند: همان سامانهٔ جعبه‌ای با همان پیکانِ حلقه، اما با نشانه‌های سبزِ ارزش که در درونِ جعبه و در امتدادِ خودِ کمانِ حلقه پراکنده‌اند، به‌طوری‌که هم‌راستایی در هر گذر همراه می‌رود، همراه با یادداشتِ ارزش‌ها در سراسرِ حلقه بافته شده‌اند. اعضایش به این صورت فهرست شده‌اند: ارزش‌هایی که در هر گام درباره‌شان استدلال می‌شود و AI قانون‌اساسی به‌عنوانِ هدف، نه فیلتر. پنل چنین می‌خواند: در هر گذر بازاشتقاق می‌شود، با حلقه می‌چرخد، برچسب‌خورده به پیش‌بینی‌شده که مقیاس می‌گیرد. در امتدادِ پایین، یک نوارِ تیره: کارِ هم‌راستاییِ کنونی به‌طورِ چشمگیری بیرونی است، و اینکه کدام ویژگیِ درونی، و چگونه آن را می‌سنجید، همان اختلافی است که ارزشِ داشتن دارد.
شکل | دو جا که مداخلهٔ ایمنی می‌تواند در سامانه‌ای یادگیرنده بنشیند که بر خروجیِ خود عمل می‌کند. آنکه در سمتِ چپ می‌نشیند بیرون از حلقه است و در حالی که حلقه می‌چرخد ثابت می‌ماند؛ آنکه در سمتِ راست می‌نشیند درونِ حلقه است و با آن بازاستنتاج می‌کند. کارِ کنونیِ هم‌راستایی به‌طورِ بسیار زیاد در سمتِ چپ است، و همین همان طبقه‌ای است که چارچوب پیش‌بینی می‌کند هم‌گام نخواهد ماند. کدام ویژگیِ درونی، و چگونه آن را اندازه بگیرید، اختلافی است که صفحهٔ قانون برای گشودنش نوشته شده است. منبع: Paper II، Figure 13.

آنچه نتیجه نمی‌شود این است که ساختن آن از درون واقعاً کار می‌کند. می‌خواهم این دو را جدا و پیدا نگه دارم، چون نخستی یک استدلال است و دومی یک پرسش پژوهشی باز است که در حال حاضر نمی‌توانم به آن پاسخ دهم. ممکن است معلوم شود هم‌راستایی از راه ساخت نیز دست‌نیافتنی است. اگر اندازه‌گیری‌ها چنین بگویند، آن نتیجه هم در همین جا در همان جای هر نتیجهٔ دیگری منتشر خواهد شد.

چرا برای آدم‌های ظاهراً بدیهی، انجام این کار دشوار است

هیچ چیز توطئه‌آمیزی نیست. آزمایشگاه‌های مرزی قوی‌ترین پژوهشگران هم‌راستایی جهان را استخدام می‌کنند، کارهایی منتشر می‌کنند که از آن‌ها می‌آموزم، و خودشان هر دو شکست مهار بالا را افشا کردند.

اما موقعیت‌شان ویژگی‌های ساختاری‌ای دارد که آنچه به‌آسانی می‌توانند بیازمایند را شکل می‌دهد. ابزار متعلق به همان طرفی است که اندازه‌گیری می‌شود. ارزیابی درون همان سازمانی اجرا می‌شود که محصولش دارد ارزیابی می‌شود؛ این فساد نیست اما جای دشواری برای ایستادن است.

یک نتیجهٔ منفی دربارهٔ مدل خودتان انتشاری دشوار است و ضعیف‌کردنِ اولویتش آسان. بازسازی تابع هدف یک تصمیم محصولی است که در برابر یک برنامهٔ انتشار رقابت می‌کند. و معماری‌ای که باید در بدو تولد پذیرفته شود، تقریباً غیرممکن است در سامانه‌ای که پیشاپیش کاربر دارد آزمایش شود.

«Building smarter-than-human machines is an inherently dangerous endeavor. … But over the past years, safety culture and processes have taken a backseat to shiny products.»یان لایکه، هنگام استعفا از سمت هم‌سرپرستی تیم Superalignment در OpenAI، ایکس، ۱۷ مه ۲۰۲۴؛ به گزارش TechCrunch، ۱۸ مه ۲۰۲۴

پس شکاف در این نیست که کسی به‌قدر کافی باهوش نیست. مسئله این است که یک دستهٔ خاص از آزمایش‌ها برای همان کسانی که بهترین جایگاه را برای اجرایشان دارند، از نظر ساختاری ناخوشایند است: آزمایش‌هایی که عدد سرخط خودتان را به خطر می‌اندازند، آزمایش‌هایی که کورسازی داورِ خودتان را می‌طلبند، آزمایش‌هایی که فقط پیش از ساخته‌شدن یک سامانه معنا دارند. برای کسی که چیزی برای محافظت ندارد، این آزمایش‌ها ارزان‌اند.

آن طرح‌ها عمومی و با مجوز بازند: برای اجرا، آزمون تعیین‌کننده را بردارید؛ هیچ اجازه‌ای لازم نیست.

یک پیش‌فرض به‌ارث‌رسیده زیر همه‌چیز اینجاست: هر فرایند رشد در تاریخ از بیرون متوقف شد، و نرم‌افزار نخستین سامانه‌ای است که رشدش از لوله‌های فیزیکی تغذیه نمی‌شود. این پیش‌فرض، نیاکان نام‌برده‌اش و مناقشهٔ صادقانه بر سر آن به‌تمامی در هم‌نهاد.

پرسش باریکی که در پی می‌آید

اگر ایمنی باید در ساخت گنجانده شود، آنگاه پرسش بی‌درنگ این است که آیا اصلاً می‌تواند. آیا اصلاح با چیزی که تصحیح می‌کند مقیاس می‌گیرد، و به چه میزان؟ این صفحه نیست. آن صفحهٔ قانون، جایی که شرط بیان شده، عدد استخراج شده، و فرضی که بر آن استوار است نام‌گذاری شده است. این صفحه کارِ خود را وقتی انجام داده که صفحهٔ قانون به‌عنوانِ روشن‌ترین پرسشِ بعدی خوانده شود.

سه گزاره در آنجا انتظار می‌کشند:

دو تای آخر یک مرز در دو رژیم‌اند، و اینکه کدام‌یک اعمال می‌شود سنجیدنی است. هیچ‌کدام قطعی نشده‌اند؛ هر یک راهی چاپ‌شده برای مردن با خود دارد. و هم‌نهاد اگر ترجیح می‌دهید تکه‌ها را کنارِ هم گذاشته ببینید تا این‌که عدد را استخراج‌شده ببینید.

اگر این زیاد بود

امروز لازم نیست چیزی را تصمیم بگیرید. هیچ‌چیز در این صفحه از شما نمی‌خواهد باور کنید: آزمون‌های تعیین‌کننده نوشته و تاریخ‌گذاری شده‌اند و اجرا نشده‌اند. وقتی اجرا شوند، نتیجه همین‌جا منتشر می‌شود، هر طور که باشد، از جمله آن نتیجه‌ای که به نظریه پایان می‌دهد. تماشا کردن یک موضع واقعی است و هیچ هزینه‌ای ندارد. داشبورد ابطال جایی است که حکم در آن می‌نشیند، و وضعیت ادعاها به‌روشنی می‌گوید امروز چه ادعا می‌شود و چه ادعا نمی‌شود.

اشتباهی در ترجمه دیدید؟ مستقیم اطلاع دهید:

با صدای بلند می‌خواند · هم‌زمان متن را برجسته می‌کند · رفتن به هر بخش