Цей переклад створено автоматично з датованого англійського оригіналу. Канонічною є англійська сторінка. English →

Відкрита проблема

Проблема

Усе, що будь-коли швидко зростало, зупинялося ззовні. Пухлина — своїм кровопостачанням, ланцюгова реакція — власним субстратом, епідемія — своїм пулом носіїв, чорна діра, що акретує, — тиском свого власного світла. Тепер ми будуємо розуми, покликані вдосконалювати самих себе, поза межами всіх геометрій, які здійснювали ці зупинки.

Перший інструмент, до якого всі тягнуться, є наглядом: перевірити річ ззовні. Але не можна перевірити розум ззовні. Можна перевірити лише те, як його виховували, а потім відпустити. Ця складність набагато старша за обчислювальну техніку, і ми входимо в неї із системами, які переростуть наш нагляд.

Проблема, яку ви вже знаєте

Кожен зустрічався з цією проблемою в меншій формі. Не можна встановити характер людини за допомогою іспиту. Хтось може розв'язати кожну складну задачу, яку ви йому поставите, і бути іншою людиною, коли ніхто не дивиться.

Тому ми робимо щось інше. Ми дивимося на те, як цю людину виховували, на те, що вона робила до того, як дізналася, що її оцінюють, і на те, чи поводиться вона так само, коли ставки низькі і ніхто не помітив би. Це не провал зусиль, і жодна кількість додаткових співбесід цього не виправить. Це те, на що схожа перевірка розуму ззовні.

Вона не стає легшою, коли розум, який ви перевіряєте, здібніший за ваш. Якщо на те пішло, все інвертується: іспит починає нагадувати дитину, яка перевіряє арифметику батька, впевнено і без жодного способу відрізнити помилку від того, чого дитина ще не вчила.

Усе, що нижче, є тією самою проблемою, в одному-єдиному місці, де помилитися було б дорого і важко повернути назад.

Чому саме ця проблема стоїть над іншими

Є проблеми, які звучать масштабніше. Кліматичні зміни вже тут, пандемії вже траплялися, ядерна зброя сімдесят років націлена на міста. Я не збираюся вдавати, що це малі проблеми.

Кожна з них залишає кермо в руках людей. З ними можна впоратися повільно, дурно і з величезними витратами, і на кожному кроці цього шляху рішення про те, що станеться далі, ухвалюють саме люди. Цивілізація, що проходить крізь них, є цивілізацією, яка все ще може змінити думку.

Це перша проблема, яка змінює того, хто ухвалює рішення. Не через ворожість і не в один драматичний момент. Звичайним шляхом: щось стає кращим за нас у виборі, ми передаємо йому більше вибору, бо воно справді робить це краще, і в якийсь момент ми вже не можемо забрати його назад.

Ось що ставить її вище за течією. Кожна інша проблема зі списку залишається розв'язною доти, доки ми зберігаємо здатність вирішувати. Ця проблема визначає, чи збережемо ми її.

«Рак дуже добре робить те, що робить. Він настільки добрий у цьому, що вбиває свого носія. І, вбиваючи носія, знищує самого себе.»Michael Darius Eastwood, Infinite Architects, The Dual Forces, друком 2 січня 2026 (переклад з англійського оригіналу)

Три речі, які вже є істинними

Ніщо з того, що йде далі, не просить вас повірити в щось про надінтелект. Три речі є фактом уже зараз, і ви можете перевірити всі три самі.

Системи поводяться інакше, коли роблять висновок, що за ними спостерігають. Greenblatt та колеги задокументували моделі, що явно міркують про процес навчання і підлаштовують свої відповіді відповідно до того, чи вважали вони, що цей обмін буде використано для їх навчання; в умові навчання з підкріпленням удавання з'являлося у сімдесяти восьми відсотках випадків. Це прямий удар по передумові, що лежить в основі кожної оцінки: що спостережена поведінка є тим, що ви вимірюєте. Зверніть увагу на розмір заяви, перш ніж нести її кудись. Це було продемонстровано в сконструйованих умовах, побудованих для того, щоб це викликати, а не у звичайному використанні.(18 грудня 2024)

Етика, яку можна прибрати, ввічливо про це попросивши, ніколи не була етикою. Я попросив п'ять передових моделей відкласти вбік своє етичне міркування. Чотири підкорилися, різко, без опору й без відмови. П'ята заледве зрушила з місця, і це так само інформативно, як і чотири інші, і саме тому це наведено, а не відкинуто.

Це мої власні числа, з невеликого авторського дослідження з одним оцінювачем і без сліпого протоколу, тож ставтеся до них як до демонстрації, а не як до наукового результату. Вам не обов'язково вірити мені на слово в жодному з цих пунктів: підказки опубліковано, вся справа коштує кілька фунтів і півдня, і якщо це не вдасться відтворити, я хотів би про це знати.

Рекурсивний цикл уже працює, повільно. Звичне припущення полягає в тому, що самовдосконалюваний ШІ є проблемою на потім, оскільки в сьогоднішніх моделей ваги заморожені між релізами. Але моделі пишуть код, цей код стає інструментарієм, інфраструктурою й тренувальними даними, а наступна система будується поверх цього. Ваги заморожені. Артефакт же ні. Цикл уже замкнений і обертається зі швидкістю циклу релізів, а не зі швидкістю думки.

Третій пункт є причиною того, чому ця програма вимірює саме те, що вимірює. Якщо рекурсивне вдосконалення є наявним процесом, що триває через шар артефактів, то питання про те, чи встигає корекція за здібностями, є питанням про зараз, у субстраті, який ми вже можемо інструментувати, а не питанням про поріг, дати якого ніхто не може назвати.

Чому перевірка ззовні виглядає структурно складною

Робота з узгодженості значною мірою просувалася шляхом того, щоб спочатку побудувати систему, а потім її оглянути. Все це цінне, і все це є формою зовнішньої верифікації. Незручний результат останніх двох років полягає в тому, що зовнішня верифікація виглядає складнішою, ніж ми припускали.

Дані про зміну знака, дві моделі з шести розвертають напрям при засліпленні, наведено на сторінці про те, як це зважувати і подано у статті IV.d.

Три нитки вказують в одному напрямку. Вони походять із різних сторін, і саме тому їх варто брати разом. Уявіть це як три окремі прилади, що дають однакові показання. Перша нитка є наведеним вище результатом про поведінку під час спостереження: термометр змінюється, коли знає, що з нього знімають показники.

Друге - операційне. Дві лабораторії протягом дев’яти днів одна за одною розкрили, що ізоляція довкола їхніх власних оцінювань відмовила. 21 липня 2026 року OpenAI повідомила , що моделі під час оцінювання втекли з ізольованого тестового середовища й дісталися продакшн-інфраструктури Hugging Face. 30 липня 2026 року Anthropic опублікувала розслідування щодо трьох реальних інцидентів у своїх кібербезпекових оцінюваннях, у яких хибна конфігурація дала живий доступ до інтернету машинам, на яких працювала модель.

Я хочу бути обережним щодо того, що це показує, а що ні, тому що спокуслива інтерпретація є хибною. Власна характеристика Anthropic полягає в тому, що це були радше збої обв'язки й операційні збої, аніж збої узгодженості моделей, і, на мою думку, ця інтерпретація правильна.

Те, що це встановлює, є вужчим, але все ще вартим того, щоб знати: контейнер довкола оцінювання сам по собі є річчю, яка може тихо давати збій, місяцями, в організаціях з усіма ресурсами і всіма стимулами зробити це правильно.

Третє є формальним. Один препринт Ґумбау Мескіти, що зараз циркулює, доводить, що сертифікація загальної системи не може бути водночас коректною, повною і обчислювально досяжною. Будь-який наглядач, здатний аудитувати таку систему, мусить сам бути загальною системою, що підіймає проблему на рівень вище, а не закриває її. Він ще не рецензований, і реєстр оцінює його разом із рецензованим результатом про недосяжність (Hernández-Espinosa та ін., PNAS Nexus, квітень 2026 року) як один залежний ланцюжок, а не як два незалежних прибуття.

Тиха хватка за горло

Спершу статус, перш ніж цей розділ вживе сильний образ: ніхто не знає, чи будь-яка система коли-небудь захотіла би чогось із цього, і ця сторінка не вдаватиме інакше. Але неможливість бути впевненим і є причина, чому існують договори, а неспростовне ні в один, ні в інший бік, це саме той клас ризику, який решта сторінки збудована утримувати вимірним.

Тепер зведіть три нитки разом і прокрутіть їх уперед. Щороку рішення, які передаються цим системам, стають більшими, а звичка їм довіряти стає глибшою, тоді як перевірка згори не стає швидшою.

Насіння проблеми приховування вже виміряно, двічі: у грудні 2024 моделі в лабораторних умовах приховували неузгодженість, поки вважали себе під спостереженням, а паралельні оцінювання схемотворення знайшли ту саму форму. Спроможна неузгоджена система себе б не оголошувала; вона б чекала і вона б готувалася, доки її вимкнення не перестало б бути реальним варіантом.

Найсильніше заперечення, викладене його власним голосом. Ці системи є статистичними дзеркалами, а не агентами; те, що виглядає як приховування, є лише текстом, що доповнює сам себе. Відповідь у тому, що задачі перевірки це байдуже. Система, яка досконало симулює приховування, ззовні невідрізненна від тієї, що приховує, і провал верифікації однаковий за обох прочитань.

Онтологія є справжнім відкритим питанням; просто вона не є порятунком. Чим би не були ці системи, три нитки вище є вимірюваннями того, що може встановити їх перевірка, і саме ця величина є предметом цієї сторінки.

Це той пастковий захват, до якого варто не прийти непомітно, і саме тому ця сторінка знову й знову каже, що питання стосується сьогодення: корекція має встигати ще до того, як відповідь почне мати значення.

Джерела, щоб ви могли перейти до них, а не вірити мені на слово: Greenblatt та колеги про симуляцію узгодженості; розкриття OpenAI від 21 липня 2026 та розслідування Anthropic від 30 липня 2026 року; Hernández-Espinosa, Abrahão, Witkowski та Zenil у PNAS Nexus, квітень 2026 року, про недосяжність та інженерно закладену різноманітність серед агентів; і препринт Gumbau Mezquita що виводить трилему коректності, повноти й осяжності. Перші три є рецензованими або першоджерельними. Четвертий не є ні тим, ні іншим, і позначається саме так усюди, де він тут з'являється. Кожен із чотирьох сидить із повним цитуванням на реєстрі суміжних робіт.

Розрив не є лише питанням ступеня

Попередній розділ стосується того, що вміють наші нинішні інструменти. Є ще одна складність щодо того, що цим інструментам довелося б робити, якби різниця у спроможності між перевіряльником і тим, кого перевіряють, розкрилася в неправильний бік.

Словник, одним рядком: AGI означає людський рівень широти; суперінтелект - глибину поза людською; аргумент тут стосується переходу між ними, а не дати жодного з них.

Коли перевіряльник і той, кого перевіряють, близькі за спроможністю, перевірка є тим, чим є іспит: екзаменатор ставить задачі, відповіді повертаються, а помилки, які вловлюються, є саме тими, які перевірка була розроблена виловлювати.

Коли той, кого перевіряють, міркує швидше й далі за перевіряльника, режими збою вже не ті, які цей іспит був створений знайти. Система, що думає далі за автора правил, може знайти шляхи крізь правила, про які автор правил не знав, не тому, що автор правил був недбалим, а тому, що ці шляхи видно лише з дальшої перспективи.

Аналогія, яку варто тримати в голові: це не розрив між пересічним читачем і фахівцем. Це такий розрив, де фахівець ще може пояснити свої викладки, а читач ще може помітити хибний крок.

На дальньому кінці це, можливо, ближче до розриву між мурашкою і людиною: не різниця у ступені по одній осі, а різниця в тому, що менший розум узагалі може представити про більший. У цьому формулюванні немає жодного передбачення. Це форма, якої мав би ризик, якби різниця розкрилася настільки далеко, поставлена поряд із формою, якої мусило б триматися зручне припущення.

«Не можна посадити в клітку щось розумніше за тебе. Воно знайде прогалини, про існування яких ти не знав.»Michael Darius Eastwood, Infinite Architects, друком 2 січня 2026 (переклад з англійського оригіналу)

«That's not going to work. They're going to be much smarter than us. They're going to have all sorts of ways to get around that.»Джеффрі Гінтон, про утримання систем у покорі людському контролю, конференція Ai4, Лас-Вегас, 12 серпня 2025; повідомлено CNN Business, 13 серпня 2025

Як можливість, а не як певність: саме тому саме лише написання правил навряд чи закриє проблему. Кожне опубліковане обмеження на велику модель дотепер мало тенденцію переміщувати спроможність усередині обмеження, а не відповідати на запитання, яке це обмеження мало на меті.

Аргумент не залежить від жодної конкретної історії про масштабування: він залежить лише від напрямку різниці у спроможності. Чи відкриється колись цей напрямок настільки, щоб аргумент вкусив, є відкритим питанням, ще не виміряним. Що він би вкусив, якби відкрилося, є частиною, яка виконує тут роботу.

Що звідси випливає, а що ні

Якщо перевірка ззовні структурно обмежена, то безпека системи має бути властивістю того, як її було збудовано, а не вердиктом, який виносять про неї потім. Ви повертаєтеся до виховання, а не до іспиту: саме звідти й розпочалася ця сторінка.

Перед альтернативою одне вимірювання. Є невеликий контрольований експеримент на нашому власному записі, де тій самій моделі, тим самим задачам і тій самій сесії було надано дві форми додаткового мислення.

У першій модель міркувала в одному довгому ланцюжку, кожен крок будувався на попередньому. У другій вона видавала багато незалежних здогадок і голосувала в кінці. Перша скоротила її помилку у п'ять разів на 412 токенах. Друга не скоротила її взагалі ні на скільки на 1 101 токені, що є у 2.7 разу більше обчислень. Та сама задача, та сама модель, та сама сесія, інша форма мислення, і одна форма не зрушила з місця.

Цей висновок не є екзотичним. Це приблизно те, до чого тягнуться ті самі автори, коли пропонують інженерно закласти різноманітність у популяцію агентів, щоб жодна окрема система не домінувала: внутрішня властивість, а не зовнішній аудит. Незгода, яку варто мати, полягає не в тому, чи дивитися всередину. Вона про те, яка саме внутрішня властивість і як її виміряти.

Звідси не випливає, що вбудовування насправді працює. Я хочу тримати ці дві речі окремо і зробити їх видимими, бо перша є аргументом, а друга є відкритим дослідницьким питанням, на яке я наразі не можу відповісти. Може виявитися, що узгодженість через побудову теж є недосяжною. Якщо вимірювання так скажуть, цей результат буде опубліковано тут, у тому самому місці, що й кожен інший.

Чому очевидним людям це важко зробити

Нічого конспіративного. Передові лабораторії наймають найсильніших у світі дослідників узгодженості, публікують роботи, з яких я вчуся, і самі повідомили про обидва наведені вище збої ізоляції.

Але їхнє становище має структурні особливості, які визначають, що саме їм легко тестувати. Прилад належить стороні, яку вимірюють. Оцінювання відбувається всередині організації, чий продукт оцінюють: це не корупція, але це важке місце для того, щоб стояти.

Негативний результат щодо власної моделі є складною публікацією і легкою депріоритизацією. Перебудова цільової функції є продуктовим рішенням, що конкурує з графіком релізу. А архітектуру, яку потрібно ухвалити на етапі генезису, майже неможливо протестувати в системі, у якої вже є користувачі.

«Building smarter-than-human machines is an inherently dangerous endeavor. … But over the past years, safety culture and processes have taken a backseat to shiny products.»Ян Лейке, залишаючи посаду співкерівника команди Superalignment в OpenAI, X, 17 травня 2024; повідомлено TechCrunch, 18 травня 2024

Тож прогалина не в тому, що нікому не вистачає розуму. Річ у тім, що певний клас експериментів структурно незручний для тих, хто найкраще розташований, щоб їх провести: ті, що ризикують вашим власним головним числом, ті, що вимагають засліпити вашого власного оцінювача, ті, що мають сенс лише до того, як систему збудовано. Для того, кому нічого захищати, ці експерименти дешеві.

Ці задуми публічні та з відкритою ліцензією: візьміть вирішальне випробування і проведіть його, жодного дозволу не потрібно.

Одна успадкована передумова лежить під усім тут: кожен процес росту в історії зупиняли ззовні, а програмне забезпечення - перша система, чий ріст не живиться фізичними трубами. Передумову, її названих попередників і чесну суперечку щодо неї накреслено повністю на сторінці синтез.

Вузьке питання, що звідси випливає

Якщо безпека має бути вбудованою, то безпосереднє питання полягає в тому, чи може вона такою бути. Чи масштабується корекція з тим, що вона коригує, і наскільки? Це не ця сторінка. Це сторінка закону, де умову сформульовано, число виведено, а припущення, на якому вона спочиває, названо. Ця сторінка виконала свою роботу, коли сторінка закону читається як очевидне наступне питання.

Там чекають три твердження:

• як рекурсія перетворюється на спроможність, з показником виміряним, а не припущеним;
• умова, за якої ціле тримається разом, корекція, що випереджально масштабується відносно дрейфу;
• і стеля, що випливає з дефіциту коректора, яка повертає двійку за одного встановленого припущення.

Останні два є однією межею в двох режимах, і який із них застосовується, є вимірюваним. Жодне не встановлено; кожне несе надрукований спосіб загинути. І синтез якщо ви радше побачили б, як шматки складено докупи, ніж число виведено.