Проблема с регулированием ИИ — это проблема структуры стимулов. Каждая отдельная компания рационально заинтересована в продолжении гонки. Каждая страна рационально заинтересована в том, чтобы не отставать от конкурентов. Коллективно все движутся к риску, который никто не хочет — но остановиться индивидуально значит проиграть.

«Даже глава компании — они в принципе заменимы. Процесс сейчас такой: не нужно быть гениальным учёным, чтобы работать над следующей системой. Достаточно купить ещё больше процессоров и данных», — говорит Роман Ямпольский.

Почему индивидуального решения недостаточно

Представьте, что глава Anthropic или OpenAI действительно убеждён, что создание AGI опасно. Он может объявить о добровольном моратории на своей компании. Что произойдёт дальше?

Инвесторы потребуют объяснений. Ключевые сотрудники уйдут в компании, которые продолжают. Конкуренты ускорятся, получив преимущество. Акционеры подадут в суд. Через полгода или главы нет, или мораторий отменён.

Это не гипотеза — мы видели это в 2023 году, когда несколько известных AI-исследователей подписали открытые письма с призывом к паузе. Темп развития не замедлился.

«Должно быть соглашение на уровне США, Китай, как минимум, на уровне правительства и все основные игроки, большие корпорации, должны согласиться».

Интересы, которые могли бы привести к соглашению

Ямпольский формулирует аргумент, к которому могут прислушаться даже те, кто не боится AGI как такового:

«Мы все ещё хотим триллионы долларов. Мы всё ещё хотим развивать экономику. Мы хотим вылечить все болезни. Но мы не будем создавать суперинтеллект, который повлечёт потерю контроля — как коммунистической партии Китая, так и президента США, так и корпораций. Просто это в наших интересах — не создавать себе замену».

Это важный риторический ход: апелляция не к абстрактному гуманизму, а к конкретным интересам власть имущих. Правительство Китая не хочет потерять контроль над своей страной. Президент США не хочет потерять контроль над своей. CEO крупнейших технологических компаний не хотят создавать систему, которая сделает их компании нерелевантными.

Все они рационально заинтересованы в том, чтобы технологии оставались инструментом, которым управляет человек.

Что уже происходит

По данным Ямпольского, ситуация не безнадёжная.

«Консультации между китайскими учёными и американскими учёными — там тоже есть согласие, что это может быть небезопасно». Это важно: даже в контексте геополитического противостояния, AI-исследователи из разных стран находят консенсус по вопросам безопасности.

Anthropic отказался предоставлять свои модели для военных целей. «Они за это заплатили сразу же. Но прецедент уже есть».

Главы крупнейших компаний подписали документ о необходимости регулирования. Это не обязывающее соглашение, но публичная позиция, от которой сложно отказаться.

Историческая аналогия: ядерное нераспространение

Ядерное оружие создало похожую структурную проблему. В 1945 году у США была монополия. К 1949 году — уже нет. К 1960-м — несколько стран. Логика распространения казалась неудержимой.

Договор о нераспространении ядерного оружия (1968) создал международный режим, который — несмотря на несовершенство — существенно замедлил распространение. Несколько стран, которые технически могли создать оружие, воздержались.

Ключевые элементы, которые сработали: общее понимание взаимного уничтожения (MAD), инспекционный режим, санкции за нарушение.

Для ИИ аналоги: общее понимание того, что AGI угрожает всем (включая создателей), верифицируемые механизмы мониторинга, международные санкции за нарушение.

Принципиальная сложность: верификация

Главная техническая проблема для любого международного соглашения по ИИ: как верифицировать соблюдение?

С ядерным оружием — есть физические объекты (реакторы, шахты), которые можно инспектировать. С программным обеспечением — принципиально сложнее. Код можно скопировать, перенести, скрыть. Вычислительные кластеры можно распределить глобально.

«Если ты не заглядываешь внутрь компании, ты не понимаешь, достигли они AGI или нет. И выгодно ли им про это рассказывать?»

Это решаемая, но сложная задача. Потенциальные подходы: мониторинг вычислительных ресурсов (чипы поддаются отслеживанию), обязательная внешняя оценка моделей перед деплоем, требования к прозрачности тренировочных процессов.

Почему Китай, вероятно, согласится

Есть сценарий, который Ямпольский считает реалистичным.

«Если Америка будет лидировать в этом и скажет, что мы должны приостановиться, я думаю, Китай последует».

Логика: Китай не хочет мирового порядка, где американская AGI контролирует глобальную экономику. Но Китай также не хочет мирового порядка, где ни одно правительство ничего не контролирует. Режим, ограничивающий AGI в обеих странах, сохраняет нынешний баланс лучше, чем победа любой стороны.

Это не альтруистическая позиция. Это расчёт интересов. И это именно то, на чём строятся устойчивые международные соглашения.

Регулирование ИИ: почему нужно соглашение США–Китай и насколько это реально