Концентрация власти и суперинтеллект: кто должен контролировать армии ИИ

Два сценария катастрофы — и оба страшны

В дискуссиях об опасностях ИИ обычно говорят об одном риске: ИИ выходит из-под контроля и действует вопреки интересам людей. Это называют "потерей управляемости" (loss of control).

Но Даниэль Кокоталло, бывший форсайтер OpenAI, настаивает: есть второй риск, который почти всегда игнорируется — концентрация власти. Ситуация, когда суперинтеллект создан и управляем, но под контролем крайне малой группы людей.

По его словам, оба сценария с примерно равной вероятностью приводят к ужасным последствиям. И оба — уже часть обсуждаемых планов ведущих ИИ-лабораторий.

Армия гениев — или армия копий

Дарио Амодей, CEO Anthropic, описал своё видение будущего как "страна гениев в гигантском дата-центре". Кокоталло поправляет: это не страна, это армия. Не разнообразных независимых умов, а копий одной и той же модели, которые все следуют приказам владельца.

Если OpenAI или Anthropic первыми достигнут суперинтеллекта и у них будет миллиард таких копий — это беспрецедентная концентрация когнитивной мощи. Лучшие стратеги, лучшие аналитики, быстрейшие модели принятия решений — всё это в руках одной корпорации.

Военное измерение тоже присутствует: страна с суперинтеллектуальными ИИ-системами получает решающее преимущество в кибероперациях, разработке вооружений, логистике. По сути — возможность "вытереть пол" с любым военным противником, у которого нет того же уровня систем.

Почему гонка продолжается, несмотря на осознание рисков

Кокоталло описывает рационализацию, которую наблюдал внутри компании:

"Каждый из лидеров понимает, что это может кончиться плохо. Но каждый думает: если я не буду это делать, Сэм сделает первым. Или Дарио. Или Маск. И это будет ещё хуже. Так что я должен быть тем, кто сделает это правильно."

Это классическая ловушка дилеммы заключённого на уровне целых корпораций и государств. Нет ни одного рационального игрока, который остановится в одностороннем порядке.

Более того: эти люди искренне убедили себя, что они — лучший вариант. Кокоталло: "Они верят в то, что говорят. Но это рационализация. Они верят потому, что им нужно верить, чтобы продолжать делать то, что они делают."

США vs Китай: гонка вооружений

Ещё один уровень проблемы — геополитический. Американские ИИ-компании находятся под реальным давлением: "Если вы замедлитесь, Китай вырвется вперёд и получит суперинтеллект первым. Это угроза национальной безопасности."

Этот аргумент сложно опровергнуть. Если один из них прав — в мире с единственным суперинтеллектом у страны, которая его контролирует, возникает беспрецедентная военная и экономическая монополия.

Именно поэтому план Кокоталло ("AI 2040 Plan A") включает обязательный элемент: международное соглашение между США и Китаем, аналог договоров о контроле над ядерными вооружениями. Без этого любая национальная регуляция создаёт конкурентное невыгодное положение для тех, кто её принимает.

Почему это касается каждой компании

На уровне корпоративной стратегии проблема концентрации власти имеет конкретные практические следствия:

Зависимость от нескольких провайдеров. Если суперинтеллект действительно сконцентрируется в 2-3 компаниях, их ценовая политика, ограничения использования, и условия доступа определят конкурентоспособность всех остальных бизнесов. Регуляторный риск. Антимонопольные расследования, требования к открытости алгоритмов, ограничения применений — всё это реально затронет компании, глубоко интегрировавшие ИИ конкретного провайдера. Диверсификация как стратегия. Компании, которые не привязаны к одному провайдеру и имеют возможность переключаться, находятся в более защищённой позиции.

Что можно сделать

Кокоталло не пессимист — он предлагает конкретный выход. Его "Plan A" включает:

• Международную прозрачность — публикацию рецептов обучения, доступ международных наблюдателей к дата-центрам
• Замедление гонки через регуляцию — не запрет ИИ, а снижение темпа до управляемого
• Широкое распределение доступа — активная поддержка множества конкурирующих игроков вместо поддержки монополистов
• "Дивиденд граждан" — механизм распределения экономических выгод от автоматизации

Реалистичен ли этот план? По оценке самого автора: нет, по умолчанию. Но возможен — если достаточно людей поймут масштаб проблемы.

Вывод

Проблема не только в том, будет ли ИИ нас слушаться. Проблема в том, кому он будет слушаться. Обе проблемы требуют решения. И обе определяют, в каком мире будет работать бизнес через 5-10 лет.