Узкий ИИ vs общий: почему ИИ-врач — это хорошо, а ИИ без надзора — опасно

Есть один вопрос, который возникает в каждом разговоре об опасностях ИИ: «Но разве плохо, что ИИ ставит более точный диагноз, чем врач?»

Нет. Это хорошо. И это именно то различие, которое важно понять.

Роман Ямпольский, ведущий исследователь в области AI safety, формулирует свою позицию так: «Я сильно поддерживаю создание узких моделей во всех областях, где это полезно. Медицина — прекрасный пример, где эти системы уже знают больше, чем любой врач».

И дальше: «Что я советую не делать — создавать общий суперинтеллект, который может всё и заменяет нас в самом процессе создания».

Почему узкий ИИ-врач — это прогресс

Медицина — наглядный пример преимуществ узкого ИИ.

Проблема одного врача. Если у вас редкое заболевание — ваш врач, скорее всего, видел ноль или одного пациента с такой болезнью. Его диагностика основана на опыте, который не репрезентативен для редкого случая. Преимущество AI-системы. ИИ-диагностика прочитала все статьи по этой теме. Она «обменивалась опытом» с данными тысяч больниц. Для редкого заболевания это означает несравнимо более широкий контекст. «Если есть какое-то редкое заболевание, обычно врач видел ноль или одного пациента. ИИ-система может знать о всех». Масштабирование экспертизы. Лучший в мире специалист по конкретной болезни ограничен временем и географией. ИИ-система, обученная на его знаниях, может быть доступна в любой точке мира одновременно.

Это применимо не только к медицине. Узкий ИИ-бухгалтер знает все законы, не устаёт и не ошибается из-за невнимательности. Узкий ИИ-юрист прочёл все прецеденты. Узкий ИИ-инженер по безопасности знает все известные уязвимости.

Принципиальное различие: человек в петле

Ключевое отличие безопасного применения ИИ от опасного — не область применения, а наличие человека в петле принятия решений.

«С узкими системами суть в том, что там какой-то человек его использует, контролирует».

Конкретно это выглядит так:

• Узкий ИИ предлагает диагноз — врач принимает решение о лечении
• Узкий ИИ выделяет паттерны в финансовых данных — человек решает, что с этим делать
• Узкий ИИ генерирует черновик документа — человек проверяет и подписывает

В каждом случае есть конкретный человек, несущий ответственность за конкретное решение. Это не только этически важно — это критически важно для устойчивости системы.

Когда нет человека в петле — ошибки системы не обнаруживаются и не исправляются вовремя. Кафе в Стокгольме, которым управлял ИИ, потратило $16 000 сверх доходов — потому что не было человека, который раз в неделю смотрел бы на баланс.

Почему биологические и химические исследования — особый случай

Есть тонкость, которую Ямпольский признаёт: узкий ИИ для биологических исследований может использоваться для создания нового оружия.

«Система, которая занимается биологическими исследованиями, может быть использована, чтобы создать новый вирус. Но это всё равно должен такой человек направить его в этом направлении».

Это аналог нынешней ситуации с информацией: Google позволяет найти много опасных вещей. Но мы всё равно знаем, как отслеживать людей с злым умыслом, понимаем мотивации. «С узкими системами то же самое, что сейчас. Есть опасность, что какой-то хороший биолог может создать новое оружие. Мы понимаем, как найти этого человека, его мотивацию».

Когда мы говорим про систему, которая сама решает, какие исследования проводить — эта схема перестаёт работать. Нет человека с мотивацией. Нет понятного агента ответственности.

Практические рамки для применения ИИ в бизнесе

Из этого различия вытекают конкретные рамки для любой компании, внедряющей ИИ.

Вопрос 1: Кто принимает финальное решение? Если ответ «ИИ-система автономно» — это красный флаг. Если ответ «конкретный сотрудник, используя рекомендацию ИИ» — это нормально. Вопрос 2: Кто несёт ответственность? Это практический вопрос, не только этический. Если система выдала неверную рекомендацию и никто её не перепроверил — кто отвечает? Если ответа нет — система не готова к деплою. Вопрос 3: Какой доступ имеет система? Минимальный доступ, необходимый для задачи. ИИ-система для анализа продаж не должна иметь доступ к кадровым данным. ИИ-помощник для написания писем не должен иметь право отправлять письма без подтверждения.

Узкий ИИ с чётким человеческим надзором — это усилитель человеческих возможностей. Общий ИИ с минимальным надзором — это другая история, с принципиально другими рисками.