Компьютер сообщил о ядерной атаке — офицер решил ему не верить

История Станислава Петрова напоминает: чем убедительнее становится машина, тем важнее понимать пределы её уверенности

Когда на экране появилось слово «ПУСК»

Ночь на 26 сентября 1983 года. Секретный командный пункт Серпухов-15 к югу от Москвы.

Подполковник войск ПВО СССР Станислав Петров находился на дежурстве в центре, куда поступали данные советской спутниковой системы раннего предупреждения «Око». Её задача была предельно конкретной: обнаружить запуск американских межконтинентальных баллистических ракет как можно раньше.

Около полуночи система подала тревогу.

Компьютер сообщил о запуске ракеты с территории США.

Это была не информация из разведывательной сводки и не сообщение оператора. Сигнал сформировала автоматизированная система наблюдения, анализировавшая данные спутниковых инфракрасных датчиков.

Через некоторое время ситуация стала ещё хуже.

Система зафиксировала новые запуски. В итоге речь шла уже о пяти американских ракетах.

Для человека за пультом это был почти идеальный конфликт между процедурой и сомнением: техническая система утверждала, что произошло событие с потенциально катастрофическими последствиями, но сама картина атаки выглядела странно.

Пять ракет, которые не складывались в картину войны

Петров позднее объяснял свою логику довольно просто.

Если Соединённые Штаты действительно решились бы на первый ядерный удар по Советскому Союзу, трудно было представить, что он начнётся с одной ракеты, а затем ещё четырёх. Военная логика того времени предполагала значительно более масштабную атаку, способную уничтожить командные центры, ракетные шахты и другие элементы советских стратегических сил.

Пять ракет плохо соответствовали этому сценарию.

Была и вторая проблема: спутниковая система была сравнительно новой. Петров, имевший инженерную подготовку и хорошо понимавший принципы её работы, не считал любой компьютерный сигнал автоматически эквивалентным факту.

Наземные радиолокационные средства также не давали подтверждения атаки. При этом здесь важна техническая деталь, которую часто теряют в популярных пересказах: радары не могли сразу проверить спутниковое предупреждение. Летящая баллистическая ракета должна была сначала подняться достаточно высоко и появиться над радиолокационным горизонтом.

Поэтому несколько минут существовало крайне неприятное состояние неопределённости.

Компьютер говорил: ракеты летят.

Независимого подтверждения ещё не было.

А времени для оценки было мало.

Петров не сидел возле «ядерной кнопки»

Именно здесь история постепенно превратилась в легенду.

В популярных версиях Станислав Петров нередко оказывается человеком, который якобы должен был нажать кнопку ответного ядерного удара — и отказался это сделать.

Такой картины не было.

Петров находился на одном из ранних уровней системы предупреждения. Его задачей было оценить поступившую информацию и передать её дальше по цепочке командования. Решение о применении советского ядерного оружия принималось бы совсем на другом уровне и зависело не только от одного спутникового сигнала.

Поэтому невозможно доказать и другой популярный тезис: что при ином решении Петрова ядерная война обязательно началась бы.

Но это не делает произошедшее менее важным.

Наоборот.

Ошибку создали Солнце, облака и геометрия

Ракет не существовало.

После расследования причиной тревоги связали с редкой оптической конфигурацией.

Советские спутники раннего предупреждения находились на высокоэллиптических орбитах типа «Молния» и наблюдали американские районы размещения ракет под определённым углом. Система должна была распознавать инфракрасное излучение факела стартующей ракеты на фоне космоса.

26 сентября сложились необычные условия.

Положение спутника, Солнца и Земли оказалось таким, что солнечный свет отражался от высоких облаков над Северной Америкой и попадал на датчики. Отражение оказалось достаточно похожим на инфракрасный сигнал ракетного старта, чтобы алгоритм классифицировал его как запуск.

То, чего система должна была не заметить, она приняла за одно из самых опасных событий, которые вообще была создана обнаруживать.

Особенно показательна причина ошибки.

Не сломался спутник.

Не отключился датчик.

Не произошло очевидной аппаратной аварии.

Компоненты могли работать именно так, как были спроектированы. Ошибка возникла на уровне интерпретации реального сигнала из реального мира.

Для современных алгоритмических систем это принципиально важное различие.

Машина не обязательно ошибается там, где мы ожидаем ошибку

Инженеры могут проверить миллионы штатных сценариев и всё равно столкнуться с редким сочетанием условий, которого не было в тестовой выборке.

Сегодня для такого класса проблем используются разные термины: ложноположительное срабатывание, граничный случай, ошибка классификации, распределительный сдвиг.

Смысл один.

Система встречает ситуацию, которая внешне похожа на известный ей опасный сигнал, но на самом деле принадлежит к другому классу.

В 1983 году облака и солнечный свет оказались похожи для алгоритма на старт межконтинентальной ракеты.

В медицине аналогичная логика может проявляться гораздо менее драматично, но встречаться значительно чаще.

Алгоритм может обнаружить на медицинском изображении структуру, статистически связанную с заболеванием, но не являющуюся патологией у конкретного пациента.

Система поддержки врачебных решений может присвоить человеку высокий риск осложнения из-за комбинации признаков, которая редко встречалась в данных, использованных при разработке модели.

Автоматизированный фармаконадзор может выделить необычный сигнал безопасности, который затем требует клинической проверки и оценки причинности.

Машина при этом необязательно «сломана».

Она делает вывод в соответствии со своими правилами.

Проблема возникает тогда, когда вероятность, которую вычисляет модель, начинают воспринимать как установленный факт.

Урок Петрова — не «человек умнее компьютера»

Из этой истории легко сделать противоположную ошибку и превратить её в аргумент против автоматизации.

Но 26 сентября 1983 года показывает не превосходство человека над машиной.

Человеческое решение тоже могло оказаться неправильным.

Если бы ракеты действительно существовали, сомнение Петрова имело бы совершенно другое историческое значение.

Важной оказалась архитектура принятия решения: автоматическая система обнаруживала событие, человек оценивал его правдоподобие, а другие источники информации должны были независимо подтвердить происходящее.

Сегодня это называют человек внутри контура принятия решений.

Само присутствие человека, однако, ничего не гарантирует.

Если оператор привык автоматически подтверждать рекомендации алгоритма, человеческий контроль превращается в формальность. В исследованиях взаимодействия людей с автоматизированными системами давно известна предвзятость автоматизации — склонность сильнее доверять компьютерной рекомендации именно потому, что она исходит от автоматической системы.

Тогда интерфейс может содержать кнопку «подтвердить», но реального независимого решения уже не существует.

Почему эта история важна сегодня

Через 43 года после той ночи вопрос стал только актуальнее.

Искусственный интеллект всё чаще используется там, где объём информации превосходит возможности человека: в радиологии, лабораторной диагностике, разработке лекарств, фармаконадзоре, прогнозировании рисков, управлении производством, логистике и клинических исследованиях.

Ценность таких систем именно в том, что они способны заметить закономерность раньше человека.

Но отсюда возникает опасная психологическая ловушка.

Чем чаще алгоритм оказывается прав, тем сложнее человеку распознать тот редкий случай, когда алгоритм уверенно ошибается.

Поэтому зрелая автоматизация строится не вокруг вопроса «кто принимает решение — человек или компьютер?».

Гораздо важнее другие вопросы.

Насколько независимы источники данных?

Что происходит при расхождении между ними?

Понимает ли оператор происхождение рекомендации?

Может ли он остановить автоматический процесс?

Сколько времени система оставляет для проверки?

И самое важное: способен ли человек сказать «я не верю этому результату» — и потребовать дополнительного подтверждения?

Для фармацевтической отрасли это уже не философская дискуссия.

Алгоритмы становятся частью поиска молекул, оценки медицинских изображений, подбора пациентов для исследований, обработки сообщений о нежелательных явлениях и анализа медицинских данных.

Регулировать предстоит не только точность таких моделей.

Нужно определять границы их полномочий, способы независимой верификации и ответственность человека, который получает рекомендацию машины.

Парадокс автоматизации заключается в том, что по мере роста качества систем редкая человеческая способность усомниться в них может становиться не менее, а более ценной.