Human in the loop: какие AI-решения нельзя полностью автоматизировать

Осмысленный контроль — это не галочка

Регуляторы последовательно предупреждают: человек, механически поставленный в конец автоматического конвейера, сам по себе не создаёт надзор. GDPR в статье 22 закрепляет право не подвергаться решению, основанному исключительно на автоматизированной обработке, если оно порождает юридические или иные значимые последствия. Испанский регулятор AEPD подчёркивает, что оператор не может «сфабриковать» участие человека, просто пропуская результат через сотрудника, который не влияет на исход. Чтобы контроль засчитывался, он должен быть осмысленным и выполняться человеком с полномочиями и компетенцией изменить решение. Это общая информация, а не юридическая консультация; требования различаются по юрисдикциям.

Европейский Регламент об ИИ закрепляет ту же идею для высокорисковых систем в статье 14: система должна позволять физическим лицам эффективно контролировать её во время эксплуатации. Назначенному человеку следует понимать возможности и ограничения системы, замечать аномалии, интерпретировать выходные данные, отменять или игнорировать их и прерывать работу через механизм остановки. Меры надзора должны быть соразмерны риску, уровню автономии и контексту использования. Такая трактовка превращает человеческий надзор из штампа соответствия в операционную способность, которую нужно проектировать.

Решения, где человек обязателен

Общая логика всех фреймворков одна: чем сильнее решение может ограничить фундаментальное право, доступ к услуге или личную безопасность, тем больше возможностей действовать должно оставаться у человека. К таким решениям относят отбор кандидатов на работу, оценку кредитоспособности, расчёт страховых тарифов, назначение социальных выплат, поддержку клинической диагностики и участие в правоохранительных или судебных процедурах. В праве ЕС многие из этих сценариев считаются высокорисковыми, а в отдельных случаях закон требует усиленного контроля.

Когда система предлагает действие на основе биометрической идентификации, законодательство ЕС может требовать, чтобы результат был отдельно проверен и подтверждён не менее чем двумя компетентными специалистами до того, как на его основе что-то предпримут; для правоохранительной и миграционной сфер предусмотрены ограниченные исключения. Такое правило показывает, где автоматизация не просто «желательна с человеком», а юридически требует двойной проверки.

• Трудоустройство: отбор резюме, оценка результатов, продвижение и увольнение.
• Финансы: кредитный скоринг и оценка рисков по кредитам и страховкам.
• Госуслуги: назначение льгот, жилья и иных значимых социальных услуг.
• Здравоохранение: сортировка пациентов, поддержка диагностики и рекомендаций по лечению.
• Правосудие и enforcement: оценка рисков, поддержка приговоров и разбор обращений.
• Идентификация: проверка личности, которая может блокировать доступ или запускать принуждение.

Три режима контроля и их место

Надзор — это не один двоичный режим. Удобная операционная модель различает «человек в контуре», когда человек проверяет каждый результат до того, как он превратится в действие; «человек над контуром», когда человек наблюдает и может приостановить или перенаправить систему, обычно реагируя на алерты и исключения; и «вне контура», когда система действует без прямого присмотра. Рамка управления рисками ИИ от NIST отмечает, что конфигурации «человек–ИИ» простираются от полностью автономных до полностью ручных, и не каждая система требует надзора — например, модель, улучшающая сжатие видео, может работать без него.

Практическая дисциплина — провести границу решений для каждого потока: определить линию, где ИИ действует сам, где он рекомендует, а решает человек, и где человек отвечает за исход, а ИИ лишь информирует. Высокообъёмные, низкорисковые и обратимые действия — естественные кандидаты на автономию. Всё, что трудно отменить, сложно объяснить затронутому человеку или подпадает под специальные правовые гарантии, должно оставаться на человеческой стороне границы.

Ошибки: предвзятость автоматизации и «контроль на бумаге»

Самый частый сбой — не взбунтовавшаяся модель, а тихая эрозия реального контроля. Статья 14 Регламента об ИИ прямо предупреждает об автоматизационной предвзятости — склонности чрезмерно доверять результату, потому что он выглядит объективным, статистическим или одобренным институцией. Когда для несогласия требуется больше обоснований, чем для согласия, инструмент поддержки решений постепенно превращается в фактический механизм принятия решений.

Второй тихий убийца — нагрузка. AEPD приводит пример оператора, который должен ежедневно проверять сотню длинных отчётов; при таком темпе осмысленное чтение физически невозможно, каким бы квалифицированным ни был человек. Контроль проваливается и тогда, когда рецензенту не хватает контекста, когда чувствительные данные скрыты, когда оценки не объяснены или когда в рабочем процессе нет шага, позволяющего остановить действие до его применения.

• Штамповка: одобрение как путь наименьшего сопротивления.
• Давление объёма, не оставляющее времени на оценку каждого случая.
• Интерфейс, скрывающий логику рекомендации от человека.
• Личная цена или стигма за пересмотр решения системы.
• Отсутствие прав на паузу и отмену в самой системе.

Как сделать слой контроля работающим: люди, процессы и метрики

Слой надзора превращается в настоящий контроль, когда роли, обучение, эскалация, журналирование и полномочия прописаны явно. Чек-лист Европейского инспектора по защите данных по автоматизированным решениям требует документировать структуру управления, обучать пользователей на сценариях, вести журналы решений, определять эскалацию, проводить анализ первопричин после сбоев и давать операторам полномочия отменять, приостанавливать или игнорировать выводы. Эти контуры принадлежат продуктовым, комплаенс-, риск-, закупочным и операционным командам, а не только юридическим документам.

Что измеряется, тем и управляют. Полезные индикаторы: частота пересмотра, доли согласий и несогласий, скорость вмешательства человека в высокорисковый алерт, исходы апелляций и частота обнаружения ошибок. Интерпретировать их нужно осторожно: почти нулевые пересмотры могут означать отличную калибровку или чрезмерную зависимость; очень высокая доля пересмотров — плохую калибровку, неверный сценарий или слабое обучение. Смысл метрик — возвращать опыт в обучение, мониторинг и обновление моделей.

С чего начать на практике

Сначала картируйте. Составьте перечень решений, рекомендаций и рабочих процессов, способных затронуть людей, и отметьте, где система советует, а где процесс фактически трактует её результат как окончательный. Затем определите модель надзора: кто проверяет, на каком этапе, с какой информацией и под чьей ответственностью, и сделайте права на отмену, эскалацию и паузу явными.

Далее проведите стресс-тест рабочего процесса вместе с людьми, которые будут им управлять, затем измеряйте и пересматривайте периодически и после инцидентов. Такие акты, как Регламент ЕС об ИИ и методички OMB, развиваются, а сроки их применения сдвигаются, поэтому актуальные обязательства стоит проверять у квалифицированного консультанта или в профильном органе своей юрисдикции. Приведённый здесь регуляторный материал носит информационный характер и не заменяет профессиональную консультацию.