Контроль человека
роль человека описана
несогласие / изменение решения
ошибки и пересмотр
изменился ли фактический результат
Специальный аналитический выпуск · 24 сентября 2026
Мы сопоставили научный корпус 2024–2026 годов, реконструированные траектории реальных цифровых внедрений и современные инструменты предварительной оценки рисков. Главный вопрос — совпадает ли то, что организации умеют проверить до запуска, с тем, что оказывается существенным после.
01 · Как строится знание
Цифровые изменения изучают по очень разным данным: ответам людей, интервью, документам, административным записям, цифровым следам, наблюдениям во времени и экспериментам. Эти источники отвечают на разные вопросы. Опрос хорошо показывает отношение и субъективный опыт, но почти не позволяет понять, изменился ли фактический результат. Записи действий системы показывают, как ею пользуются, но могут не отражать, сколько усилий человеку пришлось потратить на исправление ошибки.
96 эмпирических работ, для которых удалось определить способ исследования
78 работ; одна работа могла использовать несколько типов данных
02 · До запуска
Организации умеют классифицировать риск, описывать данные, заранее определять меры защиты, раскрывать сведения о системе, обучать сотрудников и сохранять участие человека в принятии решения.
В Канаде для автоматизированных государственных решений предусмотрена предварительная оценка воздействия системы. В Великобритании государственные организации раскрывают, как и для чего используют алгоритмические инструменты. Оценка воздействия на защиту персональных данных применяется ещё до запуска системы. Для решений с высоким риском дополнительно используют проверку различий в результатах, тестирование, обучение пользователей и содержательный контроль человека. Несмотря на разные названия методик, предварительная оценка обычно сводится к пяти группам вопросов ниже.
Наличие процедуры само по себе не подтверждает её эффективность. Предварительная оценка показывает, что риск был описан; результат становится понятен только после проверки того, возник ли он в реальной работе системы.
Какие сведения использует система, откуда они получены и какие ограничения действуют.
До запуска можно проверить качество исходных данных, правовые основания их использования, чувствительность и сроки хранения.
данныеЧто произойдёт, если система ошибётся и насколько последствия обратимы.
Оцениваются возможные потери доступа, времени, денег, возможностей и необходимость дополнительных действий со стороны человека.
последствияНасколько устойчиво система работает в разных условиях и для разных групп людей.
Проверяются типы ошибок, пограничные случаи и различия в результатах, которые могут возникнуть ещё до массового использования.
качествоКто влияет на решение, кто его утверждает и кто отвечает за последствия.
Отдельно проверяется, может ли человек изменить результат системы, запросить дополнительную проверку или выбрать другой путь.
управлениеКак человек узнает о решении и что сможет сделать, если обнаружит ошибку.
Заранее задаются способы обращения, пересмотра, исправления данных и последующего наблюдения за повторяющимися сбоями.
исправление03 · После запуска
Траектории PST Lab реконструированы как последовательности воздействия, конфликта, оспаривания, ответственности и стабилизации.
Запуск системы и её последствия редко совпадают по времени. Сначала меняется процесс, затем становятся наблюдаемыми последствия для человека, организации или среды. После этого могут возникнуть публичный конфликт, надзор, оспаривание и работающий механизм исправления.
Подтверждено прямое влияние системы на реальный процесс или положение человека.
Есть документированное нарушение привычного положения либо положительное восстановление способности.
Существует содержательная процедура, способная пересмотреть решение или устройство системы.
Есть отмена, компенсация, возврат, обязательная мера или другой работающий механизм исправления.
Появился устойчивый порядок, стандарт, рутина, прекращение системы или иное долговременное решение.
Аналитическая выборка построена по доказательной глубине и не отражает частоту всех цифровых внедрений.
04 · Что меняется
Для оценки последствий мы отдельно смотрим, как цифровая система меняет предсказуемость, способность человека действовать, доступ к ресурсам и затраты времени.
Человек понимает или перестаёт понимать, по каким правилам система отнесёт его к категории, назначит проверку, доступ, санкцию или уровень поддержки.
Меняется способность действовать, влиять на процесс, отказаться, получить альтернативу, оспорить или восстановить результат.
К услуге, выплате, медицинской помощи, образованию, работе или иному институциональному ресурсу.
Экономия времени может соседствовать с новыми затратами на проверку, повторные действия, объяснение и восстановление ошибки.
Эту формулу не обязательно превращать в один индекс. Она задаёт дисциплину анализа: кто получил выигрыш, кто понёс новые затраты, куда переместилась работа и кому пришлось исправлять последствия.
05 · Работают ли меры
Одна и та же мера может выглядеть убедительно в документах и почти ничего не менять в реальной цепочке решения.
Эффективность меры видна по тому, что происходит в реальной цепочке решения. Контроль человека можно оценивать по его полномочию изменить результат и по частоте таких изменений. Обжалование — по доступности, срокам, доле успешных пересмотров и исполнению решения. Обучение — по изменениям практики и частоте ошибок. Прозрачность — по тому, позволяет ли раскрытая информация понять решение и добиться его пересмотра.
роль человека описана
несогласие / изменение решения
ошибки и пересмотр
изменился ли фактический результат
процедура предусмотрена
доля обращений
успех / исполнение
исправлена ли потеря
курс / программа
знания и поведение
изменение рабочего процесса
польза клиенту
доли отбора по группам
охват проверкой
изменение состава
снизилось ли неравенство
риски и меры снижения
наблюдение
инцидент / жалоба
материализовался ли риск
план наблюдения
ошибки / отклонения
повторяемость / исправление
изменилось ли положение человека
06 · Разрыв в оценке последствий
Это рабочая гипотеза, которую поддерживают разные типы источников: систематические обзоры и реконструированные траектории реальных внедрений.
Систематический обзор программ для медицинских работников показал улучшения реакций, установок, знаний, навыков и поведения участников.
В обзоре не было исследований, подтвердивших изменение работы организации или пользу для пациента либо клиента.
NIST отдельно указывает: предварительная оценка обычно проходит в контролируемой среде, тогда как неожиданные последствия проявляются после реального внедрения. Проверенные методы наблюдения после запуска и единая терминология этой области пока только формируются.
Выход системы в эксплуатацию открывает следующий этап оценки: наблюдение за реальными последствиями и способами их исправления.
07 · Как оценивать лучше · PST Lab
Рабочая рамка объединяет предварительную оценку рисков, изучение внедрения, жалобы, аудит и наблюдение за изменениями во времени.
Что происходит без новой системы: время, ошибки, роли, стоимость, доступ и работа по исправлению сбоев.
Что должно измениться, кто получает выгоду и какие результаты и последствия предполагаются.
Предварительная оценка воздействия, проверка, обучение, контроль человека, обжалование и наблюдение как проверяемые меры.
Как система реально вошла в практику, кто ей пользуется и где остаются исключения.
E0/E1: доступ, время, деньги, работа, здоровье, возможность действовать, достоинство и другие последствия.
Можно ли изменить результат: активация, срок, успешность и стоимость оспаривания.
Кто и как исправляет последствия: отмена, компенсация, возврат, обязательная мера.
Что осталось через время: новая практика, стандарт, прекращение системы, сопровождение или незавершённость изменений.
Методика
Три доказательных контура не смешивались между собой.
Контур 1. Исследовательский корпус PST Lab за 2024–2026 годы. Для эмпирической части фиксировались способ исследования, используемые данные, тема и организации авторов. Корпус отобран по заданным критериям и не претендует на описание всей мировой науки.
Контур 2. Траектории из Атласа цифровых институциональных сдвигов. Единицей анализа является развитие конкретной ситуации во времени; публикации, решения, нормативные документы и свидетельства используются как источники доказательств. Узлы E0/E1 и T0–T6 фиксируются только при наличии соответствующих подтверждений.
Контур 3. Текущая научная литература и официальные материалы по предварительной оценке воздействия, защите данных, контролю человека, проверке различий в результатах, обучению, прозрачности и наблюдению после внедрения.
Основные внешние источники:
NIST, Challenges to the monitoring of deployed AI systems, 2026.
Privacy impact assessments in the wild: A scoping review, 2024.
Romeo, Conti, Exploring automation bias in human–AI collaboration, AI & Society, 2026 issue.
BMC Medical Education, Assessing the effectiveness of AI education and training for healthcare workers, 2026.
Government of Canada, Directive on Automated Decision-Making.
UK Government Digital Service, Algorithmic Transparency Recording Standard.
New York State Comptroller, Enforcement of Local Law 144, 2025.
Aobdia, Ma, Zhang, Auditing Effects on Employment Hiring, рабочая статья.