Что мы измеряем до цифровизации — и что узнаём только после | PST Lab

Специальный аналитический выпуск · 24 сентября 2026

Что мы измеряем до цифровизации — и что узнаём только после

Мы сопоставили научный корпус 2024–2026 годов, реконструированные траектории реальных цифровых внедрений и современные инструменты предварительной оценки рисков. Главный вопрос — совпадает ли то, что организации умеют проверить до запуска, с тем, что оказывается существенным после.

253работы показывают, на каких данных и методах строится знание о социальных изменениях
31траектория наблюдения во времени показывает, что происходит после реального внедрения
8/22случаев с реальным оспариванием пока не имеют подтверждённого работающего механизма исправления

01 · Как строится знание

Метод определяет, какое изменение вообще становится видимым

Цифровые изменения изучают по очень разным данным: ответам людей, интервью, документам, административным записям, цифровым следам, наблюдениям во времени и экспериментам. Эти источники отвечают на разные вопросы. Опрос хорошо показывает отношение и субъективный опыт, но почти не позволяет понять, изменился ли фактический результат. Записи действий системы показывают, как ею пользуются, но могут не отражать, сколько усилий человеку пришлось потратить на исправление ошибки.

Какими способами исследуют

96 эмпирических работ, для которых удалось определить способ исследования

Качественные / интерпретативные
44
Количественные
37
Смешанные
9
Цифровые / вычислительные
4
С проверкой эффекта вмешательства
2

На каких данных строят выводы

78 работ; одна работа могла использовать несколько типов данных

Интервью / рассказы участников
28
Опросы
25
Документы / материалы СМИ
12
Этнография / наблюдение
11
Административные данные
9
Повторные наблюдения во времени
9
Цифровые следы
6
Если вопрос звучит «сработала ли мера?», наблюдения и опроса часто недостаточно. Нужны сравнение во времени, фактический результат и данные о том, что произошло с человеком после вмешательства.

02 · До запуска

Инфраструктура предварительной оценки уже довольно развита

Организации умеют классифицировать риск, описывать данные, заранее определять меры защиты, раскрывать сведения о системе, обучать сотрудников и сохранять участие человека в принятии решения.

В Канаде для автоматизированных государственных решений предусмотрена предварительная оценка воздействия системы. В Великобритании государственные организации раскрывают, как и для чего используют алгоритмические инструменты. Оценка воздействия на защиту персональных данных применяется ещё до запуска системы. Для решений с высоким риском дополнительно используют проверку различий в результатах, тестирование, обучение пользователей и содержательный контроль человека. Несмотря на разные названия методик, предварительная оценка обычно сводится к пяти группам вопросов ниже.

Наличие процедуры само по себе не подтверждает её эффективность. Предварительная оценка показывает, что риск был описан; результат становится понятен только после проверки того, возник ли он в реальной работе системы.

Данные и основания использования

Какие сведения использует система, откуда они получены и какие ограничения действуют.

До запуска можно проверить качество исходных данных, правовые основания их использования, чувствительность и сроки хранения.

данные

Цена возможной ошибки

Что произойдёт, если система ошибётся и насколько последствия обратимы.

Оцениваются возможные потери доступа, времени, денег, возможностей и необходимость дополнительных действий со стороны человека.

последствия

Надёжность и различия между группами

Насколько устойчиво система работает в разных условиях и для разных групп людей.

Проверяются типы ошибок, пограничные случаи и различия в результатах, которые могут возникнуть ещё до массового использования.

качество

Роли и полномочия

Кто влияет на решение, кто его утверждает и кто отвечает за последствия.

Отдельно проверяется, может ли человек изменить результат системы, запросить дополнительную проверку или выбрать другой путь.

управление

Путь исправления

Как человек узнает о решении и что сможет сделать, если обнаружит ошибку.

Заранее задаются способы обращения, пересмотра, исправления данных и последующего наблюдения за повторяющимися сбоями.

исправление

03 · После запуска

Реальная цифровизация становится видимой по другой цепочке

Траектории PST Lab реконструированы как последовательности воздействия, конфликта, оспаривания, ответственности и стабилизации.

Запуск системы и её последствия редко совпадают по времени. Сначала меняется процесс, затем становятся наблюдаемыми последствия для человека, организации или среды. После этого могут возникнуть публичный конфликт, надзор, оспаривание и работающий механизм исправления.

E025

Прямое воздействие

Подтверждено прямое влияние системы на реальный процесс или положение человека.

E123

Изменение жизни или работы

Есть документированное нарушение привычного положения либо положительное восстановление способности.

T423

Оспаривание

Существует содержательная процедура, способная пересмотреть решение или устройство системы.

T517

Операционное исправление

Есть отмена, компенсация, возврат, обязательная мера или другой работающий механизм исправления.

T68

Стабилизация

Появился устойчивый порядок, стандарт, рутина, прекращение системы или иное долговременное решение.

Аналитическая выборка построена по доказательной глубине и не отражает частоту всех цифровых внедрений.

Оспаривание и фактическое исправление последствий — разные институциональные способности.

04 · Что меняется

Последствия шире, чем точность модели или скорость процесса

Для оценки последствий мы отдельно смотрим, как цифровая система меняет предсказуемость, способность человека действовать, доступ к ресурсам и затраты времени.

23

Предсказуемость

Человек понимает или перестаёт понимать, по каким правилам система отнесёт его к категории, назначит проверку, доступ, санкцию или уровень поддержки.

23

Возможность действовать

Меняется способность действовать, влиять на процесс, отказаться, получить альтернативу, оспорить или восстановить результат.

17

Доступ

К услуге, выплате, медицинской помощи, образованию, работе или иному институциональному ресурсу.

16

Время

Экономия времени может соседствовать с новыми затратами на проверку, повторные действия, объяснение и восстановление ошибки.

Эффект цифровизации = полученная ценность − новые издержки − перенесённые издержки − работа по исправлению последствий

Эту формулу не обязательно превращать в один индекс. Она задаёт дисциплину анализа: кто получил выигрыш, кто понёс новые затраты, куда переместилась работа и кому пришлось исправлять последствия.

05 · Работают ли меры

Проверять надо действие меры защиты

Одна и та же мера может выглядеть убедительно в документах и почти ничего не менять в реальной цепочке решения.

Эффективность меры видна по тому, что происходит в реальной цепочке решения. Контроль человека можно оценивать по его полномочию изменить результат и по частоте таких изменений. Обжалование — по доступности, срокам, доле успешных пересмотров и исполнению решения. Обучение — по изменениям практики и частоте ошибок. Прозрачность — по тому, позволяет ли раскрытая информация понять решение и добиться его пересмотра.

Мера
До запуска
Во время
После
Последствие
Контроль человека
роль человека описана
несогласие / изменение решения
ошибки и пересмотр
изменился ли фактический результат
Обжалование
процедура предусмотрена
доля обращений
успех / исполнение
исправлена ли потеря
Обучение
курс / программа
знания и поведение
изменение рабочего процесса
польза клиенту
Проверка различий в результатах
доли отбора по группам
охват проверкой
изменение состава
снизилось ли неравенство
Предварительная оценка воздействия
риски и меры снижения
наблюдение
инцидент / жалоба
материализовался ли риск
Наблюдение после внедрения
план наблюдения
ошибки / отклонения
повторяемость / исправление
изменилось ли положение человека

Контроль человека

До запуска

роль человека описана

Во время

несогласие / изменение решения

После

ошибки и пересмотр

Последствие

изменился ли фактический результат

Обжалование

До запуска

процедура предусмотрена

Во время

доля обращений

После

успех / исполнение

Последствие

исправлена ли потеря

Обучение

До запуска

курс / программа

Во время

знания и поведение

После

изменение рабочего процесса

Последствие

польза клиенту

Проверка различий в результатах

До запуска

доли отбора по группам

Во время

охват проверкой

После

изменение состава

Последствие

снизилось ли неравенство

Предварительная оценка воздействия

До запуска

риски и меры снижения

Во время

наблюдение

После

инцидент / жалоба

Последствие

материализовался ли риск

Наблюдение после внедрения

До запуска

план наблюдения

Во время

ошибки / отклонения

После

повторяемость / исправление

Последствие

изменилось ли положение человека

Участие человека в процессе ещё не означает, что он управляет результатом.

06 · Разрыв в оценке последствий

Чем дальше показатель от внедрения, тем тоньше доказательная база

Это рабочая гипотеза, которую поддерживают разные типы источников: систематические обзоры и реконструированные траектории реальных внедрений.

27

Программ обучения работе с ИИ

Систематический обзор программ для медицинских работников показал улучшения реакций, установок, знаний, навыков и поведения участников.

0

Оценок организационного эффекта

В обзоре не было исследований, подтвердивших изменение работы организации или пользу для пациента либо клиента.

NIST отдельно указывает: предварительная оценка обычно проходит в контролируемой среде, тогда как неожиданные последствия проявляются после реального внедрения. Проверенные методы наблюдения после запуска и единая терминология этой области пока только формируются.

Выход системы в эксплуатацию открывает следующий этап оценки: наблюдение за реальными последствиями и способами их исправления.

07 · Как оценивать лучше · PST Lab

Протокол оценки последствий цифровизации

Рабочая рамка объединяет предварительную оценку рисков, изучение внедрения, жалобы, аудит и наблюдение за изменениями во времени.

00Исходное состояние

Что происходит без новой системы: время, ошибки, роли, стоимость, доступ и работа по исправлению сбоев.

01Ожидаемое изменение

Что должно измениться, кто получает выгоду и какие результаты и последствия предполагаются.

02Меры защиты

Предварительная оценка воздействия, проверка, обучение, контроль человека, обжалование и наблюдение как проверяемые меры.

03Внедрение

Как система реально вошла в практику, кто ей пользуется и где остаются исключения.

04Прямое воздействие

E0/E1: доступ, время, деньги, работа, здоровье, возможность действовать, достоинство и другие последствия.

05Оспаривание

Можно ли изменить результат: активация, срок, успешность и стоимость оспаривания.

06Ответственность

Кто и как исправляет последствия: отмена, компенсация, возврат, обязательная мера.

07Стабилизация

Что осталось через время: новая практика, стандарт, прекращение системы, сопровождение или незавершённость изменений.

До запуска фиксируется ожидание. После запуска — наблюдаемое изменение. Между ними и находится реальный эффект цифровизации.

Методика

Как собран материал

Три доказательных контура не смешивались между собой.

Контур 1. Исследовательский корпус PST Lab за 2024–2026 годы. Для эмпирической части фиксировались способ исследования, используемые данные, тема и организации авторов. Корпус отобран по заданным критериям и не претендует на описание всей мировой науки.

Контур 2. Траектории из Атласа цифровых институциональных сдвигов. Единицей анализа является развитие конкретной ситуации во времени; публикации, решения, нормативные документы и свидетельства используются как источники доказательств. Узлы E0/E1 и T0–T6 фиксируются только при наличии соответствующих подтверждений.

Контур 3. Текущая научная литература и официальные материалы по предварительной оценке воздействия, защите данных, контролю человека, проверке различий в результатах, обучению, прозрачности и наблюдению после внедрения.

Основные внешние источники:
NIST, Challenges to the monitoring of deployed AI systems, 2026.
Privacy impact assessments in the wild: A scoping review, 2024.
Romeo, Conti, Exploring automation bias in human–AI collaboration, AI & Society, 2026 issue.
BMC Medical Education, Assessing the effectiveness of AI education and training for healthcare workers, 2026.
Government of Canada, Directive on Automated Decision-Making.
UK Government Digital Service, Algorithmic Transparency Recording Standard.
New York State Comptroller, Enforcement of Local Law 144, 2025.
Aobdia, Ma, Zhang, Auditing Effects on Employment Hiring, рабочая статья.

Made on
Tilda