Регламент ЕС об ИИ запретил большую часть школьных ИИ-систем. Что осталось

Обсуждение Регламента ЕС об ИИ обычно крутится вокруг категории высокого риска: оценка соответствия, документация, маркировка. Для школ важнее не этот раздел.

Важнее статья 5, которая некоторые практики не регулирует, а запрещает.

Что статья 5 говорит о классах

Среди запрещённых практик — использование систем ИИ для определения эмоций человека на рабочем месте и в образовательных учреждениях. Есть узкие исключения по медицинским соображениям и соображениям безопасности, но общая позиция однозначна: система, которая смотрит на учащегося и делает вывод о том, что он чувствует, в европейской школе недопустима.

Это более строгая позиция, чем почти где-либо ещё в Регламенте. В большинстве других контекстов определение эмоций попадает в категорию высокого риска — то есть разрешено при выполнении обязательств. В образовании оно просто исключено.

Логику восстановить нетрудно. Учащиеся — это несвободная аудитория со значительным дисбалансом власти по отношению к учреждению, часто несовершеннолетние, а научная обоснованность вывода о внутреннем состоянии по выражению лица спорна. В сумме запрет выглядит защитимым регуляторным решением.

Почему это выводит из игры множество продуктов

Заметная доля представленных на рынке систем «мониторинга благополучия учащихся» делает ровно то, что запрещает статья 5. Схема узнаваемая:

• анализ видео из класса на предмет выражений лица;
• оценка вовлечённости, внимания, стресса или настроения по каждому учащемуся;
• дашборд, показывающий, кто «испытывает трудности».

Любой продукт на этой схеме теперь продаёт европейской школе то, что она не вправе внедрить. Некоторые поставщики отреагировали переименованием: не «определение эмоций», а «аналитика вовлечённости». Это не помогает, потому что Регламент оценивает, что система делает, а не как называется функция. Если вывод о внутреннем состоянии делается на основе наблюдения, подпись на дашборде значения не имеет.

Различие, которое действительно выдерживает проверку

Здесь есть чёткая граница, и её стоит сформулировать точно, потому что именно по ней теперь следует оценивать любую закупку школьной системы безопасности.

Распознавание события — это не определение эмоции.

Система, которая фиксирует драку в коридоре, распознаёт событие: два человека, конкретные движения, наблюдаемое происшествие. Она не утверждает ничего о внутреннем состоянии. Она говорит: здесь происходит драка, а не этот ученик зол.

Система, которая смотрит на лицо ученика и выдаёт «подавлен», определяет эмоцию. Она делает вывод о внутреннем состоянии по внешнему наблюдению — и делает это в отношении конкретного учащегося в образовательной среде.

Первое — система безопасности. Второе запрещено. На демонстрации они могут выглядеть похоже, а юридически находятся в разных мирах.

Где мониторинг благополучия по-прежнему возможен

Всё это не означает, что школы должны отказаться от раннего выявления учащихся в трудной ситуации. Это означает, что данные должны поступать из другого источника: от самого учащегося.

Добровольные самоотчёты на валидированных психологических инструментах под запрет статьи 5 не подпадают, потому что ничего не выводится косвенно. Учащийся сам сообщает. Система фиксирует сказанное и отслеживает динамику.

У этого различия есть и второе преимущество, уже не юридическое. Выведенные эмоциональные данные на практике ненадёжны: связь между выражением лица и внутренним состоянием слабая, зависит от культурного контекста и хуже работает именно для тех учащихся, кому тяжелее всего. Самоотчёт — это настоящий сигнал от человека, который действительно располагает информацией.

Соответствующее требованиям решение и эффективное решение здесь совпадают.

Вопросы, которые стоит задать поставщику

Если вы оцениваете технологию для школы в ЕС — или в Великобритании, где сопоставимое внимание формируется другим путём, — эти вопросы отделяют продукты, которые выживут, от тех, которые нет:

1. Формирует ли система какой-либо вывод об эмоциональном или психологическом состоянии учащегося?
2. Если система помечает учащегося как «в зоне риска», на чём основан этот признак — на наблюдении или на том, что учащийся сообщил сам?
3. Продукт изначально создавался без определения эмоций или эта функция была убрана ради соответствия?
4. Можете ли вы показать в модели данных, откуда берётся сигнал о благополучии?

Третий вопрос важнее, чем кажется. У продукта, построенного вокруг определения эмоций и затем лишённого его, на месте ключевой функции остаётся дыра. Продукт, который на неё никогда не опирался, ничего не теряет. Это разные продукты с разными дорожными картами, что бы ни было в текущем списке возможностей.

Позиция «соответствие с первого дня»

Есть трактовка, при которой регулирование — это препятствие, которое надо обойти. Она стареет плохо.

Запреты Регламента для образовательной среды появились потому, что законодатели пришли к выводу: некоторые виды обработки не должны применяться к детям в учреждениях, обладающих над ними властью. Школа, оценивающая такую технологию, не просто закрывает юридический пункт. Она решает, что готова делать с собственными учениками.

Технология, которая проходит регуляторный порог, в данном случае одновременно является той, которая относится к учащимся как к людям, у которых можно спросить, а не как к объектам, которых нужно считывать. Это не совпадение и не ограничение, которое надо минимизировать.