Explainability: почему это ядро всей темы
Здесь начинается самое важное, и это та часть, которую обычно пропускают.
Проблема не в том, что ИИ ошибается. Проблема в том, КАК он ошибается
Мы привыкли к определённой логике отказов. Классический прибор, когда ему нельзя верить, честно об этом сообщает: выпадает флаг, зачёркивается шкала, гаснет индикация. Прибор говорит «я не работаю» — и дальше вступает перекрёстный контроль по независимому источнику. Эта логика отрабатывается с первых часов обучения.
Система машинного обучения, вышедшая за пределы своей области применения, ведёт себя иначе. Она
не молчит и не выдаёт флаг. Она уверенно выдаёт бессмыслицу.Это фундаментальное отличие, и оно ломает привычный cross-check. Если независимый источник показывает одно, а «умная» система — другое, у нас нет внешнего признака, по которому можно понять, кто прав.
Именно поэтому в требованиях EASA появляются
runtime monitoring и
детектирование выхода за пределы обучающего распределения: система обязана уметь сказать «я вне своей компетенции». Это не опция, а условие допуска.
Пять реальных рисков
Выход за пределы ODD. Редкая метеообстановка, необычная конфигурация ВПП, нештатное сочетание отказов. Модель обучена не на этом — но ответ всё равно даст.
Automation bias — предвзятость к автоматизации. Принять вывод системы без проверки, потому что «обычно она права». Особенно коварно на уровне 1B, где рекомендация выглядит авторитетно и экономит время именно тогда, когда времени нет.
Disuse — зеркальный отказ. После одной заметной ошибки экипаж перестаёт доверять системе вообще и теряет реальную пользу. Доверие рушится быстрее, чем восстанавливается.
Mode confusion в условиях HAT. «Кто сейчас решает — я или система?» На уровне 2B это неочевидно, и это новая разновидность старой проблемы с режимами автопилота.
Стартл-эффект с новым источником. Внезапный странный вывод системы даёт классическую реакцию испуга, но с дополнительным слоем: отказала система или ситуация действительно такая? Фаза диагностики удлиняется именно тогда, когда её надо сокращать.
Проблема тайминга
Объяснение, которое требует тридцати секунд чтения, бесполезно на пятистах футах.
Explainability должна работать на уровне «почему» и «насколько уверенно», а не выдавать лог параметров. Это задача проектирования интерфейса не меньше, чем задача программирования — и здесь очень пригодился бы голос пилотов, пока требования ещё формируются.
Что делать при противоречивых данных
Рабочий алгоритм, который стоит положить в голову заранее:
- Определи авторитет. Это рекомендация или уже действие? У кого последнее слово прямо сейчас?
- Проверь ODD. Ситуация штатная для этой системы или на границе? Необычные условия — автоматически понижаем вес вывода.
- Cross-check по независимому источнику. При расхождении приоритет у независимого канала, а не у более «умного».
- Оцени асимметрию цены ошибки. Что хуже: последовать неверной рекомендации или проигнорировать верную? При равной неопределённости решает именно асимметрия.
- При неразрешимом конфликте — понижай уровень автоматизации. Возврат к простому и понятному режиму — штатная процедура, а не поражение.
- Не диагностируй в критической фазе. Сначала траектория, потом разбор.
Узнаёте? Это та же логика, что мы применяем к любому расхождению показаний. Меняется только природа источника.