Пропуск
Небольшая ветвь не попала в выделенную область. Основная форма узнаваема, но модель уже не отвечает на вопрос об этой ветви.
Медицинский ИИ
Алгоритм провёл границу. Как проверить, что она верная
Выделенная область может выглядеть убедительно и всё же потерять тонкую ветвь, соединить соседние участки или захватить лишний объект. Разбираем, что именно выдаёт алгоритм и какие ошибки должен увидеть специалист.
Речь идёт об исследовании выделения структур, а не о готовой диагностической системе.
Что выдаёт алгоритм
Что выделил алгоритм
Сегментация отмечает область изображения, которая, по правилам метода, относится к выбранной структуре. Результат можно наложить на исходный срез или превратить в поверхность.
Но алгоритм не объясняет медицинский смысл границы. Специалист сравнивает её с изображением, отмечает расхождения и решает, достаточно ли данных для вывода по конкретному участку.
Что сохраняют для разбора
- исходное изображение и пространственные параметры;
- версию метода и настройки;
- полученную область до ручных исправлений;
- замечания специалиста к спорным участкам;
- изменённую версию и причину правки.
Три разных сбоя
Одинаковая итоговая оценка может скрыть разные ошибки
Ложное соединение
Два соседних участка стали одним объектом. Ошибка меняет связность структуры и требует возврата к исходным изображениям.
Лишняя область
Соседний объект присоединён к результату. Сглаживание поверхности сделает его аккуратнее, но не исправит смысл ошибки.
Эти ошибки нельзя свести к одному впечатлению «похоже / не похоже». Для каждой задачи заранее определяют, какие расхождения критичны и кто их оценивает.
Сравнение методов
Сначала один вопрос, потом метрика
Если два метода работают на разных наборах данных или один из них несколько раз настраивали по итоговой выборке, число в отчёте не даёт честного сравнения. Условия фиксируют до расчёта: объект, состав данных, значимые ошибки, правила ручной проверки и разделение настройки с итоговой оценкой.
Одна задача
Оба метода выделяют одну и ту же структуру при одинаковых критериях.
Одинаковые данные
Правила включения, исключения и технических отказов действуют для обоих методов.
Разбор ошибок
Кроме общей метрики команда рассматривает конкретные пропуски, соединения и смещения.
Независимая оценка
Материал для итоговой проверки не используется для настройки метода.
Подбор метрик под свойства задачи подробно рассматривает инициатива Metrics Reloaded.
Следующий эксперимент
Определить ошибки, которые меняют решение
Для первого эксперимента выберите материалы, которые разрешено использовать в исследовании, и согласуйте правила экспертной оценки. Требования к обезличиванию и доступу определяются до передачи данных. Результаты обучения и независимой проверки собственной модели на этой странице не заявлены.
Открыть методику проверки