Пропущена ветвь
Основной силуэт совпадает с экспертным выделением, но небольшое ответвление отсутствует.
Проверка выделения
Пропущенная ветвь или смещённая граница: что важнее
Две модели могут получить близкую общую оценку и ошибаться по-разному. Чтобы выбрать подходящий результат, нужно заранее определить структуру, значимую ошибку и способ экспертного сравнения.
Учебные примеры объясняют методику и не являются результатами испытаний продукта.
Два несовершенных результата
Какая модель лучше — зависит от вопроса
Смещена граница
Ответвление сохранено, однако локальный участок внешней границы проходит иначе.
Если исследование посвящено ветвлению, первый вариант не отвечает на главный вопрос. Если критично положение внешней границы, второй вариант может оказаться неприемлемым. Одна сводная оценка может скрыть эту разницу.
Поэтому проверка начинается с предмета: какую структуру выделяем и какая ошибка способна изменить решение специалиста.
Экспертное сравнение
Покажите специалисту спорный участок, а не только итоговое число
Определить объект
Назвать структуру, область и особенности, которые должны быть различимы на исходных данных.
Подготовить ориентир
Зафиксировать экспертное выделение или иной способ сравнения и правила разбора разногласий.
Разделить ошибки
Отдельно учитывать пропуски, лишние области, ложные соединения и смещения границы.
Сохранить условия
Записать версию метода, настройки, ручные исправления и технические отказы.
Измерения
Метрика должна отвечать на выбранную ошибку
Показатель сходства областей может быть полезен для общей формы и почти не заметить потерю тонкой ветви. Расстояние между границами отвечает на другой вопрос. Название метрики само по себе не делает её подходящей.
Сначала описывают ошибку и последствия, затем выбирают измерение. Этот принцип систематизирован в Metrics Reloaded.
Итог проверки
Что включить в отчёт
- задачу и состав данных;
- способ экспертного сравнения;
- метрики и причину их выбора;
- примеры каждого значимого типа ошибки;
- технические отказы и ручные изменения;
- разделение настройки и итоговой оценки.
Отчёт должен позволять понять, где метод помогает, где ошибается и на каких данных получен вывод.
Далее: совмещение изображений