Визуальный контроль качества остаётся одним из самых распространённых применений компьютерного зрения на производстве. Это также область, где проекты терпят неудачу по причинам, которые мало связаны с моделью. Плохое освещение, нерепрезентативные данные и нечёткие цели приёмки приносят больше проблем, чем выбор архитектуры нейросети. В этой статье описаны шаги планирования, которые нужно выполнить до начала обучения.

Определите решение и цену ошибки

Начните с решения, которое будет принимать система. Она может принимать или отбраковывать деталь, определять тип дефекта, измерять размер или считать изделия. Затем запишите, чего стоит ошибочное решение. Ложная отбраковка означает, что годная деталь уходит в брак или на доработку. Пропущенный дефект может дойти до заказчика, вызвать рекламацию или создать риск для безопасности. Эти затраты различаются для разных изделий и заказчиков и определяют, как следует настраивать систему.

Оптика важнее модели

Качество изображения задаёт верхний предел для любой модели. Разрешение камеры нужно рассчитывать от самого малого дефекта, который необходимо обнаружить, с запасом в несколько пикселей на его размер. Выбор объектива влияет на искажения, глубину резкости и рабочее расстояние. Освещение часто играет главную роль, потому что правильная геометрия, например тёмное поле, светлое поле или диффузный купол, вообще делает видимыми царапину или вмятину.

Оснастка и корпуса должны ограничивать изменения внешней засветки и вибрацию деталей. Изображения нужно снимать на реальной линии с реальными деталями до любой работы с моделью, чтобы команда могла оценить, видны ли дефекты человеку, который просматривает те же снимки.

Классы дефектов, разметка и сбор данных

Для классов дефектов нужны письменные определения с примерами изображений и чёткими границами между допустимым и недопустимым. Инструкции по разметке должны быть проверены сотрудниками отдела качества, а часть изображений нужно размечать несколькими людьми, чтобы измерить согласованность. Расхождения между разметчиками часто означают, что определение недостаточно ясно.

Данные следует собирать в разные смены, у разных операторов, на разных партиях материала, при разном состоянии оснастки и в разные сезоны, поскольку температура, влажность и дневной свет могут менять внешний вид деталей. Дефекты по своей природе встречаются редко, поэтому нужен план накопления достаточного числа примеров, который может включать намеренно изготовленные бракованные образцы.

Место инференса и бюджет задержки

Инференс может выполняться на периферийном устройстве рядом с камерой или на сервере, подключённом по заводской сети. Периферийное развёртывание даёт малую и предсказуемую задержку и продолжает работать при сбое сети. Сервер упрощает обновление моделей и позволяет использовать более тяжёлые модели. Решение следует из бюджета задержки: он начинается с триггера, включает съёмку, передачу, предобработку, инференс и сигнал на линию и должен заканчиваться до того, как деталь дойдёт до точки отбраковки.

Операторы, пороги и интеграция с линией

Любая модель обменивает ложные срабатывания на пропуски. Рабочий порог нужно выбирать вместе с операторами линии и инженерами по качеству, опираясь на анализ затрат из первого шага. Операторы также знают, какие вариации считаются нормой, и их раннее участие улучшает и разметку, и принятие системы.

Система технического зрения должна взаимодействовать с линией. Обычно PLC формирует триггер и получает результат, а MES получает записи для прослеживаемости. Механизм отбраковки, например воздушная струя, толкатель или отсекатель, должен быть синхронизирован с положением детали. Для неисправности камеры, ошибок модели и потери связи нужно заранее определить безопасное поведение.

Обратная связь, дрейф и критерии приёмки

После внедрения операторы должны иметь возможность отмечать неверные решения, а такие изображения должны попадать в процесс проверки и переобучения. Мониторинг должен отслеживать долю отбраковки, распределение оценок модели и статистику изображений, поскольку изменения материала, освещения или положения камеры вызывают дрейф. Версии моделей, наборы данных и согласования нужно фиксировать в рамках обычной практики MLOps.

Критерии приёмки следует согласовать до начала обучения. В них указывают метрики, например долю пропущенных дефектов и долю ложной отбраковки, тестовый набор данных, условия испытания и того, кто подписывает приёмку. Если всё это определено, у проекта есть чёткое понимание того, что считать завершённой работой.