Russtech + Стажеры + ML: история разработки решения для мониторинга цифровых экранов

Всем привет! Меня зовут Никита Крестьянинов, я руководитель группы управления бизнес-процессами служб сервиса в команде Russtech (разработчики ведущего российского оператора рекламы вне дома Russ). Сегодня я хочу рассказать, как мы совместно со стажерами разработали ИИ-инструмент, способный отслеживать состояние работы цифровых рекламных конструкций.

Стажировка в Wildberries & Russ

Недавно RWB (объединенная компания Wildberries & Russ) организовывала стажировку для студентов старших курсов и магистрантов по девяти направлениям: разработка и IT, аналитика, ESG, менеджмент, юриспруденция, финансы, исследования, маркетинг и контент, а также редакция и коммуникации. Студенты ведущих вузов, включая МГУ, НИУ ВШЭ, МФТИ и ВАВТ и др., могли выбрать наиболее интересное для них направление, пройти конкурсный отбор и на два месяца погрузиться в реальную рабочую среду (о старте нового набора на программу можно узнать на нашем сайте RWB Образование и в телеграм-канале WB Level Up).

Наша команда пригласила к себе четырех стажеров для работы над новым проектом: созданием ML-модели для автоматизированного мониторинга качества изображений на цифровых экранах. К началу стажировки мы уже сформировали концепцию нового ИИ-помощника, поэтому сразу же приступили к работе над кейсом.

Распределение задач

В данном проекте я отвечал в том числе за организацию работы стажеров. Моя роль как общего куратора заключалась в координации всей команды, контроле сроков и проведении общих встреч. Еще на старте вместе с командой мы разработали план создания ИИ-модели и разбили проект на пять этапов:

• сбор данных (~2 недели);

• разметка данных (~1 неделя);

• проектирование архитектуры (~2 недели);

• разработка и тестирование прототипа модели (~4 недели);

• работа с аналитикой и метриками (~2 недели).

Когда к нам присоединились стажеры, мы провели серию собеседований, чтобы выявить сильные стороны ребят и распределить задачи, учитывая их знания, интересы и ожидания. По итогу Тимофея решили подключить к работе с моделью и данными, Маргариту — к разработке интерфейса для визуализации результатов, Анну — к бизнес-аналитике, а Валерию — к разметке данных и работе с базами.

Для более плавной адаптации каждому стажеру назначили ментора с учетом его направления (ML, Mark Up, Data Science). Они курировали ежедневную работу ребят и отвечали на все вопросы. Дополнительно были организованы вводные лекции по системной аналитике и работе с нашей системой DSM (Digital Screen Monitoring) для более глубокого погружения в проект.

Также мы договорились проводить короткие ежедневные общие совещания, чтобы все участники команды понимали, на каком этапе находится проект, текущие задачи и т. д. В дальнейшем мы убедились, что такой подход был весьма эффективным:

• каждый участник понимал систему целиком, а не только свою часть;

• мы могли менять приоритеты и быстро перераспределять силы на более важные задачи;

• решения принимались с учетом всех аспектов — от данных до пользовательского опыта;

• в коллективе удалось создать атмосферу взаимопомощи и общей ответственности.

В качестве результатов стажировки мы ожидали получить:

• собранный и размеченный датасет для обучения нейросети (чтобы мы могли использовать в дальнейшем);

• задокументированную аналитику;

• созданную нейросетевую модель. Мы планировали ее в дальнейшем дообучить и превратить в полезный инструмент, способный отслеживать состояние работы цифровых конструкций и оповещать технические службы о необходимости проведения дополнительных работ.

Работа над проектом

1-й этап. Сбор и первичная обработка данных

Для обучения ML-модели в первую очередь требовалось собрать данные. Мы организовали временный доступ к цифровому экрану на технической территории, на который установили три камеры разных моделей с различными типами линз для симуляции реальных условий. Создавая искусственные неисправности, команда сделала более 1500 скриншотов. Стажеры управляли стендом, записывали данные, проводили первичный анализ и отбраковку некачественных фото.

2-й этап. Разметка и изучение предметной области

Следующим этапом стала подготовка датасета — трудоемкая и ответственная задача, для выполнения которой была выбрана платформа Label Studio. Стажеры тщательно изучили устройство цифровых экранов, типы матриц и причины возникновения различных технических дефектов, что позволило им проводить разметку уже не механически, а осознанно.

Однако тут мы столкнулись с серьезной проблемой: все снимки с камер имели искажение "рыбий глаз". Кроме того, различное положение цифровых конструкций относительно сторон света, а также наклон и угол размещения камеры создавали дополнительную сложность для систематизации снимков.

Тогда у нас возникло предложение попробовать повышать качество исходного изображения и убирать искажения из-за fisheye-линз. В качестве инструмента для повышения качества мы взяли ИИ-модель Real-ESRGAN, а «нормализацию» рекламного щита производили с помощью библиотеки OpenCV. То есть теперь снимки предварительно обрабатывались при помощи классических инструментов компьютерного зрения PyTorch и разметки. Качество исходного скриншота повышалось, а само изображение «выпрямлялось». После чего на получившемся изображении размечался экран, чтобы можно было выделить нужную область и отбросить окружение, снизив вероятность ложных детекций.

3-й этап. Подготовка к обучению и выбор модели

Затем совместно со стажерами наша команда проанализировала несколько вариантов нейросетей (YOLOv8, TF EfficientNet B4, ResNet18, ResNet50, U-net). Было проведено тестовое обучение и валидация на небольших наборах данных. По итогам сравнения метрик скорости и точности решили остановиться на U-net.

4-й этап. Обучение и тестирование модели

Мы написали скрипты для аугментации данных и запустили процесс обучения на Google Colab. Стажеры активно мониторили процесс, отслеживая метрики (loss, precision, recall) в TensorBoard. Дальше началось тестирование на отдельной выборке.

На этом этапе тоже обнаружились сложности: низкая точность на краях кадра из-за дисторсии («рыбий глаз»), ложные срабатывания вокруг экрана и недостаточное обобщение модели на данные с камер, не участвовавших в обучении.

Трудности, с которыми мы столкнулись, оказались типичными для компьютерного зрения в реальных условиях. Искажения «рыбий глаз» возникали из-за использования широкоугольных объективов, ложные срабатывания — из-за сложного фона вокруг экранов, а проблема обобщения была связана с разницей в условиях съемки между нашим демостендом и реальными конструкциями. Эти вызовы заставили нас пересмотреть первоначальный подход и искать более надежные архитектурные решения.

Feel free, или Успехи команды

Выявленные в ходе тестирования проблемы поставили под сомнение эффективность выбранного подхода с единой ML-моделью, требовался фундаментальный пересмотр архитектуры решения. На очередном брейншторме, проходившем под девизом «Feel free», пришли к идее разделить этот этап на два и использовать две специализированные нейросети.

Первоначальная модель U-net пыталась одновременно решать две разные задачи: находить границы самого экрана на изображении с сильными искажениями и фоном, а также классифицировать проблему. Это было слишком сложно для одной архитектуры.

Стажеры предложили следующий пайплайн.

1. Сначала точно вырезать область экрана из изображения, чтобы избавиться от всех помех по краям (рамок, стен, дорог, машин и проч.) и устранить эффект «рыбьего глаза».

2. Затем подать это выровненное и очищенное изображение экрана в классификатор.

Мы решили попробовать использовать две модели. U-net — для семантической сегментации и точного выделения на фото маски экрана, т. е. области с границами экрана. TF EfficientNet B4 — для определения неисправности на основе подготовленного изображения.

Обучение U-net

Стажеры заново провели разметку данных, но на этот раз размечали уже контур самого экрана. Это было сделано быстро, так как инструмент (Label Studio) и процесс ребятам были уже хорошо знакомы. Они обучили U-net предсказывать маску экрана.

Для коррекции эффекта «рыбьего глаза» мы написали собственную библиотеку, т. к. в open source-проектах нужный функционал отсутствовал. Мы построили математическую модель явления и реализовали обратное отображение. Точность определения границ экрана достигла 90%. Проблема ложных срабатываний вокруг экрана была почти полностью решена, теперь модель классификатора меньше видела фон.

Обучение TF EfficientNet B4

На этом этапе был подготовлен новый датасет для классификации. Ребята использовали U-net: брали исходное фото, применяли к нему предсказанную маску и трансформацию, получая в результате идеально выровненное изображение экрана без лишних деталей.

Позже было предложено использовать transfer learning на предобученную на ImageNet модель TF EfficientNet B4, заменив и дообучив только последние слои. Это позволило добиться высокой точности даже на относительно небольшом нашем датасете. Метрика Accuracy для основной задачи превысила 92%.

Веб-интерфейс

В рамках стажировки также была создана веб-версия ML-модели BUNNY (название нашего ИИ-инструмента). Данный веб-интерфейс стал удобным и понятным способом взаимодействия с системой. Стажеры разработали механизм Drag and Drop, который позволил мгновенно отправлять скриншоты на проверку. После загрузки снимка модель автоматически анализировала изображение и показывала результат, выделяя при этом проблемную область на исходном снимке.

Результаты

Совместными усилиями у нас получилось создать внутренний инструмент для автоматического контроля работы цифровых экранов. Разработанная и протестированная двухэтапная ML-архитектура показала точность свыше 76% на тестовых данных.

Достигнутые результаты превзошли наши ожидания. Мы высоко оценили вклад стажеров и предложили всем ребятам позиции в компании, чтобы продолжить вместе развивать этот проект.

Стажировка в Wildberries & Russ еще раз подтвердила эффективность подхода "обучение через практику". Мы на личном опыте убедились, что благодаря интересным задачам, современным инструментам и поддержке опытных наставников талантливые ребята могут достигнуть впечатляющих результатов даже в сжатые сроки. Неудивительно, что из 90 участников более 39% стажеров остались работать в компании после завершения программы, включая четырех ребят, которые работали над нашим проектом.

Спасибо за внимание!