Deep Vision
Система автоматического распознавания изображений анализирует состояние полок в торговых точках при помощи свёрточных нейронных сетей
Как работает Deep Vision
.



В зависимости от выбранной модели взаимодействия фотографии из торговых точек собираются Вашими полевыми сотрудниками или нашими агентами, которые работают по технологии краудсорсинга.


Далее эти фотографии пересылаются на сервер, где обученная нейронная сеть автоматически распознает все товары на фотографиях и рассчитывает ключевые показатели эффективности, например, такие как:

– Доля полки в фейсингах / ассортименте
– Наличие продукта на полке (OSA) / Аутоффсток (OOS)
– Соответствие планограмме
– "Регулярные" и "Промо" цены
– Наличие промо-материалов (POSM) и т.д.
В основе распознавания товаров на фотографиях лежит технология свёрточных нейронных сетей (CNN, convolutional neural networks). Это вид технологии глубинного обучения (deep learning), позволяющей эффективно обучать систему на распознавание различных объектов.

Система распознавания состоит из 3 основных этапов
Кирилл Непомнящий, Генеральный директор Streetbee
Этапы распознавания
1
Работает универсальная локализационная нейронная сеть, которая локализует на фотографии объекты (в нашем случае товары)
2
Отрабатывает вторая нейронная сеть, которая определяет категорию товаров (соки, пиво, стиральные порошки, корма для животных и т.п.)
3
По результатам выбора второй нейронной сети, запускается специализированная нейронная сеть, которая обучена классификации объектов (товаров) в определенной категории товаров
Первые две сети являются универсальными и не зависят от дизайна упаковок и этикеток товаров, и могут работать с фотографиями полок из любой страны, тогда как нейронные сети, которые работают на третьем этапе необходимо обучать при подключении новой категории в каждой стране, т.к. дизайны упаковок и этикеток товаров в каждой стране могут достаточно сильно отличаться.
В результате данная система распознавания изображений
обеспечивает высокие показатели эффективности
<20 сек

СКОРОСТЬ ОБРАБОТКИ
>96%

ТОЧНОСТЬ

ДОСТУПНЫЙ ОБЪЕМ ОБРАБОТКИ
Все фотографии проходят гибридную обработку − системой компьютерного зрения Deep vision и проверяются в случае необходимости категорийными специалистами Streetbee.
Процесс гибридной обработки фотографий

Некоторые KPI могут быть оценены только человеком (специалистом)

– Глубина товара на полке
– Цены
– Местоположение категории внутри магазина
– Кол-во и тип промо-акций
– Кол-во и тип ПОСМ материалов
– Доля ДМП и их местоположения внутри магазина

Обучение Deep Vision
Для обучения системы распознавать один новый артикул требуется не менее 100-200 фото полок, содержащих данный товар (СКЮ).

Также при помощи технологий машинного обучения система автоматически контролирует качество выполнения заданий исполнителями и отбраковывает некорректно выполненные задания при помощи сложных математических моделей агрегаций ответов (Majority Vote, Dawid-Skene, GLAD и ее модификации), динамического перекрытия и динамического ценообразования заданий.

Очень важно отметить, что наличие собственной краудсорсинговой платформы с технически неограниченным числом исполнителей, мы можем очень быстро и с минимально возможными затратами собирать и размечать датасеты любого размера для обучения нейронных сетей распознающих изображения или любых других алгоритмов машинного обучения.