Шутка, которая стала реальностью: как Fozzy Group развивает собственный искусственный интеллект

Как Fozzy Group использует собственную нейросеть KISSA, какие ее особенности и почему супермаркеты Сільпо никогда не станут аналогом бескассового Amazon Go.

Развитие искусственного интеллекта в группе компаний Fozzy началось с шутки на 1 апреля 2017 года, когда сеть супермаркетов Сільпо заявила о внедрении самообучающейся программы KISSA (Key Intellectual Silpo System Assistant). Она включала в себя работу с Big Data, интеграцию с CRM и ERP-системами Сільпо, использование данных геолокационных сервисов и спутников связи, чтобы повысить качество взаимодействия с покупателями, а также помочь автоматизировать бизнес-процессы. Таким образом, планировалось сократить расходы от 20% до 25% за счет оптимизации процессов и повысить эффективность логистических процессов на 40%.

На несколько лет о шутке забыли, пока в 2021 году не начали настоящие тестирования собственной нейросети. Название KISSA оставили и в настоящее время оно полноценно работает в кафе Кантин на Левом берегу Киева. В колонке для Speka руководитель «Лаборатории Зи», R&D-подразделения TemaBit Fozzy Group Андрей Янбухтин рассказал о том, как решение выросло за эти годы. RAU выбрала из материала ключевое.

TemaBit занимается в Сільпо направлением сomputer vision. Это фотографии, картинки, видео и работа с оптическими объектами. У нас работает кафе Кантин в бизнес-центре Silver Breeze – это формат быстрого ресторана: берете поднос, сами выбираете блюда, затем ставите поднос в так называемый портал, где ИИ распознает заказ и выставляет цену. Портал – это конструкция с подсветкой и камеры. Камера делает снимок, попадающий в нейросети, которая определяет и классифицирует блюда на подносе. Мы подсвечиваем на экране, какие блюда выбрал гость, их порциональность и т.д.

Алгоритм достаточно сложен: мы считаем пельмени, площадь пюре на тарелке, чтобы определить, порция это или половина порции, и выводим сумму на экран гостю. Все происходит в автоматическом режиме, время на классификацию блюд – примерно 2-3 секунды. В систему Kissa загружено около 200 блюд и столько же SKU.

Как система на основе computer vision распознает пищу

Над проектом от идеи до MVP работали около полутора лет, а первый портал был просто деревянной рамкой. Когда все только начиналось, в команде было несколько человек: мы носили из столовой борщи на подносах и учили «нейронку» определять, с каким блюдом она имеет дело. На первом портале мы установили три камеры. Сейчас используем одну-две. Дополнительная камера позволяет увидеть продукт с другого ракурса, если данных из первой камеры не хватает.

Главная сложность заключалась в том, что мы создавали свое решение с нуля. Конечно, в мире были аналогичные решения, в частности у китайцев, но они привязывались к тарелкам определенного размера: то есть каждое блюдо нужно было класть в отдельную тарелку. Но ведь мы так не любим: нужно сложить в одну тарелку пюре, котлету, подливку и салат. И ИИ должен был определить, что там такое во всей этой подливе.

Как выглядит ШИ-портал от Fozzy Group

Сегодня точность узнавания большинства наших блюд достигает почти 98%. Мы сделали экран интерактивным, чтобы в случае ошибки со стороны ИИ можно было за два щелчка изменить порцию на половину порции. Когда меняется дизайн определенного товара, например, бутылки Моршинська, мы сразу загружаем фотографии нового дизайна в систему и доучим, таким образом, «нейронку».

Когда мы только начинали, то думали: чем больше данных — тем лучше, но наконец остановились на золотой середине. Ведь существует такое понятие, как переучить нейросеть, когда она имеет так много информации, что начинает ошибаться из-за ее избытка.

Ориентируемся на опыт Amazon Go и его решения, позволяющие ИИ определять, сколько покупатель взял товаров в магазине, и дают расплатиться без кассы и без кассира. Это решение отлично подходит для небольших магазинов, а для больших супермаркетов, как Сильпо, это неоправданно дорого. Количество камер для решений, отслеживающих с потолка конкретного человека и что он берет, это около пяти штук на квадратный метр. Так что если брать наши размеры и количество магазинов, это получается слишком дорого.

Важно понимать, что искусственный интеллект – это не панацея. Если вам нужен результат на уровне подсчета в Excel, зачем привлекать ИИ? Все можно сделать гораздо проще. Даже если ручной результат дает 80% по Паретто, а 20% добавляет ИИ, стоит задуматься, нужны ли здесь эти 20%, а значит искусственный интеллект.