E-CUP: everything as code. ML-соревнование с реальными задачами Ozon Tech

E-CUP — масштабное соревнование по матчингу товаров и генеративному дизайну для DS-, ML-инженеров и разработчиков от команды Ozon Tech 🏆

⭐️ Задача: разработать ML–модель для определения схожести товаров по названиям, атрибутам и картинкам.

🎯 Цели: улучшить пользовательский опыт клиентов Ozon, оптимизировать ресурсы и минимизировать расходы на серверное оборудование.

✏️ Контекст: при просмотре товаров система показывает пользователю аналогичные предложения других продавцов. Матчинг помогает найти товар с более высоким рейтингом, низкой ценой и быстрой доставкой. Это особенно ценно, когда товар, добавленный в корзину, но не выкупленный, распродан.

📂 Ключевые данные для обучения ML-модели: название товара, готовые эмбеддинги картинок и атрибуты.
Эти данные формируют признаковое пространство для решения задачи бинарной классификации. Она отвечает на вопрос: являются два товара идентичными или нет.

Целевая метрика задачи — PR AUC. Она хорошо отражает желание команды повышать полноту, не жертвуя точностью.  

Для обучения моделей участникам предоставлялся датасет, содержащий 20 товарных категорий. Для получения разметки данных использовался крауд-сервис Ozon Profit. В нём люди изучали пары товаров и проставляли отметку: 1 — матч, 0 — не матч.

⭐️ Задача: разработать ML-модель для определения акта курения или табачных изделий на фото с долей точности > 95%.

🎯 Цели: усилить модерацию изображений на предмет нарушения правил маркетплейса, повысить уровень безопасности поиска для пользователей.

✏️ Контекст: главная проблема модерации фото — разнообразие товаров и видов курения. Это непосредственно сигареты, нарисованные картинки на одежде и вещах быта, сувениры, постеры. Так, портсигары и пепельницы часто изображаются с сигаретами, но они не должны относиться к запрещённой категории. Также сложности детекции вызывает маленький размер объектов. Система не должна распознавать человека, держащего руку у лица, как курящего.

📂 Ключевые данные для обучения ML-модели: вручную размеченный датасет с двумя группами изображений — с актом курения и без.   

Главная метрика — Precision. Показатель должен быть не ниже 95%, чтобы не относить к категории «Курение» обычные товары. Также оценивался Recall для определения качества модели. Учитывалась и скорость работы модели — участники стремились к показателю 1 000 RPS.   

Команды экспертов Ozon Tech на протяжении всего соревнования помогали участникам. Разбирали условия, нюансы задач и другие вопросы в чатах и на специальных Q&A-сессиях. А ещё эксперты проверяли решения команд.

— старт подготовительного этапа: формирование задач, сбор дата-сетов, разработка baseline-решения, подготовка платформы Codenrock к запуску соревнования. 

⬇️

— запуск сайта хакатона, открытие регистрации на нём, начало маркетинговой кампании.
⬇️

— старт E-CUP. 

Участники получили доступ к baseline-решению на репозитории GitLab через платформу Codenrock. Принимались решения как на его основе, так и собственные. Дополнительно участники прикладывали файл README с описанием проекта, инструкцией по запуску пайплайна подготовки данных, обучения модели и её применения.

Допускались любые библиотеки в открытом доступе. Язык проекта — Python. После загрузки и успешного инференса решения, модель автоматически рассчитывалась по заданной метрике. Результаты команд публиковались в лидерборде и обновлялись в реальном времени. Участники отслеживали успехи конкурентов и не прекращали повышать точность работы до самого дедлайна. 
⬇️

— окончание соревнований. 

В финал вышли 10 команд, по 5 в каждом направлении. Это авторы самых эффективных решений.  
⬇️

— питч-сессия и объявление победителей. 

Лидеры отборочного этапа выступили с презентацией своих решений. Сразу после питч-сессии были опубликованы результаты и списки победителей. 
⬇️

— награждение победителей на E-CODE.

28 и 29 сентября в Москве прошла первая IT-конференция Ozon Tech — E-CODE. За два дня её посетили более 3 000 IT-специалистов. 

Награждение победителей прошло на E-CODE — первой IT-конференции Ozon.  

Победители E-CUP стали особыми гостями конференции. Ozon организовал для них трансфер и проживание на время мероприятия 🏆

В течение дня команды E-CUP слушали доклады (6 экспертных треков, в том числе по ML, и научно-популярный трек, всего 50+ часов докладов). А ещё общались с HR-специалистами и экспертами, играли в IT-квест и настолки, пели в караоке.

А вечером в свете софитов состоялось награждение победителей перед тысячной аудиторией E-CODE.