Data Engineer, Подготовка офлайн-факторов ранжирования

Привет! Это команда Подготовка офлайн-факторов ранжирования.

Мы занимаемся сбором, агрегацией и подготовкой данных о событиях, пользователях и товарах, которые в дальнейшем используются для аналитики и ранжирования в товарном поиске Ozon.

Наш стек
Python, PySpark, Spark, Clickhouse, Kafka, Airflow, Grafana.

Вы будете

• Создавать новые и развивать существующие пайплайны обработки данных для команд направления поиска.

• Оптимизировать процессы поставки данных и сокращать время на их подготовку.

• Участвовать в создании платформы для внедрения новых процессов подготовки данных и мигрировать существующие.

Примеры задач

• Подготовка витрин и датасетов для команд, аналитики, DS и ML.

• Оптимизация Spark-задач, SQL-запросов и процессов поставки данных.

• Настройка регулярных процессов подготовки витрин данных и контроль их качества.

• Разбор инцидентов в процессах подготовки витрин и повышение их надежности.
  
  Нам важно

• Опыт разработки пайплайнов обработки данных от 2х лет.

• Уверенное владение Python и SQL.

• Опыт работы с PySpark/Spark или готовность быстро погрузиться.

• Опыт работы с Airflow или другими системами оркестрации обработки данных.

• Умение разбираться в существующем коде и улучшать его качество.

• Внимательность к надежности, производительности и мониторингу.
  
  Будет плюсом

• Промышленный опыт работы с PySpark/Spark.

• Опыт работы с ClickHouse, Kafka.

• Опыт оптимизации Spark-задач и SQL-запросов.

• Опыт программирования на Java.

• Опыт настройки мониторинга в Grafana