Как мы используем стек в платформе Ozon
6 PB
объём хранимых логов
7 млн событий в секунду
обрабатываем в среднем
3 000
пользователей в день
7 500
микросервисов, пишущих логи
4
дата-центра
более 10 000
серверов и стораджей
Что умеет Seq-db?
- Работает на запись до 10 раз быстрее, чем Elasticsearch
- Поддерживает произвольную структуру документов
- Совместима с Elasticsearch Bulk API
- Гибкий функционал поиска
- Построение гистограмм, агрегаций и графиков по логам
- Поддержка отложенных запросов и массовых экспортов
- Настраиваемая репликация в разных зонах доступности
- Поддержка hot/cold разделения данных
- Лёгкость в администрировании, миграции и эксплуатации
А что ещё?
Репликация
Запись в несколько реплик, соответствие любым требованиям к репликации
Кластерная и single-node версии
Работает как в больших кластерах, так и на одной машине с минимальными ресурсами
High availability
Работает
при сбоях зон доступности без сложной конфигурации
Hot/cold storage
Разные уровни надёжности для новых и архивных данных, единый подход к хранению
Отложенные запросы
Планирование и выполнение долгих запросов по терабайтам данных
Агрегации
Построение различных агрегаций с выводом для отображения в виде графиков или таблиц
Выгрузка в S3
Загрузка архивных данных в S3-хранилища и поиск по загруженным файлам
Простая миграция
Перенос данных простым перемещением файлов между машинами
Kubernetes
Нативная поддержка, K8s-first подход к развёртыванию и эксплуатации
А что по бенчмаркам?
А что по бенчмаркам?
Преимущества File.d
Надёжный
Гарантированная доставка логов минимум один раз — события не теряются даже под высокой нагрузкой
Эффективный
Потребляет мало памяти и по максимуму переиспользует ресурсы, без неприятных сюрпризов в потреблении RAM и CPU
Производительный
До 8 раз быстрее отправляет данные — чтобы доставка не была бутылочным горлышком в системе
Бенчмарки
VM Ubuntu 24.04 AMD Ryzen 9 9955HX 2.50GHz, ограниченный до 4-х ядер
Пропускная способность | Потребление ЦПУ (в ядрах) | Потребление памяти | |
File.d 0.67.0 | 705 MB/s | 3.75 | 301 MB |
Filebeat 9.1.2 | 79 MB/s (-88%) | 3.59 (-4%) | 652 MB (+116%) |
Vector 0.49.0 | 380 MB/s (-46%) | 3.41 (-9%) | 533 MB (+77%) |
Пропускная способность
Потребление ЦПУ (в ядрах)
Потребление памяти
File.d 0.67.0
705 MB/s
3.75
301 MB
Filebeat 9.1.2
79 MB/s (-88%)
3.59 (-4%)
652 MB (+116%)
Vector 0.49.0
380 MB/s (-46%)
3.41 (-9%)
533 MB (+77%)
Бенчмарки
VM Ubuntu 24.04 AMD Ryzen 9 9955HX 2.50GHz, ограниченный до 4-х ядер
Пропускная способность | Потребление ЦПУ (в ядрах) | Потребление памяти | |
File.d 0.67.0 | 705 MB/s | 3.75 | 301 MB |
Filebeat 9.1.2 | 79 MB/s (-88%) | 3.59 (-4%) | 652 MB (+116%) |
Vector 0.49.0 | 380 MB/s (-46%) | 3.41 (-9%) | 533 MB (+77%) |
Пропускная способность
Потребление ЦПУ (в ядрах)
Потребление памяти
File.d 0.67.0
705 MB/s
3.75
301 MB
Filebeat 9.1.2
79 MB/s (-88%)
3.59 (-4%)
652 MB (+116%)
Vector 0.49.0
380 MB/s (-46%)
3.41 (-9%)
533 MB (+77%)
