О Дзене

Каждый день миллионы людей смотрят, читают и обсуждают контент в Дзене. Здесь можно всё: снимать видео или короткие ролики, писать статьи или делиться фотографиями в постах.

О команде

Грамотный и структурный подход к сбору и обработке данных — важный фактор роста и развития Дзена. В команде Инфраструктуры статистики мы создаем сервисы, в задачи которых входят обработка и поставка всех клиентских событий и клиентской статистики; строим инфраструктуру подготовки данных для аналитики и А/Б-тестирования. Нагрузка на отдельные микросервисы >50 k RPS, ежедневная обработка данных исчисляется сотнями терабайт, а объемы распределенного файлового хранилища насчитывают десятки петабайт.

Ты будешь

• строить большой DWH;
• разрабатывать и улучшать сервисы: по раздаче статей / отвечающий за работу подписки / ленты каналов и др.;
• разрабатывать высоконагруженную систему;
• работать с микросервисной архитектурой;
• тестировать собственный код.

С помощью таких технологий, как

• Java 17 (следим за новыми версиями и регулярно обновляемся). Также точечно в инфраструктуре используется Python, NodeJS и C++;
• для хранения данных мы используем распределенное файловое хранилище YT, ClickHouse, Cassandra, Postgres, MongoDB, YDB, Redis
• для обработки, трансформации и поставки данных: Map-Reduce (над YT), очереди, трансферы Yandex Data Transfers между хранилищами, а также большое количество собственных технологий офлайн-контура, написанных на Java.

У нас всё сложится, если у тебя есть

• уверенное владение Java (или любым другим ООП языком и готов перейти на Java);
• знание основных алгоритмов и структур данных — aka CS 101;
• опыт работы с высокой нагрузкой и распределенными хранилищами (большим плюсом будет опыт работы с Hadoop и его экосистемой) или хочешь такой опыт приобрести;
• знаком с популярными NoSQL-решениями;
• готов к вызовам и сложным техническим задачам.