Data engineer (python)

Зарплата Не указана
Компания Rambler Group
Город Москва
Требуемый опыт От 1 года
Опубликована 30 июня 2020 г.

Rambler Group - один из лидеров российской индустрии медиа и развлечений. Основные направления деятельности группы - digital-медиа, онлайн-кинотеатр Okko и технологичные сервисы. Медиахолдинг Rambler Group, объединяющий такие ведущие интернет-издания, как Lenta, Gazeta, Afisha, Championat, Rambler и ряд других, занимает первое место в России по размеру ежемесячной аудитории - она превышает 60 млн человек.

В Rambler Group активно занимаются созданием технологий и продуктов, основанных на обработке и анализе данных. Вам предстоит принять участие в одном из ключевых продуктов: в создании и развитии проекта рекомендаций, который подбирает для пользователя наиболее интересный контент на всех ресурсах нашего холдинга. Цель этой системы - обеспечить рекомендациями более 40 разнообразных площадок. Для этого мы разрабатываем единую платформу Рамблер/Рекомендации, которая позволит создавать новые рекомендации и контролировать их качество без участия разработки.

Core продуктовой команды состоит из разработчиков, математиков и аналитиков, а так же ей помогают frontend-разработчики, системные аналитики, эксплуатация, etc. Сейчас мы ищем пополнение в команду на вакансию разработчика.

Мы ищем дата инженера (уровня middle или выше) с опытом работы с python в отдел, который занимается развитием BigData ETL-слоя и нагруженного API. Вам предстоит участвовать в создании и развитии системы рекомендаций, которая подбирает для пользователя наиболее интересный контент на всех ресурсах нашего холдинга. Цель этой системы - обеспечить рекомендациями более 40 разнообразных площадок, для этого мы разрабатываем единую платформу Рамблер/Рекомендации, которая позволит создавать новые рекомендации и контролировать их качество без участия разработки.

Чем предстоит заниматься:

  • Создание и развитие ETL слоя (Airflow): как Big Data, на базе стека: Kafka, Hadoop, Hive, Spark, Clickhouse, так и не Big Data на базе PostgreSQL;

  • Поддержка и развитие highload API (aiohttp, redis cluster). Сейчас держим 1к rps, целевая нагрузка ~8к rps. Это единое API для выдачи рекомендаций всем партнерам, с довольно сложной логикой включающей применение моделей машинного обучения на лету;

  • А также в меньше степени разработка и развитие BackOffice - UI на Flask + SqlAlchemy для управления платформой рекомендаций и предоставления единого окна для визуализации аналитики.

Что мы ожидаем от кандидата:

  • Понимания как работают сложные системы по обработке данных или сильное желание в этом разобраться;

  • Опыт работы с BigData и/или работа по созданию ETL слоя;
  • Опыт использования Python от 2-х лет;

  • Знание базовых алгоритмов и структур данных;

  • Уверенное знание SQL и опыт работы с различными БД.

Несомненным плюсом будет:

  • Знание специфики создания высоконагруженных сервисов;

  • Опыт работы с веб фреймворками для Python;

  • Привычка писать тесты.

Мы с радостью предложим:

Преимущества: ДМС, красивый и удобный офис недалеко от центра Москвы, помощь в релокации и конечно же настольный футбол (:)

Возможности: возможность принять участие в сложном проекте бок о бок с лучшими специалистами индустрии; высокая степень свободы в принятии решений.

Культура: теплая дружеская атмосфера и политика открытых дверей. Несмотря на то, что мы работаем в крупной компании - атмосфера стартапа, в котором каждый человек важен.