Senior Data Engineer

Международная продуктовая компания, с главным представительством в одной из стран ЕС, присутствует на рынке с 2020 года.

Командой создана платформа управления мультиоблачными виртуальными вычислительными мощностями для компаний-клиентов.

Компания обеспечивает прогнозную аналитику и понимание использования ресурсов с разбивкой по затраченным средствам. Управляет бюджетами и командами, автоматически развертывает программное обеспечение, выполняет миграцию инфраструктуры между поставщиками, управляет резервными копиями и многое другое.

У компании большие планы, и вакансия открыта в связи с расширением.

Инженер по данным отвечает за проектирование, создание и поддержку решений, которые снабжают клиентов компании всеми необходимыми аналитическими данными.

Компания интернациональная, но большая часть технических специалистов – русскоговорящие ребята, работающие удаленно. Поэтому для работы достаточно английского на уровне В1 для чтения тех. документации.

Компания ждет от вас:

  • Коммерческий опыт работы с хранилищами данных и процессами ETL – от 5 лет
  • Опыт работы с какими-либо DWH в качестве разработчика или архитектора – от 4 лет
  • Очень желателен опыт работы с Airflow (как оркестратором ETL-процессов) и Kafka (как источником данных для DWH)
  • Опыт работы с ClickHouse – от 2 лет (в качестве инженера данных, архитектора, или администратор базы данных)
  • Минимум, необходимый для работы: поддерживать и развивать хранилище данных на кластерах ClickHouse и ETL-процессы, заполняющие это хранилище

Вам предстоит:

  • Управление большими объемами данных и обеспечение бесперебойный потоков данных
  • Разработка и оптимизация ETL процессов с помощью Kafka, Airflow и ClickHouse
  • Контроль и поддержка работоспособности кластера DWH в ClickHouse, включая управление узлами и масштабирование
  • Обработка, проверка, загрузка и обеспечение качества и согласованности данных в базах данных
  • Администрирование хранилища данных и подготовка данных для пользовательских панелей и обучения моделей машинного обучения

Перспективы:

  • Если есть амбиции и желание развиваться в ML: нужно поддерживать, оптимизировать и развивать ML-скрипты на Python для предсказания всякого разного, на основе чего клиентам будут выдаваться классные графики, рекомендации «что делать» и кнопки «сделать хорошо»
  • Если есть амбиции, но нет желания развиваться в ML: в будущем есть варианты технического роста «вглубь» или административного роста «вверх»

Компания предлагает:

  • Удобный для вас гибкий график работы без привязки к часовому поясу. Единственное исключение – пятнадцатиминутные дейли митинги в 9-10.00 по Гринвичу
  • Отсутствие привязки к географии
  • Через два года работы в компании есть возможность обсуждения релокации в Европу для работы непосредственно в офисе компании
  • З/п 4000-6000 евро (гросс) – фиксированный оклад, который не отличается на испытательном сроке и после
  • Возможность профессионального и карьерного роста
  • Формат сотрудничества – ИП (и его иностранные аналоги)/договор с физ. лицом

Зарплата:

от 4 000 до 6 000 € на руки

Стаж:

3-6 лет