Роль: Data Engineer
Компания: www.gfaive.com
Формат работы: Удаленная работа
Вилка: 150 – 180k рублей net
Как связаться: @dataholic
Задачи:
1.Организация автоматизированного сбора данных из различных источников в единое централизованное хранилище,
2.Настройка, интеграция и создание витрин данных для работы аналитиков и Data Scientist,
3.Создание конвейеров регулярной и непрерывной подготовки данных (CI/CD pipelines),
4.Администрирование хранилища (SnowFlake, ClickHouse).

Требования:
1.Знание Python,
2.Понимание принципов построения DWH, понимание принципов хранения данных в распределенных колоночных СУБД, знание особенностей хранения данных в ClickHouse и/или Snowflake, понимание принципов построения материализованных представлений,
3.Знание хотя бы одного из диалектов SQL (Snowflake, ClickHouse) на уровне использования аналитических/оконных функций,
4.Понимание принципов работы ETL-систем и опыт работы (как плюс) хотя бы с одной из них (Apache Airflow, AWS Glue, Informatica ETL, Pentaho ETL, Talend и пр.),
5.Опыт работы хотя бы с одной облачной платформой (AWS, Google Cloud, Azure).

Будет плюсом:
1.знание Scala (предпочтительно) или Java,
2.опыт работы с реляционными и нереляционными базами данных (MySQL, MSSQL, PostgreSQL, MongoDB, Amazon Redshift),
3.опыт работы с Apache Spark (в идеале Amazon EMR)