Data Engineer ТОО Datanomix pro 700 - 900K KZT офис, Аcтана Компания занимается консалтингом, и внедрением BI систем. Обязанности: - Разработка и реализация методов, стандартов и процедур интеграции данных, обеспечивающих связь и согласованность данных между различными системами и источниками данных. Работа с базами данных, файловыми системами и другими источниками данных. - Создание и поддержка структуры баз данных, таблиц, индексов и других объектов, необходимых для эффективного хранения и доступа к данным. Оптимизация производительности запросов и обработки данных в хранилище. - Организация мониторинга качества данных, выявление и устранение ошибок и несоответствий. Внедрение и поддержка механизмов контроля целостности данных, а также мер по обеспечению безопасности данных. - Определение и разработка архитектуры, инструментов и процессов, необходимых для интеграции и обработки данных в хранилище. Создание и оптимизация ETL-процессов для загрузки, преобразования и переноса данных из различных источников в хранилище. Требования: - Опыт работы не менее 2-3 лет в области данных и интеграции, с акцентом на работу с хранилищами данных. - Владение Python, Java и опыт оптимизации ETL-процессов и обработки данных. - Знание и опыт работы с ETL-инструментами (например, Apache Airflow, Pentaho) и системами управления версиями (например, Git). - Знание SQL и опыт работы с ClickHouse или другими колоночными базами данных. - Знание принципов и концепций хранилищ данных, включая методологии проектирования, моделирование данных и оптимизацию запросов. - Высшее образование в области информационных технологий, компьютерных наук, инженерии или смежной дисциплине. Контакты: @@mikhail_sirik, [email protected]