Поговорим о дата-инжиниринге. Такие специалисты, как правило, нужны в крупных компаниях, с большими объемами данных: агрегаторы, маркетплейсы, банки и другие. 🔼 Кто такой дата-инженер? Это человек, который делает функционал для того, чтобы аналитики и дата-сайентисты могли делать свою работу: У компании есть разные источники данных, например: логистика, маркетинг, продажи и многие другие, для которых нужны проектные базы. Важно, чтобы все данные лежали в одном месте и были удобными для дальнейшей работы с ними. Все данные хранятся на платформе и одной из главных задач и зон ответственности дата-инженера может быть построение этой самой платформы - DWH (Data Warehouse). Хранилища данных могут быть использованы как на своем “железе” (традиционная архитектура включает в себя: сервер баз данных, сервер OLAP, клиентский уровень с инструментами для высокоуровневого анализа данных, создания отчетов), так и с помощью облачных решений. Облака сейчас более популярны за рубежом и хороши тем, что снимают ряд проблем. Не нужно закупать железо, нанимать большое количество людей в штат, можно легко масштабироваться. Но при этом имеют минус - дороговизна, невозможность полного контроля (например, если компания, которая предоставляет облачное хранилище, уйдет с рынка - возникнут большие сложности), именно по этой причине многие компании в РФ работают на своих физических серверах. 🔼 Какой бекграунд? Стек такого специалиста может быть разным, в зависимости от языка программирования, который используется на проекте: это может быть Python, Java или Scala. Профиль искомого кандидата отличается в зависимости от задач на проекте. Например, если нужно писать конвертеры - здесь важен больше упор на умение программировать, если нужно из данных собирать витрины - хороший уровень SQL, если архитектура компании построена в облаках - опыт работы с используемыми платформами. При этом такому специалисту важно понимать в целом, как работают аналитические хранилища (например, можно спросить понимает ли кандидат чем отличается OLAP от OLTP). 🔼 В чем отличие Data Engineer и Data Science c точки зрения искомого профиля? Data Science специалист работает с обучением и настройками моделей, которые будут решать бизнес-задачи, например, рекомендательные системы. Для такого кандидата делаем упор на математические навыки, нежели навыки программирования (языки программирования тоже нужны, но на более простом уровне), т.к. нужно понимать какими моделями решить задачу, как оценивать, понимать применимость. Data Engineer не пишет модели вообще, но может оптимизировать код. Например, кто-то написал плохой код, который нужно вывести в продакшн, со стороны данных - его нужно улучшить, чтобы он нормально хранился и работал. Дата инженер тесно взаимодействует с командой аналитиков, MLOps, DevOps. Также, иногда в задачи дата-инженера входит оптимизация самой платформы для внутренних потребностей команды, например, разработка инструментов для аналитиков: внутренние библиотеки, системы дата-каталога и др. 🔼 Чем заинтересовать? Несмотря на то, что вопрос очень индивидуален, из общих моментов могут быть интересны: - Подход к построению архитектуры (какие-то кандидаты предпочитают определенную модель/подход, или им было бы интересно поработать с новыми) - Разработка внутренних инструментов (часто начинающие хотят именно в фича-команду платформы, где будут делать внутренние библиотеки для аналитиков, дата-каталоги и пр.) - Инструменты, которые используются на проекте - Проектирование платформы с нуля 🔼При поиске таких кандидатов важно уточнять у заказчика: готовы ли рассмотреть кандидатов, которые сейчас имеют опыт работы бекенд-разработчика и хотят “перекатиться” в дата инжиринг. #ROKK