Описание: На текущий момент нам необходимо спроектировать data lake и разработать техническое задание для данного Data lake, которое будет включать в себя следующие элементы: - Таксономия данных – какие данные будут храниться, какие атрибуты этих данных для нас важны, нужно ли хранить атрибуты этих данных и т.д. - На основании таксономии данных необходимо разработать архитектуру хранения данных, определить стек технологий; - Разработать техническое задание для разработчиков, по которому они могут разработать данное хранилище;
Второе техническое задание для ETL процессов, в котором необходимо описать как оператор может с данными из Data lake проводить аналитическую работу: - Выгрузки из data lake в формате csv, xlsx, json и т.д. - Фильтрация данных - Выборки - Обзор технологических решений из уже существующих на рынке продуктов.
Сроки: 10 календарных дней. Бюджет: от 800 до 1500 $ Контакт: tg: @sydykov_yerzhan