Beeline Meetup: Data Engineering Tools
При поддержке JUG Ru Group
1. Как настроить ETL с JSON’ами в Apache NiFi — Сергей Евсеев, middle дата-инженер, Билайн
Сергей расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение.
2. Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow — Никита Хилов, руководитель по разработке, Билайн
Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте.
3.Apache Flink: Flink Table API & SQL — Александр Булатов, старший дата-инженерБилайн
Александр расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.
После каждого доклада вы сможете подискутировать с другими участниками и задать вопросы спикерам. Авторы лучших вопросов получат в подарок мерч от билайна — классные поясные сумки 🎁
➖➖➖
🗓 20 декабря, начало в 17:00 по мск, Вторник
🌐 ОНЛАЙН
✅ Регистрация на мероприятие