7 Best Practices for Data Ingestion Полезная заметка для тех кто занимается сбором и обработкой данных [1]. Автор собрал несколько практик используемых при загрузке данных. Если кратко их пересказать: 1. Отслеживайте ошибки в первоисточнике (настраивайте предупреждения). 2. Сохраняйте копию первичных данных до преобразования. 3. Заранее устанавливайте сроки и ожидания пользователей. Загрузка данных не так уж проста. 4. Автоматизируйте трубы данных, устанавливайте SLA используйте системы оркестрации. 5. Трубы загрузки данных должны быть идемпотентны (результат их работы должен повторяться) 6. Создавайте шаблоны, используйте их повторно 7. Документируйте Ваши трубы данных. Всё кажется очень очевидным и ни с чем не поспоришь. Я бы только добавил что 7-й пункт документируйте Ваши трубы данных должен быть 1-м пунктом. Сколько я не сталкиваюсь с продуктами на данных, вокруг данных, связанных с работой с данными и др. все формы data product недостаток документации есть у всех. Кто-то скажет, что писать документацию работа не творческая, это так, потому что она производственная. Один из важнейших профессиональных навыков который повсеместно недооценивается. Ссылки: [1] medium.com/codex/7…c6b5128c #data #datapipelines