Канал, посвященный анализу данных с помощью Python. Не столько про машинное обучение, сколько про подготовку/очистку/предобработку данных, использование Python для получения данных из API, парсинга веб-сайтов, автоматизации различной рутины
Станьте востребованным Python-разработчиком уже в 2023 году.
Записывайтесь на курс от Хекслета и получайте скидку 10% и подарок на выбор: депозит 20 000 ₽, базовая подписка на 5 месяцев или премиум-подписка на 1 месяц.
Можете порадовать не только себя, но и близкого человека. Воспользуйтесь уникальным предложением для двоих: купите вторую профессию со скидкой 40%.
Оцените формат и решите, стоит ли продолжать. Вводные ознакомительные курсы профессии доступны бесплатно сразу после регистрации!На профессии «Python-разработчик» вы:
✔️ Научитесь работать с сетевыми запросами и овладеете навыком проектирования архитектуры приложений.
✔️Освоите самый популярный веб-фреймворк Django.
✔️ Решите более 310 задач в браузере, создадите 4 проекта для портфолио на GitHub и выполните 150 тестовых заданий от наших партнёров.
✔️Научитесь работать с чужим кодом и оформлять пул-реквесты в Open Sours проектах.
Успейте оставить заявку до 31 декабря, чтобы получить новогодние подарки🎁
📈 Dashboard Canvas 2.0 📈
Три года назад я придумал сделать шаблон сбора требований для дашборда. За это время его использовали много раз, а видео с рассказом про него на канале DataLearn от Димы Аношина посмотрели более 20 тысяч раз. За это время я получил много обратной связи и сам часто использовал шаблон, поэтому смог конструктивно его улучшить. Представляю новую версию!
Подробно, почему он стал таким, я недавно рассказал на конференции Flow, 👉 вот запись 👈, получилась интересная история развития фреймворка. Спасибо организаторам, они согласились выложить доклад в общий доступ сильно раньше, чем планировали.
А вот ссылка на Miro, где теперь есть инструкция, примеры и новая версия в pptx (ещё приложу её в комментарии). Совместно с идеей построения карты дашбордов получается полноценный алгоритм построения системы дашбордов в компании. Делитесь обратной связью и используйте в работе!
@revealthedata
—
Проектирование дашбордов — дисциплина на стыке аналитики и дизайна. Роман не верит в процесс, когда заказчик дашборда сам составляет ТЗ для разработчика, ведь в итоге разработчик становится просто «руками». Ответственный за подготовку ТЗ и понимание задачи — сам специалист.
Для удобного процесса разработки дашборда спикер разработал Dashboard Canvas — фреймворк сбора требований. В докладе пойдет речь о его новой версии и будут примеры его использования.
Антон Лоскутов, тимлид команды предиктивной аналитики MyTracker, проведет 26 декабря вебинар на тему «Персонализация в рекомендательных системах: подходы и оценка результатов»
На вебинаре обсудим, как рекомендательные сервисы могут подбирать оптимальное предложение для пользователей и повышать доход приложения
Темы, которые будут затронуты на вебинаре:
🟢Текущие способы формирования цен
🟢Задачи рекомендательных сервисов
🟢Типичные проблемы рекомендательных сервисов и способы их решения
🟢Способы измерения эффективности рекомендательных сервисов
Зарегистрироваться на вебинар можно по ссылке
Уже больше 70 лет биологи исследуют состояние Байкала: берут пробы воды в одной и той же точке и вручную ведут подсчет микроорганизмов. Этот метод не менялся с 1945 года. Теперь учёным помогают алгоритмы машинного обучения — они анализируют виды и формы планктона и экономят время специалистов.
Нейросеть Yandex Cloud стала доступна в опенсорсе — то есть и сам алгоритм, и датасет можно использовать в исследованиях других водоемов по всему миру. Читайте подробнее в блоге.
Посмотрите короткометражку о том, как нейросети учились различать байкальских рачков, а специалисты из разных областей — понимать друг друга
Знакомые из Ozon принесли интересную вакансию — руководитель группы Data Engineer
Ребята ищут человека в команду DE Platform, которая выстраивает инфраструктуру для интеграции бизнеса и BI-систем. Эта же команда помогает в Ozon решать задачи по технологическому развитию инструментов и инфраструктуры вокруг данных
Задачи:
- Формрование и управление командой из 5-10 человек
- Построение архитектуры системы: развивать и поддерживать транспорт данных, планировать архитектурное развитие проектов
- Планирование работы (по спринтам, месяцам, кварталам)
- Организация работы со смежными командами
- Реализовать мониторинг, алертинг, анализ логов сервисов, анализ метрик БД и сервисов
- Оптимизация запросов (Vertica и Clickhouse)
- Airflow (написание новых ETL-процессов и рефакторинг старых)
Требования:Java, Hadoop (hafs, yarn, hive); СУБД (Postgres, MS SQL); аналитические БД (Vertica, Clickhouse, Bigquery); опыт работы с Kubernetes, Kafka, GIT, KV-хранилища; плюсом будет опыт работы с Prometheus, Grafana, Scala, AirflowУсловия:
- Удалёнка или офис (или гибрид);
- Система менторства, адаптации, обучения;
- ДМС (+ стоматология)
- Скидки на спорт и изучение английского
- Корпоративные клубы (киберспорт, кино, рисование, настолки, спорт, etc.)
- Помощь в отсрочке
- DevRel-команда и сильное сообщество
💬Отклик можно оставить на >сайте или написать напрямую Рите @margo1_ozon
💣 Как парсить сайты с помощью Python?
🗓 Узнайте 14 декабря в 18:00 на открытом уроке «Парсинг данных: собираем датасет своими руками».
👉 Занятие пройдет для для DS/ML-специалистов в рамках онлайн-курса «Natural Language Processing (NLP)» от OTUS.
💻 Что вас ждет на вебинаре?
🔸 Узнаем, как можно собирать датасеты методами Python.
🔸 Обсудим, какие существуют библиотеки для парсинга данных, практические методы парсинга данных.
🔸 Научимся парсить сайты с помощью Python и собирать датасеты из открытых источников.
🦾 Спикером выступит Мария Тихонова, руководитель курсов по ML в OTUS и специалист по анализу данных в команде AGI NLP в SberDevices.
❗️Новогодняя распродажа! Скидки -23% на все курсы!
🔥 Зарегистрируйся на занятие — https://otus.pw/Tt08/Реклама. Информация о рекламодателе на сайте www.otus.ru
Как повысить эффективность бизнес-операций с Task Mining?
Ответ на этот и другие вопросы можно получить на совместном вебинаре Банка Уралсиб и Инфомаксимум, который состоится 15 декабря в 16.00.
Программа:
– Особенности технологии Task Mining (16:00 – 16:20)
– Аналитика бизнес-операций в банке Уралсиб (16:20 – 16:40)
– Сессия вопрос-ответ (16:40 – 16:55)
Спикеры:
🔹 Александр Бочкин, генеральный директор Инфомаксимум
🔹 Максим Сарычев, руководитель процессного офиса Банка Уралсиб
Участие бесплатное, зарегистрироваться можно по ссылке: https://t.me/infomaximum_it_bot
Запись Q&A-сессии с Yandex DataLens Festival. Роман Бунин и Роман Колеченков ответили на вопросы участников Yandex DataLens Festival о работе с чартами, дашбордами, расчётными полями. На фоне роста популярности альтернативных BI-систем будет полезно
А ещё оказывается существует коммюнити DataLens в телеграме и там довольно-таки живо и можно найти ответы на интересующие вопросы
🥳 🎉 Представляю Unovis — новую библиотеку визуализации данных для React, Angular, Svelte, а также «голого» TypeScript и JavaScript.
У меня второй большой (после Космографа) open source анонс в этом году, который будет интересен в первую очередь веб-разработчикам. Сегодня мы выложили в открытый доступ дитавиз библиотеку, над которой я работаю уже на протяжении последних трех лет (разработка началась в стартапе Volterra, и продолжилать в купившей его компании F5).
Немного об отличительных особенностях Unovis:
• 🏗 Удобно интегрируется в React, Angular и Svelte, что дает возможность использовать одну библиотеку в совсем разных проектах;
• 🗺 Помимо классических графиков умеет рисовать детальные карты и графы;
• 💇 Легко кастомизируется под ваш стиль (спасибо CSS переменным);
• 📖 Детальная документация и галерея примеров с кодом для разных фреймворков.
Если заинтерисовались, добро пожаловать на сайт библиотеки unovis.dev, и не забудьте лайкнуть наш репозиторий на GitHub!
Предлагаю послушать подкаст «Дайте данных!»
Это профессиональный разговор о том, как устроена работа аналитиков и дата сайентистов в самых разных сферах. Авторы и ведущие подкаста — Наташа Тоганова и Саша Бородин — давно работают с большими данными и машинным обучением, они делятся своей экспертизой и узнают, как работают их коллеги в разных компаниях и институциях. Гости подкаста изучают данные, чтобы предсказывать погоду и урожайность полей, борются с мошенниками, защищают персональные данные в финтех сервисах, изучают старые и новые языки программирования.
Подкаст «Дайте данных!» — о том, как разнообразен мир больших технологий. Послушать выпуски будет интересно и полезно как профессионалам, так и начинающим разработчикам и аналитикам, которые только ищут себя и присматриваются к миру больших данных.
✅ Послушать на удобной платформе https://pc.st/1584566030
✅ Стать частью NoML Community https://t.me/noml_digest
Анализируем данные с помощью serverless-технологий ⚡️14 декабря мы расскажем, как выстроить системы потокового анализа с помощью инструментов Yandex Cloud. Покажем, как решать бизнес-задачи, не тратя при этом ресурсы на обслуживание инфраструктуры.
⏩ Регистрируйтесь
Восьмой онлайн-митап для продуктовых аналитиков от AvitoTech
С докладами выступили спикеры из Авито, Lamoda и СберМаркета. Поговорили про предиктивную классификацию, офлайн-эксперименты и аналитику клиентской базы.
➡️Программа
1️⃣Как мы в Авито увеличили эффективность привлечения за счёт предиктивной классификации
Ирина Гутман из Авито рассказала как большая площадка с кучей данных может их использовать для эффективного привлечения целевого трафика. Как использовать предсказания и классификации для оптимизации и как быть с неизбежными подводными камнями. Ирина приводит пример из истории перформанс-маркетинга Авито, когда это сработало
2️⃣Аналитика клиентской базы
Кирилл Федоренков из Lamoda рассказал, почему для Lamoda важна аналитика клиентской базы и какие задачи, связанные с ней, ребята решали. Рассматриваются кейсы сегментации клиентской базы, построения прогнозов, анализа причинно-следственных связей
3️⃣Применение иерархических моделей в офлайн-экспериментах
Полина Ревина из СберМаркета рассказала что делать при столкновении с влиянием объектов рандомизации в разных группах друг на друга во время эксперимента. Для проведения таких экспериментов СберМаркет использует свитчбэк-тестирование. При таком подходе возникает естественная вложенность данных и зависимость наблюдений
И снова подкаст. На этот раз записался в подкасте «Выживут только айтишники»
В выпуске пытаемся понять, как аналитику адекватно оценить карьерные возможности и что нужно делать, чтобы постоянно развиваться внутри профессии. Разбираем аргументы в пользу повышения зарплаты: изменение зоны ответственности, грейды, исследования рынка труда, контр-офферы
В целом, получилось описать хороший алгоритм того как аналитику можно расти в зоне ответственности и деньгах, оставаясь на текущей работе или осуществляя карьерные переходы, в том числе в смежные профессии, например, в продакт-менеджеры или дата-инженеры
Где послушать:
В телегеВ Яндекс.МузыкеВ Apple PodcastsВ VKНа сайте студии Red BarnВ PodParadiseВ CastboxВ podcast.ruВ Google Podcast
Недавно на работе возник вопрос — в каких случаях можно отрывать ноль по оси Y для линейный графиков.
Я придерживаюсь таких правил:
⬆️ Если мы смотрим за небольшими периодом времени (дни и недели); на графике только одна линия; и метрика довольно стабильна (примерно изменяется в диапазоне ±15%), то скорее важнее смотреть за изменениями и можно отрывать ось от нуля.
0️⃣ Если смотрим большой период (месяцы и года); на графике есть другие линии; абсолютные значения важнее, чем изменения (например важно не упасть ниже какого-то значения); или метрика меняется в широком диапазоне, то отрывать ноль не стоит.
У Ника Десбарата есть отличная статья с примерами на эту тему с более сложным (и чутка запутанным 🙈) алгоритмом выбора.
🚫 Ну и конечно же не забываем, что для площадных диаграмм (барчарты и эреачарты) отрывать ноль нельзя ни в каком сценарии!
#ссылка
Тинькофф проведет офлайн-митапы о разработке, архитектуре и soft-скиллах в 10 городах России 💡
На встречах эксперты Тинькофф расскажут о процессах разработки в больших командах, инструментах и практиках, которые помогают наладить работу, а еще soft-скиллах и профессиональном развитии.
Митапы будут полезны специалистам, которые работают над созданием ИТ-проектов, сервисов и систем — всех, кто работает над продуктами и хочет улучшить их качество.
Читайте о докладах подробнее, выбирайте удобный город и регистрируйтесь на странице IT’s Tinkoff on the Road: https://l.tinkoff.ru/otr-tinkoff
💣 Хотите мастерски владеть Spark?
🚀 Приглашаем дата-инженеров 13 декабря в 20:00 на открытый урок «Spark в Kubernetes» в рамках онлайн-курса «Spark Developer».
➡️ На занятии мы:
- Кратко расскажем о том, что такое Spark и Kubernetes
- Рассмотрим особенности и варианты запуска Spark в Kubernetes
- Сравним работу Spark в Kubernetus и Hadoop Yarn
➡️ Кому будет полезен урок?
- IT-специалистам, которые хотят перейти в Big Data
- Начинающим дата-инженерам, желающим углубить свои знания в профессии
- Тем, кто самостоятельно изучает технологии Big Data
🦾 Вебинар проведет Вадим Опольский, Scala Big Data разработчик в Luxoft DXC Technology. Продолжить освоение инструментов дата-инжиниринга вы сможете на онлайн-курсе в OTUS.
💻 Пройдите вступительный тест для регистрации на урок: https://otus.pw/I86G/
Записался недавно в подкасте «Багрепорт»
В выпуске погружаемся в профессию и пытаемся понять, как аналитики работают, чем живут, как развиваются по хард и софт-скиллам. Пытаемся разобраться, чем эти специалисты похожи на ученых и зачем им нужно погружаться в теорию вероятностей.
Почему аналитиков делят на две касты: «требований» и «данных»? Всем ли так нужен SQL? Кстати, да. Excel — лучший друг аналитиков.
Где послушать:
В телегеВ Яндекс.МузыкеВ Apple PodcastsВ VKНа сайте студии Red BarnВ PodParadiseВ CastboxВ podcast.ru
Paul Levchuk в своей статье «Product feature retention deep dive» разбирает как провести анализ функций в продукте, чтобы оценить их влияние на возвращаемость пользователей с помощью метрики Information gain и всё это в Google Spreadsheets