Канал, посвященный анализу данных с помощью Python. Не столько про машинное обучение, сколько про подготовку/очистку/предобработку данных, использование Python для получения данных из API, парсинга веб-сайтов, автоматизации различной рутины
Объектно-ориентированный подход чаще всего применяют в крупных проектах, где над одним приложением работают много разработчиков. Так как каждый программист работает над своей отдельной частью программы, сокращается количество ошибок и ускоряется процесс.
На курсе Яндекс Практикума «Базовый UML» вы за 2 месяца пройдёте все этапы работы над моделированием системы: от описания пользовательских требований до структурного и поведенческого моделирования. А ещё:
• изучите основные диаграммы в нотации UML, описывающие бизнес-процессы;
• получите представление о применении UML для моделирования систем;
• научитесь работать в Draw.io, StarUML, Plant UML.
Все студенты получат реальные кейсы, сопровождение от специалистов и работающие проекты в портфолио. Карьерный центр поможет с поиском работы: 69% студентов уже работают по специальности.
Занимайтесь онлайн в любое время, в своём темпе.
⚡️Осилите ли вы тест для Data-инженеров?
Ответьте на 24 вопросов за 30 минут и проверьте, готовы ли вы к обучению на онлайн-курсе «Spark Developer» от OTUS.
Spark — важнейший фреймворк в Big Data c открытым исходным кодом. На курсе вы научитесь работать с большими данными и закрепите знания с помощью сложных домашних заданий и выпускного проекта.
Пройдете тест — получите демо-ролик о занятиях на курсе и доступ к открытому уроку:
— «Оптимизация параметров запуска приложения Spark», 11 июля в 20:00
📝Пройти тест: https://otus.pw/taja/Нативная интеграция. Информация о продукте www.otus.ru
Интересная статья, которая рассматривает текущие ограничения языковых моделей с ограниченной поймой (LLM) и объясняет, почему они пока не могут быть полноценно использованы в self-service бизнес-аналитике (BI). Подробно анализируются сложности интеграции LLM в существующие BI-платформы и семантические слои. Несмотря на обещания и восторженные отзывы вендоров BI (например, Microsoft), реальность зачастую не так радужна и пока точность ответов далека от той, при которой это можно назвать масштабируемым и универсальным решением.
www.holistics.io/blog/la…nalytics
A few weeks ago, Microsoft announced a new data analytics product called Fabric. One of Fabric’s most exciting features is a chat interface that allows users to ask data questions in human language. So instead of waiting in a data request queue, everyone gets instant answers to their data
Автоматизированный перенос DWH Microsoft на платформу Yandex Cloud с помощью BI.Qube
📆 06.07.2023 в 10:00-12:00 (МСК) на вебинаре команды BI.Qube, Yandex Cloud и Банка Финсервис расскажут о практическом опыте автоматизированной миграции DWH Microsoft на платформу Yandex Cloud.
За 2 часа вы:
👉 узнаете об актуальных кейсах, включая историю миграции DWH банка Финсервис
👉 увидите весь путь от извлечения данных из учётных систем до построения аналитики
👉 применение low-code/no-code инструментов из Реестра российского ПО
Пример анализа программы лояльности будет интересен как специалистам банковской сферы, так и крупному ритейлу, где необходимо анализировать эффективность на основе данных из разрозненных систем.
Вебинар рассчитан на экспертов по аналитике и работе с данными, архитекторов и инженеров данных, CIO, CDO.
Программа вебинара
Регистрация: @itprocompbot
Новые правила в математике: умножаем облачные ресурсы на три
⚡️Облачный провайдер Cloud.ru запустил классную акцию — кешбэк 200% за первые 30 дней использования сервисов Cloud․ru.
Если вы давно хотели мигрировать в облачную инфраструктуру, внедрить инструменты виртуализациии или попробовать IaaS/PaaS-сервисы, для вас есть хорошая новость — облака становятся еще ближе и доступнее для бизнеса любого масштаба.
Как получить
Пополняете баланс личного кабинета платформы Cloud․ru Advanced, пробуете новые облачные сервисы, а через месяц получаете бонусы на следующие два месяца в размере 200% от использованных ресурсов.
Результат
Получаете в три раза больше облачных ресурсов.
▶️ Переходите на сайт, чтобы узнать подробнее о преимуществах облаков для бизнеса и подробностях акции!
Как использовать многоруких бандитов на практике | Гайд для аналитиков, продуктовых менеджеров и ML-специалистов
Ведущая аналитическая система MyTracker разработала практическое руководство для использования многоруких бандитов в продуктах.
Вы узнаете, что такое многорукие бандиты и как они применяются в различных сферах, в том числе в рекомендательных системах. Подробнее остановимся на различных алгоритмах бандитов: жадный, алгоритм UCB, алгоритм сэмплирования Томпсона и контекстуальные многорукие бандиты.
Гайд пригодится аналитикам для определения оптимальных стратегий тестирования, продуктовым менеджерам - для тестирования новой функциональности, а ML-специалистам - для настройки моделей машинного обучения.
Руководство составлено командой предиктивной аналитики MyTracker, которая использует многоруких бандитов в своей работе.
Скачайте практическое руководство от команды предиктивной аналитики MyTracker и узнайте, как многорукие бандиты могут увеличить прибыль вашего продукта и улучшить продуктовые метрики.
Python meetup (Online)
1. Методы защиты кластера Hadoop в большой ML команде — Мария Изофатова / Мегафон (Мегатех)
Из этого доклада слушатели узнают способы борьбы с уязвимостями кластера hadoop: репартиционирование (проблема мелких файлов), автоочищение таблиц на кластере, настройка конфигурации pyspark, анализ запущенных spark application и внутреннего кода.
2. Feature engineering для пространственных данных — Александр Мещеряков / Сinimex
В этом видео мы обсудим как получить нужные данные и погрузимся в анализ формы объектов, взаимного отношения геометрий и паттернов их расположения.
3. Как мы предсказывали платежи в мобильных играх — Дмитрий Савостьянов / Artifactory
В рамках доклада я расскажу о дизайне системы предсказания платежей в мобильных играх. Акцент будет сделан на Data Engineering, MLOps и мониторинг
➖➖➖🗓 28 июня, начало в 19:00 мск, Среда
🌐 ОНЛАЙН✅Регистрация на мероприятие
Spark UDAF — мощный инструмент для анализа данных и обработки сложных операций агрегации в Apache Spark. Как с помощью него разработать свой агрегатор?
📆Поговорим об этом 27 июня в 20:00 с Вадимом Заигриным, ведущим эксперт по технологиям в Сбербанке и преподавателем OTUS.
Вебинар «Spark UDAF: разрабатываем свой агрегатор» приурочен к старту онлайн-курса «Spark Developer» в OTUS.
💻На открытом уроке рассмотрим агрегирование данных в Spark, стандартные агрегатные функции и создание собственных агрегатные функции (UDAF). После вебинара вы научитесь создавать собственные агрегатные функции.
Урок предназначен для разработчиков Spark, которые хотят выйти за рамки стандартных функций и узнать, как создавать собственные агрегатные функции. Не упустите возможность получить ценные знания, продолжить обучение вы сможете на курсе, доступном в рассрочку.
➡️Для участия пройдите вступительный тест: https://otus.pw/0KwZ/Нативная интеграция информация о продукте www.otus.ru
Аналитика начинается не с аналитиков! А с чего?🤔
Расскажет Андрей Вильмов, Data Engineer в «ПерилаГлавСнаб». Андрей — гость нового выпуска YouTube-шоу Слёрма «Заходят два архитектора в бар…», который выйдет в этот четверг, 22 июня, в 19:00 мск.
Ещё Андрей расскажет:
🔹Как построить аналитическую систему.
🔹Почему не надо собирать аналитику в эксельку.
🔹Почему в crm- и erp-систему тоже не надо.
🔹Как может помочь Spark и Airflow.
Все подробности в тг-чате проекта, который любя кличут Баром. Присоединяйтесь: https://t.me/+neMcdZ660V81ZWJi
Доклады подготовлены, мерч ждёт участников на стойке регистрации, призы за лучшие вопросы готовы и конечно для afterparty тоже всё готово
Уже в эту среду 21 июня пройдет встреча в Воронеже, чтобы обсудить особенности внедрения BI-систем глазами бизнеса и технических
специалистов, а также поговорить про профессии будущего в BI.
Регистрация на митап еще открыта - https://clck.ru/34kJ6a
Как понять, что Data Science — это твое? Расскажет Ирина Скорынина, ведущий аналитик-исследователь Газпромбанка, на новой лекции Digital Лектория.
Когда: 21 июня, 18:00 (по МСК)
Где: Telegram-канал Digital Лектория
Что обсудим: кому будет интересно в сфере Data Science, как развиваться в DS с непрофильным образованием, какими навыками и компетенциями должен обладать Data Scientist и как выглядит roadmap специалиста в этой сфере.
Присоединяйся к лекции «Data Science: быть или не быть» — регистрация уже открыта: www.gpbspace.ru/digital…all-formРеклама Банк ГПБ (АО), ИНН: 7744001497 erid:LjN8Jste3
Город засыпает, просыпаются рекрутеры и делают выбор: кто попадет в команду разработки внутренних продуктов.
Мы в МТС любим играть в мафию и проводить One day offer. И подумали, почему бы не совместить эти две активности и заодно найти аналитиков разных профилей. Наша команда развивает сервисы в рамках экосистемы HR Tech. Например, разработка системы управления эффективностью или создание корпоративного портала для сотрудников. У нас амбициозные планы — стать первым цифровым HR с комплексным подходом к разработке и поддержке внутренних продуктов. Но для этого нам нужны настоящие профи.
Готовы участвовать и проверить — вы Дон SQL или мирный аналитик? Кликайте по ссылке и начните игру. Да, нужно успеть до 19 июня
Мое новое видео. В нем рассуждаю про голосовые сообщения в работе, их плюсы и минусы, а также как можно ускорить работу за счет голосовых, если их переводить в текст и взять привычку набирать тексты через голос, но потом расшифровывать
Кстати, для расшифровки удобно использовать @my_voice_messages_bot, он работает на движке Whisper от OpenAI и качество распознавания и расстановки пунктуации существенно выше, чем у встроенной распознавалки в Телеге
#простые_мысли
А еще напоминаю про свой опрос (https://t.me/datalytx/925) о софтах для аналитиков – вы мне очень поможете, уделив 5-7 минут своего времени
По данным Gemalto 65% компаний не могут самостоятельно проанализировать данные. Поэтому те, кто научится с ними работать, будут востребованы и через десятки лет в любой индустрии: от финансового сектора до геймдева.
При этом спрос на таких специалистов уже сильно превышает предложение, а зарплатная «вилка» middle-аналитиков стартует от 130 000 рублей.
Получить необходимые знания и практический опыт можно с нуля — на примере 32 бизнес-кейсов на курсе «Аналитик данных» от Академии Eduson.
Интерактивные тренажёры и методика от простого к сложному не дадут запутаться: начнете с Excel, а потом овладеете SQL, Python и Power BI. Преподаватели из «Яндекса», Datalatte, Softline и Ghetto Studio делятся опытом с первых уроков.
Личный куратор будет на связи 365 дней со старта обучения, а сама Академия поможет с трудоустройством и отправит ваше резюме своим компаниям-партнерам, среди которых Avito и ВТБ.
Чтобы пойти на повышение в должности или найти востребованную работу в IT — оставляйте заявку по ссылке.
📌 Промокод DATA зафиксирует за вами скидку 55% и бесплатную карьерную консультацию для быстрого старта в профессии.
Реклама, ООО «Эдюсон», ИНН: 7729779476, erid: LjN8Kbzge
По поводу опроса прилетела обратная связь от нескольких участников о том, что дизайн опроса с парным сравнением — странно и непривычно, а местами даже неудобно.
Это действительно необычно: такие опросы чаще реализуют через множественный выбор. Это можно сказать мой эксперимент, как мне кажется, парное сравнение решает несколько задач:
1️⃣ Парный выбор позволяет определить относительную важность и актуальность различных сложностей, с которыми сталкиваются респонденты, при этом уделить внимание каждому вопросу, избежав селективного восприятия. Если показать весь список — значимыми могут стать те проблемы, которые расположены в начале списка.
Я понимаю, что при этом для кого-то пара предложенных проблем может быть одинаковой важности или одинаковой неважности. Я рекомендую выбирать ту сложность из пары, которая более всего затрагивает вас на текущий момент или которая кажется вам наиболее значимой. Если ни одна из предложенных сложностей не является проблемой для вас, я бы попросил выбирать ту, которая, по вашему мнению, может стать проблемой для других аналитиков данных (например, ваших коллег). Либо если проблемы для вас одинаково неважны, то можно скипнуть вопрос.
2️⃣ Другой причиной использования парного выбора в этом опросе является снижение когнитивной нагрузки на участников. Процесс принятия решения облегчается при ограничении альтернатив до двух вариантов. Если бы я предложил респондентам оценивать или ранжировать все сложности из длинного списка, это могло бы вызвать значительную когнитивную усталость и снизить качество получаемых данных. Парный выбор позволяет сосредоточиться на сравнении двух конкретных сложностей, что делает процесс принятия решения более точным и менее утомительным.
3️⃣ И ещё один важный момент — вовлеченность и желание пройти до конца. При попарном сравнении, когда пара вопросов показывается на одном экране, а следующие вопросы не видны сразу, у участников возникает больше мотивации пройти опрос (плюс в этом помогает индикатор прогресса), чтобы ознакомится со всеми вариантами. Есть гипотеза, что если бы я показывал их все сразу, то больше людей бы отваливалось увидев 28 вопросов и испугавшись, что придется потратить некоторое количество времени на вдумчивую оценку.
Если у вас есть идеи/предложения как можно было бы ещё организовать такой опрос — буду рад прочитать их в комментариях.
Кстати, результатами опроса я обязательно поделюсь в канале.
Всем привет! Меня зовут Алексей Макаров, я автор этого канала
Сейчас я занимаюсь исследованием сложностей и проблем, с которыми сталкиваются специалисты в сфере анализа данных. В рамках этого исследования я хочу провести опрос, который позволит мне лучше понять, с какими трудностями вы сталкиваетесь чаще всего.
Опрос задуман в формате парного выбора из списка высказываний о сложностях, с которыми могут столкнуться аналитики данных. Вам будет предложено выбрать одну сложность из пары, которая кажется вам наиболее актуальной или остро стоящей в вашей карьере.
Я уверен, что исследование этих вопросов позволит мне эффективнее подойти к разработке ресурсов и материалов, которые смогут облегчить вашу работу и решение возникающих трудностей.
Для участия в опросе просто переходите по ссылке. Всего будет 14 вопросов, заполнение займет примерно 5-7 минут. Никакие персональные данные не собираются. Заранее благодарю вас за предоставленное время и содействие! Ваши ответы помогут улучшить качество поддержки и помощи специалистам по анализу данных в будущем.
https://forms.gle/CzLoNhfD4SSVRU6S6
Как начинающему Data Science-специалисту получить опыт для старта карьеры?
Можно пройти стажировку. Будьте готовы к тому, что вы охватите узкий пул несложных задач, а ваше развитие будет ограничено спецификой компании. И не забывайте, что даже на этапе отбора есть конкуренция, а её выдержит не каждый.
Есть и другой вариант — пройти «Симулятор аналитика». Это тренажёр реальной работы, где за 5 недель вы научитесь решать максимально разнообразные задачи:
▪️ Разрабатывать интерактивные дашборды
▪️ Автоматизировать поиск аномалий в данных
▪️ Строить ETL-пайплайны
▪️ Анализировать продуктовые метрики
▪️ Планировать и запускать A/B-тесты
Суть симулятора — создать приближенные к реальным условия и подготовить вас к первой работе. Вы сможете безопасно ошибаться, не боясь увольнения, и наберётесь опыта. А в конце наши HR помогут получить оффер.
[Записаться]
P.S. С 15 мая стоимость курса повысится — поэтому сейчас самое время начать