Канал, посвященный анализу данных с помощью Python. Не столько про машинное обучение, сколько про подготовку/очистку/предобработку данных, использование Python для получения данных из API, парсинга веб-сайтов, автоматизации различной рутины
Data Engineer в Яндекс Практикум
Практикум ищет дата-инженера, которому предстоит заниматься стабильностью поставки и качеством данных для аналитиков в широком смысле. Задачи включают в себя эксплуатацию, проектирование DWH и ETL-процессов.
Мы готовы давать свободу в принятии решений и доверять, а в свою очередь ждём, что вы уже опытный дата-инженер, решали подобные задачи, работали с разными аналитическими и не только БД, и вам интересно расширять зону своей ответственности.
Читайте про вакансию подробнее и откликайтесь на нашем сайте: https://goo.su/OsoXDk
⚡️Старший аналитик в HR Tech
Стек: SQL, Python, Pandas, Excel
Команда people-аналитики Яндекса ищет коллегу и друга, который будет помогать развивать аналитику в HR-департаменте, проверять гипотезы бизнеса с помощью данных и участвовать в разработке дашбордов.
Вы будете сотрудничать с коллегами из других департаментов и нашими топ-менеджерами, много работать с большими данными, делать на их основе выводы и прогнозы, в итоге — влиять на настоящее и будущее всей компании. Вам предстоит анализировать экосистему аналитических продуктов по ключевым метрикам — найму, движению, обучению, вовлечённости и другим сторонам жизни сотрудников
🌙Что нужно делать:
— отвечать за подготовку аналитических расчётов и визуализацию данных
— участвовать в разработке дашбордов: прорабатывать ТЗ и сценарии использования
— консультировать внутренних заказчиков и топ-менеджеров
— автоматизировать внутренние процессы
— будет плюсом, если вы работали с HR-данными
🌙Мы предлагаем:
— экспертная и талантливая команда, у которой можно многому научиться и перенять опыт
— культура открытости и взаимопомощи: у нас работают люди, вовлечённые в процесс и небезразличные к тому, что они делают;
высокая скорость работы и возможность быстро увидеть свой вклад и результаты
— сложные задачи для сервисов с тысячами пользователей
— возможность работать удалённо или из офиса
— премии каждые полгода для всех, кто успешно прошёл ревью
— расширенная программа ДМС
— компенсация оплаты питания
— программы жилищных займов для сотрудников
⚡️для отклика и по всем вопросам: @irinavlsv
💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии.
В сообществе вы найдете:
▫️ Новости индустрии production ML;
▫️ Полезные статьи, инструменты и технологии;
▫️ Опыт коллег и лучшие практики.
Присоединяйтесь, чтобы получать новые знания от практиков MLOps и дата-аналитики: https://t.me/+rOZxsh8_QQdhODEy
Реклама ООО «Селектел»,
Pb3XmBtzsrvdJQYxEVcrptUxGFrqrVv45CMc4NC
22 марта в 19:00 ШАД Helper проводит вебинар по теме «Как пройти Data Science собеседование».Мы расскажем, как войти в мир IT со стороны Data Science, каким образом подготовиться к собеседованию в хорошую компанию.О чем вебинар?
- Поговорим про собеседования в топовые IT компании
⁃ Разберем типичные вопросы и задачи с собеседований на Junior позицию в Data Science
⁃ Расскажем про ШАД Helper, как происходит обучение
⁃ Познакомим вас с нашими преподавателями
Гости эфира:
Александр Лыков — академический руководитель в ШАД Helper.
Андрей Канунников — преподаватель по алгебре и дискретной математике в ШАД Helper.
Егор Илларионов — преподаватель по теории вероятностей в ШАД Helper.
Ирина Пионтковская — Head of Moscow Speech & Dialogs team in Huawei Noah's Ark Lab, а также руководителем прикладных исследовательских проектов в iPavlov.
В конце вебинара каждый участник получит от нас бонус!
Регистрация по ссылке 👉🏼 https://clck.ru/33nMW9
Ссылка на tg-канал ШАД Helper 👉🏼 https://t.me/shadhelper
Когда мы говорим об анализе данных, нельзя забывать про пространственные данные. Для их отображения и анализа раньше требовалось знание сложного геоинформационного ПО, но теперь есть платформа FlexGIS, позволяющая сделать собственную интерактивную карту за несколько минут, то есть быстрее, чем слайд презентации.
Зачем нужна веб-картография?
🔸разместить различные данные на карте для поиска зависимостей или подтверждения гипотез с помощью инструментов геоанализа
🔸поделиться результатами исследования
🔸подготовить презентационный материал, проиллюстрировать выводы
🔸разместить информацию на сайте
Функционал платформы FlexGIS позволяет:
🔸создать свою карту без знаний картографии или геоинформационных систем
🔸использовать готовые наборы данных для построения карт
🔸загружать свои данные в популярных форматах GeoJson, Excel, Shp
🔸настроить отображение данных
🔸выбрать стилизацию
🔸установить порядок слоев
🔸построить тепловые карты
🔸сохранять ваши проекты
🔸добавить функционал в виде виджетов
🔸проводить комплексный анализ изучаемой территории.
Например, платформу FlexGIS использовали для анализа территории города Иваново в рамках проекта по редевелопменту промышленных территорий. С ним можно ознакомиться по ссылке: проект Иваново
Есть бесплатная, а так же платная расширенная версия. Кроме этого, система может быть развернута на серверах компании в качестве корпоративного приложения.
Ссылка на платформу FlexGIS с подробным описанием и примерами других проектов:
https://flexgis.ru/
Также подписывайтесь на телеграмм канал FlexGIS:
https://t.me/+lu98YK7X5FwxYjUy
🔥 Как применяют NLP в современном мире?
📌 Обсудим 21 марта в 18:00 мск на открытом уроке онлайн-курса «Natural Language Processing (NLP)» в OTUS (возможна рассрочка). Тема вебинара: «Современные применения Natural Language Processing».
📝 На занятии вы узнаете:
— Что делает область NLP одной из самых востребованных областей Data Science сегодня
— Какие задачи сегодня решают с помощью методов NLP и что стоит за успехами в этой области
— Какие существуют подходы к решению задач по NLP?
👉 Урок будет полезен IT-специалистам, которые хотят расширить свои знания в Data Science, дата-сайентистам, желающим углубить свои знания по автоматической обработке текстов.
💻 Спикером выступит Мария Тихонова, руководитель курсов по ML в OTUS и Senior Research Data Scientist в команде AGI NLP в SberDevices.
✅Для участия пройдите вступительный тест: https://otus.pw/yEG6/Реклама. Информация о рекламодателе на сайте otus.ru
Яндекс Практикум ищет наставников на курс «Продуктовый аналитик»
Наставники учат студентов продуктовому подходу. Проект можно совмещать с основной работой: он будет занимать от 8 до 12 часов в неделю удалённо.
Какие задачи нужно будет решать?
— проводить встречи в мини-группах по 4-5 человек,
— разбирать проекты студентов и частые ошибки,
— рассказывать про интересные и удачные решения.
Кого мы ждём?
Действующих продуктовых аналитиков с опытом от двух лет, которые проводили продуктовые исследования и разбираются в метриках. Важно владеть математической статистикой, SQL и Tableau или Apache Superset.
Что мы предлагаем?
◾️ Удалённое сотрудничество из любой точки мира.
◾️ Дополнительный доход.
◾️ Сертификат в портфолио.
◾️ Обучение в бесплатной Школе наставников — двухнедельный интенсив по коммуникации и управлению командой.
◾️ Развитие софт-скиллов: публичные выступления, тайм-менеджмент, обратная связь, объяснение материала.
◾️ Профессиональное коммьюнити: нетворкинг, возможность писать статьи и участвовать в мероприятиях Яндекса и Яндекс Практикума.
Откликнуться: https://practicum.yandex.ru/job/vacancy-98
Как начать использовать R в работе с данными? Начните знакомство с экосистемой R 🗓 15 марта 20:00 на открытом уроке онлайн-курса «R для анализа данных» в OTUS.
На вебинаре мы изучим 3 популярных средства разработки и анализа данных:
RStudio — это интегрированная среда разработки (IDE) для R, которая предоставляет множество удобных инструментов для написания, отладки и тестирования кода на R. Мы рассмотрим основные возможности RStudio для анализа данных: работа с таблицами, построение графиков.
Jupyter — это интерактивная среда разработки, которая поддерживает несколько языков программирования, в том числе R. Мы покажем, как использовать Jupyter для создания документов, которые объединяют код, текст и визуализации в одном месте.
Visual Studio Code (VS Code) — редактор кода. Он относительно немного весит, гибкий и удобный. В нем можно писать, форматировать и редактировать код на разных языках, в том числе и R.
В результате вебинара вы будете знать, как использовать три различных средства для работы с R и сможете выбрать подходящую для своих нужд.
👨💻 Занятие проведет Дмитрий Володин, Analytics Engineer в TrafficStars. Он использует R в своей работе как для разведочного анализа, так и для BI задач.
👉 Регистрируйтесь на занятие — https://otus.pw/DVBx/
Открытый урок является частью онлайн-курса «Бизнес-аналитик в IT» от OTUS. Он позволит вам познакомиться с преподавателем и оценить материалы программы.Реклама. Информация о рекламодателе на сайте www.otus.ru.
⚡️Старший BI-аналитик в HR Tech
Стек: SQL, Tableau, Power BI, DataLens Python, Spark, JavaScript
Принимать решения на основе данных Яндексу помогает экосистема интерактивных дашбордов, которая показывает динамику самых важных HR-метрик. Мы ищем Старшего BI-аналитика, который будет собирать, анализировать и визуализировать данные с помощью BI-инструментов. Вам предстоит создавать экосистему аналитических продуктов по ключевым метрикам — найму, движению, обучению, вовлечённости и другим сторонам жизни сотрудников
🌙Что нужно делать:
— разрабатывать макеты дашбордов;
— визуализировать метрики и данные с использованием BI-инструментов;
— управлять пулом дашбордов как продуктом: собирать требования, вести бэклог доработок и идей, отвечать за улучшения;
— вместе с командой разрабатывать, поддерживать и развивать удобные и полезные аналитические продукты;
— участвовать в обновлении и улучшении методологии расчёта метрик в других проектах команды HR-дашбордов
🌙Мы предлагаем:
— экспертная и талантливая команда, у которой можно многому научиться и перенять опыт;
— культура открытости и взаимопомощи: у нас работают люди, вовлечённые в процесс и небезразличные к тому, что они делают;
— высокая скорость работы и возможность быстро увидеть свой вклад и результаты;
— сложные задачи для сервисов с тысячами пользователей
— возможность работать удалённо или из офиса
— премии каждые полгода для всех, кто успешно прошёл ревью
— расширенная программа ДМС
— компенсация оплаты питания
— программы жилищных займов для сотрудников
⚡️для отклика и по всем вопросам @irinavlsv
ChatGPT в массы!
OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации.
Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).
Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит.
Instacart позволить покупателям задавать вопросы о еде («Как приготовить рыбные тако?» или «Предложи здоровый обед для моих детей») и получать вдохновляющие ответы, содержащие ссылки на товары, которые можно купить в один клик. Пока из того что видел - первая подобная интеграция, некоторого рода "продукт-плейсмент". Вижу применение этого и в поисковых чатботах - когда в выдачу подмешиваются ссылки, за которые заплатили.
Техническая инфа: теперь для запроса в модель нужно указывать не только текст для продолжения, но и дополнительные штучки - их перечень сведён в Chat Markup Language (“ChatML”). В частности, предполагаются "роли", так как модель была заточена под диалог - есть AI-ассистент, который пишет ответы, и есть "человек", пишущий сообщения с вашей стороны.
И напоследок важное:
> Data submitted through the API is no longer used for service improvements (including model training) unless the organization opts in
Теперь данные клиентов не будут использоваться для дообучения в будущем!
Большие языковые модели (LLMs), к которым относится ChatGPT (и GPT3, которая под капотом у ChatGPT) открывают огромный простор для дешевого создания сервисов, способных выполнять операции по несложному семантическому анализу. Например, я за пару часов с использованием API Яндекс.Переводчика, API OpenAI и библиотеки LangChain сделал небольшого бота, который в ответ на фразу даёт численные оценки её специфичности и детализации с объяснением почему была дана такая оценка, а также рекомендациями как эти показатели улучшить. На картинках примеры, а в конце поста ссылка на блокнот
Отдельно стоит заметить, что в работе с запросами к GPT3 важную роль играет сколько мы поставляем ей примеров и явное указание специфичной формы ответа (будь то перечисление конкретных заголовков, атрибутов ответа, явное указание на то, что ответ должен быть получен в виде таблице). На картинке есть пример запроса
А ещё вижу зарождение новой профессии «prompt engineer», задача которой будет в формировании таких запросов, которые будут максимально эффективно решать потребности бизнеса с помощью LLMs. И тут речь не только про запрос, качественно решающий изначальную задачу, но и про формирование цепочек запросов, настройку переиспользования предыдущих ответов для улучшения качества запросов. В общем, целая новая вдохновляющая область на стыке AI, лингвистики и бизнес-аналитики
github.com/axmakar…er.ipynb
Зачем индустрии IT необходимы архитекторы и как стать экспертом в этом направлении? Узнаешь на ближайшей лекции Digital Лектория Газпромбанка.
Владимир Григорьев, Архитектор стрима «Розничный Миддл» в Газпромбанке, расскажет о:
— истории и причинах появления специальности ИТ-архитектора
— разных видах ИТ-архитекторов и требованиях к специалистам
— специализации и работе ИТ-архитекторов
— роли ИТ-архитектора в Газпромбанке.
Регистрируйся и присоединяйся к лекции «Карьера IT-архитектора: что нужно знать новичкам о профессии» — https://www.gpbspace.ru/digital-lectory-hall-form/
Знакомы слова SQL, ETL, DWH?
Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!
За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужны дата-инженеры, системные аналитики DWH и разработчики ETL с опытом работы больше двух лет.
Пройти собеседование можно онлайн за выходные — на Data Weekend Offer. Если все хорошо, вы получите оффер уже в понедельник.
Ближайшее мероприятие 11-12 марта.Успейте подать заявку до 7 марта.
Организуйте коллективное использование BI-системы легко и безопасно!
На вебинаре Роман Бунин, BI-евангелист Yandex DataLens и автор Telegram-канала Reveal the Data, поделится паттернами проектирования системы дашбордов и организации контента для компаний разного размера. Разберёт как теорию, так и практические советы по разработке системы отчётности в Yandex DataLens.
Темы для обсуждения:
🔹 права, доступы и сохранение нужного уровня безопасности;
🔹 работа и настройка доступа на уровне строк (RLS) в Yandex DataLens;
🔹 карта и система дашбордов для подразделений;
🔹 типы дашбордов и почему важно их разделять;
🔹 настройка кросс-ссылок между дашбордами;
🔹 будущая система управления контентом.
Участие бесплатное, нужно только ➡️ зарегистрироваться
Яндекс выкладывает в опенсорс код счётчика — ключевого компонента Метрики. Это JS-бандл, который загружается вместе со страницей сайта и фиксирует различные события.
Вот ссылка на репозиторий в Гитхаб. Теперь вы можете подробно изучить код счётчика и пересобрать его в той конфигурации, которая необходима для вашего проекта.
Разработчик Метрики Евгений Новиков поделился краткой историей счётчика и тем, как с ним работать в небольшой статье на Хабре.
Делимся вакансией для системных аналитиков от коллег из МТС Финтех и объясняем, почему она 🔥
✔️ Топовая компания. Стабильно попадает в рейтинг лучших работодателей по версии HeadHunter. Здесь всё для сотрудника: корпоративные плюшки, программы мотивации, атмосфера, как ты всегда мечтал.
✔️ Актуальная сфера на стыке банкинга и телекома. Ты будешь работать над сервисами и продуктами, которыми пользуются более 12 млн клиентов экосистемы МТС.
✔️ Мы рекомендуем, а мы-то разбираемся где системным аналитикам хорошо 😎
Изучайте подробности и откликайтесь!
Pb3XmBtzszEYUSayJUAfK56BEapmL3Fu4vuEYbp
Мой хороший знакомый разрабатывает решения для анализа сообществ Telegram. Одно из таких решений — бот для анализа сообществ в Telegram.
@chats_statБот позволяет получить представление о группе Telegram. Достаточно ввести название чата (в формате `@chat_name`) и он даст вам массу информации о сообществе. С помощью этого бота вы можете легко просмотреть количество участников, процент участников с премиальными подписками, среднее количество участников онлайн, распределение по полу и географическое распределение ваших участников.
Для того, чтобы получить информацию об интересующем вас сообществе, не обязательно быть его админом или участником.
Как пользоваться ботом:
- Заходите в чат @chats_stat
- Пишите прямо в чате название чата @chat_name
- Бот возвращает вам статистику по чату
Этот инструмент будет полезен для администраторов больших сообществ, чтобы лучше понять свою аудиторию. А также для оценки аудитории других сообществ
Пишите любой фидбэк в комментариях к этому посту.
Скоро: Avito Analytics meetup #9 🔥
Митап пройдёт онлайн, 16 февраля в 18:00 по мск. В программе обсуждение репутационной системы для продавцов на Авито, анализ продуктовых метрик в денежном эквиваленте на Дзене и методы сокращения дисперсии в EXPF.
Поставь напоминалку и подключайся!
Реклама. ООО «Авито Тех». LdtCKb8cC