🔥 Хотите освоить подход DataOps? Сделайте шаг к изучению этой области 3 февраля в 20:00! Для вас в OTUS пройдет вебинар «Облака и on-premise решения в обработке данных».
📌 Занятие проведет Егор Матешук, CDO AdTech-компании Квант. Вместе с преподавателем мы рассмотрим основные технологические платформы для построения систем обработки данных.
❓Ответим на вопросы:
- Какие варианты есть для развертывания on-premise?
- Какие инструменты предлагают облачные провайдеры?
- Какие тенденции появились в платформах в последние годы?
👉 Пройдите вступительный тест, чтобы зарегистрироваться на урок - https://otus.pw/zYX7/
FaceNet — пример простой системы распознавания лиц с открытым кодом Github
Apple использует Face ID, OnePlus — технологию Face Unlock. Baidu использует распознавание лица вместо ID-карт для обеспечения доступа в офис, а при повторном пересечении границы в ОАЭ вам нужно только посмотреть в камеру.
В статье разбираемся, как сделать простейшую сеть распознавания лиц самостоятельно с помощью FaceNet.
Подробнее
2021 Beginners Guide to Python Programming Language: A Crash Course to Mastering Python in One Hour
Автор: Gary Elmer (2020)
Programming should not be a herculean task when the proper guide is followed. As an object-oriented programming language, Python is quite easy and straightforward for use in programming. With all entities seen as objects in this language, it is easy to solve real-life problems in Python. A feature of Python that endears it to many programmers is the easy approach to writing codes; it is easy to learn and apply. Also, with a free and open-source, it is available for all. Python programming for beginners: A step-by-step guide to coding using Python 3 for beginners to pro was written with the goal of instructing an absolute amateur to become an expert in programming. This guide provides all you need towards actualizing your goal of becoming a programmer.
Скачать книгу
📌 Платформы оркестрации — необходимый инструмент в арсенале современного Data Engineer и администратора вычислительного кластера. Хочешь глубже погрузиться в тему оркестраций?
🚀 Приходи на бесплатный вебинар 1 февраля в 20:00 в OTUS c Максимом Мигутиным, экспертом с 5+ лет опытом в индустрии данных и аналитики.
🔥 На открытом уроке мы подробно разберем, что же такое платформы оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования Apache Airflow — одной из самых распространенных платформ.
👉 Пройдите вступительный тест, чтобы зарегистрироваться https://otus.pw/V05a/
Нейронная сеть с нуля
Нейронные сети все больше доминируют в области машинного обучения / искусственного интеллекта: самые сложные модели для компьютерного зрения (например, CLIP), обработки естественного языка (например, GPT-3), перевода (например, Google Translate) и многое другое основано на нейронных сетях. Когда эти искусственные нейронные сети достигают некоторого произвольного порога количества нейронов, мы называем это глубоким обучением.
Подробнее
Работаем с USB
PyUSB — это библиотека, которая обеспечивает легкий доступ к USB. Имеет поддержку изохронной передачи, если её поддерживает бэкенд.
Основные методы для работы с USB, такие как find(), show_devices() и т. д, хранятся в usb.core.
Пакет usb.util содержит вспомогательные функции.
Функция find() используется для поиска устройств, подключенных к системе.
Также есть реализация внешнего и внутреннего интерфейса, для изоляции API от деталей реализации системы. Связующим звеном между двумя слоями является интерфейс IBackend.
PyUSB поставляется со встроенными бэкэндами для libusb 1.0, libusb 0.1 и OpenUSB.
3 февраля мы подведем итоги конкурса Up Great ПРО//ЧТЕНИЕ
Несколько команд показали внушительные результаты, но достаточно ли этого для получения беспрецедентной в России призовой премии — узнаете 3 февраля. Сразу скажем, что будет вручен призовой фонд по специальным номинациям конкурса в размере 32 млн руб.
Команды разрабатывали ассистента учителя на базе искусственного интеллекта, который должен выявлять логические, фактические, стилистические и смысловые ошибки и помогать учителям, снимая с них нагрузку по проверке сочинений. Конкурс проходит отдельно на русском и английском языках.
Если разработка участников справилась с задачей на уровне опытного учителя, то ее авторы получат приз до 100 млн руб. по каждому языку. Еще мы объявим победителей в специальных номинациях «Структура» и «Логика». На призовой фонд номинаций претендуют авторы решений, позволяющих выявить логические ошибки в тексте, а также определить смысловые блоки в сочинениях.
Подробнее
Валидация email-адресов
Для проверки корректности email-адреса а также действительности его существования существует неплохой модуль validate_email.
Модуль предоставляет одну основную одноименную функцию, предназначенную для валидации адреса, с помощью уже написанных регулярных выражений. Также в функции реализована проверка mx-записи у сервера и существования переданного адреса, за это отвечают необязательные параметры-флаги функции verify и check_mx.
Для обращения validate_email к DNS записям необходимо предварительно установить модуль py3dns.
4–6 февраля в Слёрме будет интенсив «Kubernetes для разработчиков», с практикой и полным погружением в k8s.
Программа составлена специально для разработчиков: нет лишней информации, которая не пригодилась бы в реальных проектах, включены важные нюансы разработки приложения под Kubernetes.
Формат обучения — трехдневный интенсив, все знания отрабатываем на практике. Будем учиться онлайн, с 10 до 19 с перерывами.
День 1️⃣
- Введение в Kubernetes
- Абстракции приложения
- Хранение конфигураций
- Хранение данных
- Сетевые абстракции
- Устройство кластера
День 2️⃣
- Oneshot задачи
- Альтернативы Deploymentу
- Авторизация в кластере
- Особенности ЯП в Kubernetes
- Локальная разработка в Kubernetes
- Дебаг приложений в кластере
День 3️⃣
- Темплейтирование приложений
-CI/CD
- Использование возможностей Kubernetes в своих приложениях
Спикеры интенсива — опытные девопс-инженеры Марсель Ибраев (Слёрм), Сергей Бондарев (Southbridge), Павел Селиванов (VK Cloud Solutions).
Записаться можно на сайте
https://slurm.club/3KUjAt5
Туториал: создание простой GAN на Python с библиотекой Keras
В этом туториале я расскажу о генеративно-состязательных нейронных сетях (GAN) не прибегая к математическим деталям модели. Далее будет показано, как написать собственную простую GAN на Python с Keras, которая сможет генерировать знаки.
Подробнее
Python GUI Programming with Tkinter
Автор: Alan D. Moore 2021
Tkinter - это легкий, портативный и простой в использовании набор графических инструментов, доступный в стандартной библиотеке Python. Благодаря своей простоте и доступности он широко используется для создания графических интерфейсов в Python. Эта книга научит вас проектировать и создавать функциональные, привлекательные и удобные приложения с графическим интерфейсом.
Скачать книгу
Python-библиотеки для визуализации выполнения кода
В статье приводится обзор трех open-source библиотек Python, которые могут помочь разработчикам наглядно визуализировать выполнение кода. Эти библиотеки являются более простыми в установке и использовании аналогами модуля Logging.
Подробнее
Туториал: параллельные вычисления больших данных с MapReduce
Метод MapReduce представляет собой технику, которая используется для обработки огромного количества данных (до нескольких петабайт). Существует много реализаций MapReduce, в том числе известный Apache Hadoop. Здесь я не буду говорить о реализациях MapReduce. Я попытаюсь представить концепцию как можно более интуитивно понятным способом, приведу реальные примеры.
Подробнее
Сверточные нейронные сети с нуля
Когда Ян ЛеКун опубликовал свою работу, посвященную новой нейросетевой архитектуре, получившей название CNN (Convolutional Neural Network), она не произвела достаточного впечатления на мир науки и техники и долгое время оставалась незамеченной. Потребовалось 14 лет и огромные усилия команды исследователей из Торонтского университета, чтобы донести до общества всю ценность открытий Яна ЛеКуна.
Подробнее
21 января запускаем в Слёрме тот самый курс «Kubernetes База: стартовый курс для администраторов».
Как будем учиться?
За 6 недель изучим Kubernetes с нуля до готовности создавать, настраивать и обслуживать кластеры.
После самостоятельного разбора каждой темы (видеолекция и практическое задание по ней) будем встречаться со спикерами Марселем Ибраевым и Сергеем Бондаревым, они поделятся своим опытом и ответят на вопросы.
Будет чат со спикерами, куратором и техподдержкой.
Что в программе?
1. Знакомство с Kubernetes, основные компоненты (Pod, ReplicaSet, Deployment, Service, Ingress, PV, PVC, ConfigMap, Secret).
2. Устройство кластера, основные компоненты, отказоустойчивость, сеть k8s.
3. Kubespray, тюнинг и настройка кластера Kubernetes.
4. Продвинутые абстракции Kubernetes (DaemonSet, StatefulSet, RBAC, Job, CronJob, Pod Scheduling, InitContainer).
5. DNS в кластере. Публикация сервисов и приложений.
6. Работа с Helm.
7. Подключение системы хранения данных на примере Ceph.
8. Установка cert-manager.
9. Обслуживание кластера.
10. Докеризация приложения и запуск в кластере. Настройка CI/CD.
Узнать больше и записаться: https://slurm.io/kubernetes-baza