NeuroHive - Нейронные сети. Страница 21

​​Исследователи из Google опубликовали нейросеть для генерации изображений, которая имеет иерархическую структуру. Подход основан на архитектуре генеративно-состязательной сети.

​​Detecto — это библиотека на PyTorch, которая упрощает процесс построения моделей для распознавания объектов на изображении и видеозаписи. Библиотека выступает в качестве легковесной надстройки над PyTorch и сокращает время на написание кода для инициализации модели, применения transfer learning для своих датасетов и использования модели на инференсе.

​​Исследователи обучили нейросеть восстанавливать изображение от перекрывающих объектов: стекло окна, ограда и капли дождя. Модель принимает на вход видеозапись сцены, которую снимали на движущуюся камеру. На выходе модель генерирует изображение сцены без препятствия. В качестве архитектуры сети использовали глубокую сверточную нейросеть.

​​SpeedNet — это сверточная нейросеть, которая предсказывает ускорение или замедление объекта на видеозаписи. Модель обучали на корпусе реальных видеозаписей без ручной разметки. В основе SpeedNet лежит архитектура S3D-G модели.

​​Стартап Landing AI разработал инструмент для мониторинга социального дистанцирования. Детектор распознает на видеозаписи людей и выделяет тех, кто находятся друг от друга менее чем в 6 футах друг от друга (1.8 метров). Инструмент возможно внедрить в существующие камеры слежения на предприятии.

​​Исследователи из University of Washington опубликовали модель, которая покадрово меняет задний фон на видеозаписи. Алгоритм обходит state-of-the-art подходы. Примерами применений модели является съемка видео или смена заднего фона во время видео-звонков.

​​Разработчики из Deepomatic добавили в свою платформу инструмент для поиска ошибок разметки в данных. В популярных датасетах с изображениями VOC и COCO процент неточно размеченных данных превысил 20%. Исправление ошибок вручную привело к увеличению качества предсказаний на 5% для state-of-the-art архитектур.

​​OTUS открывает набор на обновлённый онлайн-курс «Machine learning» для аналитиков и разработчиков. Пройдите тест (необходимо знание Python и математики) и займите своё место со специальной скидкой: https://otus.pw/nexd/

За 5 месяцев обучения вы:
— Освоите классические и самые современные методы и алгоритмы машинного обучения.
— Научитесь работать с большими данными.
— Разработаете несколько мощных проектов для портфолио, которые обязательно оценят потенциальные работодатели.
— И даже подготовитесь к соревнованиям на Kaggle!

Делиться экспертизой будут проверенные преподаватели-практики: Дмитрий Сергеев (Senior Data Scientist в Oura, преподавание в МГУ, ВШЭ), Валерий Бабушкин (Competitions Grandmaster на Kaggle, top 30) и другие.

Сделайте первый шаг в карьере Data Scientist - присоединяйтесь прямо сейчас: https://otus.pw/nexd/

​​TartanAir — это датасет для обучения робота передвижению. Датасет состоит из мультимодальных данных сенсоров и разметки, которая включает в себя RGB изображения, карты глубины, сегментацию, оптический поток, позиции камер и облако точек из LiDAR. TartanAir позволяет обучать модели решать задачу одновременной локализации и построения карт (SLAM) на основе визуальных данных.

​​House-GAN — это генеративно-состязательная нейросеть, которая на основе графа с расположением комнат генерирует множество возможных планировок дома. Исследователи измеряли качество модели на 117 тысячах изображений реальных планировок с помощью трех метрик: реалистичность, разнообразие и соответствие входному графу. По количественным и качественным метрикам, House-GAN обходит существующие подходы и базовые модели.

​​Исследователи опубликовали датасет с неструктурированными изображениями культурных объектов. Он включает в себя 25 тысяч изображений, каждое из которых содержит информацию о местоположении здания и стороне, с которой был снят кадр. Реконструкция 3D объектов и зданий из последовательности изображений (Structure-from-Motion) — это одна из открытых проблем компьютерного зрения. Одним из применений таких моделей является возможность изучения культурных объектов в браузере.

​​CenterTrack — это модель для отслеживания объектов на видеозаписи. Нейросеть принимает на вход текущий кадр, прошлый кадр и тепловую карту с предсказаниями для прошлого кадра. На выходе модель предсказывает объекты на текущем кадре и соотносит их с объектами с прошлого кадра. CenterTrack выдает state-of-the-art результаты на датасетах MOT17, KITTI и nuScenes.

​​Исследователи из UC Berkley обучили робота имитировать поведение собаки с помощью обучения с подкреплением. Предложенный фреймворк масштабируется на другие виды животных. Модель получает на вход видеоролик с записью движения животного. На основе входного ролика RL-агент выучивает политику контроля движений, которая позволяет ему имитировать движение.

​​Исследователи из University of Hong Kong и Technical University of Munich обучили RL-агента восстанавливать 3D форму объектов. Агент в процессе обучения выучивает политики 3D моделирования.

​​WaveNetEQ — это генеративная нейросеть, которая восстанавливает утерянные части аудиозаписи во время звонка. Модель основана на архитектуре WaveRNN от DeepMind. WaveNetEQ внедрена в приложение Google Duo.

​​Представление о постоянстве объектов (Object Permanence) позволяет людям судить о положении объектов, которые закрыты другими объектами и вне зоны видимости. Это происходит через осознание, что объекты продолжают существовать, даже если они не видны напрямую. OPNet — это нейросетевая модель, которая отслеживает перекрытые объекты на видеозаписи. По результатам экспериментов, OPNet обходит существующие методы локализации объектов.

​​Google AI опубликовали нейросеть, которая предсказывает атмосферные осадки на ближайшие 8 часов. MetNet обходит систему, которая основана на физических законах и используются в США для предсказания осадков. Предложенная модель способна выдавать предсказания в радиусе 1 километра. MetNet принимает на вход неразмеченные данные, которые автоматически собираются с радаров и спутников. На выходе модель выдает распределение вероятностей выпадения осадков для каждого региона площадью 64 км на 64 км.

​​DeepMind разработали RL-агента Agent57, который обошел человека во всех 57 играх Atari 2600. Agent57 совмещает в себе алгоритм для эффективного исследования среды с мета-контроллером. Мета-контроллер - это адаптивный механизм для отбора приоритетной стратегии агента во время обучения.