​​Google представила нейросеть 4D-Net, объединяющую данные с установленных в автомобиле лидара и камеры. Модель позволяет повысить безопасность беспилотных автомобилей и быстродействие установленных в них алгоритмов потокового анализа сцен. Количество точек, трехмерные координаты которых регистрирует лидар, зависит от удаленности объекта – чем дальше он находится от лидара, тем меньше точек его поверхности будут записаны. В то же время камера обеспечивает равномерную плотность данных, что позволяет осуществлять сегмантическую сегментацию для распознавания объектов. Модель Google объединяет облака точек и RGB-изображения в последовательные моменты времени, формируя четырехмерную карту сцены. В 4D-Net используется поиск архитектуры нейросети для обучения связей между двумя типами данных: каждый слой признаков входных данных одного датчика комбинируется со слоями признаков данных второго датчика. Нейросеть превзошла предыдущие state-of-the-art модели в бенчмарке Waymo Open Dataset. Также за счет комбинации мультимодальных данных 4D-Net улучшает точность распознавания удаленных объектов, которые потенциально могут привести к аварии. Источник: openaccess.thecvf.com/content…aper.pdf #StateoftheArt