​Насколько умный ИИ в твоём смартфоне?

Консорциум экспертов в области искусственного интеллекта (MLPerf) обновил список рекордов в сфере машинного обучения.

Он представлен в виде таблицы и разбит на 8 категорий, от центров обработки данных и систем периферийных вычислений до мобильных устройств.

Впервые в неё вошли смартфоны и планшеты на базе однокристальных схем Qualcomm, MediaTek и Samsung, а также ноутбуки с процессорами Intel.

Этот раздел пока только наполняется, поскольку в MLPerf не успели верифицировать результаты к текущей версии рейтинга (0.7). Однако любопытные результаты получены уже сейчас.

Например, Xiaomi Redmi 10X 5G оказался быстрее в тесте классификации изображений ImageNet, чем игровой Asus ROG Phone 3, обработав 337 кадров в секунду против 248. Топовый Samsung Galaxy Note 20 ULTRA показал практически такой же результат: 339 к/с.

При этом обработка естественного языка у Redmi 10X 5G оказалась самой медленной (3,85 звуковых образцов / с при задержке 260 мс), а у Note 20 ULTRA — в два с лишним раза быстрее (8,08 сэмплов / с при латентности 123 мс).

Подчёркивается, что обновлённый набор тестов замеряет скорость вывода — насколько быстро уже обученная нейросеть выполняет свою задачу с новыми данными.

Для мобильных гаджетов были разработаны 4 специализированных теста:

• MobileNetEdgeTPU (классификация изображений на примере распознавания лиц);
• SSD-MobileNetV2 (обнаружение 80 различных объектов во входных кадрах с разрешением 300x300);
• DeepLabv3 + MobileNetV2 (используется для анализа сцены в VR и 3D-навигации).
• MobileBERT (оптимизированный для смартфонов тест обработки естественного языка)

Исполнительный директор MLPerf Дэвид Кантер заверил, что через несколько месяцев его команда выложит бесплатное приложение для проверки быстродействия ИИ на смартфонах и планшетах.

С ним рейтинги общей производительности (как в GeekBench) дополнятся сравнением скорости работы нейросетей на мобильных устройствах.

Источник: MLPerf.org