​IVA TPU — российская разработка в области AI станет серийным продуктом

В ближайшее время на базе российского ИИ-ускорителя с архитектурой IVA TPU начнётся производство нейропроцессоров для оконечных устройств (серия IVA E) и облачных сервисов (IVA H).

Прошлой осенью консорциум экспертов в области искусственного интеллекта MLPerf высоко оценил прототип на базе IVA TPU от молодой российской компании IVA Technologies.

Это типичный тензорный ускоритель на базе популярной FPGA Virtex серии Ultrascale+ и фреймворка TensorFlow 1.15.0 c нормами производства 28 нм.

За счёт FPGA его можно адаптировать под конкретные алгоритмы для свёрточных (CNN) или рекуррентных нейросетей с длительной и краткосрочной памятью (LSTM).

Сети данного типа используются в системах машинного зрения, системах распознавания рукописного ввода и устной речи, робототехнике и граничных вычислениях (Edge AI).

Сегодня Edge AI — одно из самых перспективных направлений. В нём выделяют самую сложную группу задач, характеризующуюся наиболее жёсткими ограничениями на латентность, преобразования моделей и точность вычислений.

В тестах MLPerf они относятся к группе Closed Division Edge (CDE), а на практике их требуется реализовать в беспилотном транспорте, дронах коммерческого и военного назначения, системах наведения и классификации целей и "умных" камерах с функцией распознавания лиц.

Также системы контроля с ИИ начинают внедряться на самых ответственных участках производственных линий.

Аппаратные решения для CDE выпускают гораздо меньше участников рынка, чем для потребительского сегмента. Соответствующие разработки есть у ARM, Centaur, Nvidia и Xilinx… а с осени 2020 года — также и у российской компании IVA Technologies.

Из результатов тестирования видно, что по сравнению с Xilinx Alveo U250 при использовании модели ResNet ускоритель IVA FPGA достигает близкой скорости классификации изображений (89 в секунду против 107 у Xilinx), при этом обеспечивая почти втрое меньшие задержки (12,23 мс против 37,46 мс у Xilinx).

Пиковая производительность IVA TPU оценивается в 20 TOPS (триллионов операций в секунду), а максимальное энергопотребление — менее 100 Вт.

Источник: MLPerf

Подробнее: IVA Tech