​​ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ПОЛУЧИЛ СВОЮ СИСТЕМУ СЧИСЛЕНИЯ

#PROсвежее

Нейронные сети сейчас используют в большинстве случаев стандартный 32-разрядный формат чисел с плавающей запятой IEEE FP32. Это обеспечивает высокую точность вычислений и конечного результата, но требует использования больших объемов памяти и высокопроизводительных процессоров, потребляющих значительное количество энергии. В системах же с высокими требованиями к быстродействию и с ограниченными вычислительными ресурсами используются 8-разрядные целые числа со знаком INT8. Это позволяет получить высокую производительность систем искусственного интеллекта, принеся в жертву точность вычислений и конечного результата.

Для решения проблемы, связанной с компромиссом между производительностью систем искусственного интеллекта и разрядностью используемых чисел, специалисты Google Brain в свое время разработали специальный формат чисел с плавающей запятой, оптимизированный для глубинного самообучения и позволяющий получать результат с минимально возможными потерями точности. Этот формат, BF16 (BFloat16, Brain Float 16) уже нашел широкое применение в специальных аппаратных ускорителях, разработанных компаниями Google, Intel, ARM и др.