Обложка канала

addmeto

65087 @addmeto

Ровно один час в день я трачу на то, чтобы читать новости и писать в блог.

addmeto

5 лет назад
Открыть в
Чем дольше работает команда DeepMind на деньги Гугла, тем больше ощущение близости ИИ. Вот сегодня они показали статью и примеры работы своей новой языковой модели Gopher. Она ощутимо больше уже ставшей стандартом де-факто GPT-3, в ней 280 миллиардов параметров. Модель гигантская, но то как она умеет отвечать на информационные запросы потрясает - это уже результат сильно лучше, чем у среднего человека. Если посчитать, человеческий неокортекс состоит из 20 миллиардов нейронов, образующих по 10-15 тысяч соединений каждый. Т.е. двести триллионов соединений всего. Т.е. это уже всего на несколько порядков меньше чем весь обьем человеческого мозга. Приравнивать параметры модели к межнейронным связям наивно, однако масштаб модели поистине поражает deepmind.com/blog/ar…at-scale
Language Modelling at Scale

We are releasing three papers on language models, Gopher, Ethical considerations, and Retrieval.

Deepmind