Обложка канала

Малоизвестное интересное

Рассказы, анализ и аннотации происходящего на стыке науки, технологий, бизнеса и общества. Поскольку переделать мир мы не можем, то давайте попробуем его понять.

Малоизвестное интересное

3 года назад
Открыть в
В чьих руках будет ИИ через 5 лет? Тех, кто сможет платить по $100 млн за обучение одной модели. Сегодня есть два главных вопроса о перспективах развития ИИ. 1) Ответ на вопрос - что будут уметь ИИ-системы через 5 лет, - можно дать лишь весьма приближенно. Демонстрируемый ChatGPT3 лавинообразный взлет возможностей ИИ позволяет предположить, что через 5 лет ИИ-системы смогут делать такое, о чем еще вчера люди и не мечтали. 2) Но на второй вопрос- в чьих руках будет развитие ИИ-систем через 5 лет, - ответ ясен и весьма однозначен. Рулить развитием ИИ будут лишь самые богатые структуры бизнеса и политики. Только опубликованный отчет «Тенденции долларовой стоимости обучения систем машинного обучения» дает важное уточнение ответа на 2й вопрос. Проведенный профессиональный анализ показывает, что через 5 лет стоимость обучение одной модели будет составлять примерно $100 млн. А в 2030 эта стоимость будет уже $500 млн. Прогресс графических процессоров NVIDIA может несколько уменьшить колоссальные затраты на обучение, доведя стоимости обучения для средней промежуточной системы машинного обучения к началу 2030 до «всего» $200 млн. Тем, кто сомневается в первостепенной важности вопроса о росте стоимости обучения ИИ, следует помнить о следующем. От этой стоимости зависят инвестиции в ИИ (в зависимости от соотношения расходов на разработку и обучение ИИ и доходов от ИИ-систем). Ну а кто сможет позволить себе вышеназванные затраты на обучение – не бином Ньютона. А дальше становится понятно и направление вектора развития ИИ. Ибо кто девушку ужинает, тот её и танцует #ИИ
Trends in the dollar training cost of machine learning systems

I combine training compute and GPU price-performance data to estimate the cost of compute in US dollars for the final training run of 124 machine learning systems published between 2009 and 2022, and find that the cost has grown by approximately 0.5 orders of magnitude per year.

Epoch