Обложка канала

Quantum Quintum

Цинично про технологии, дизайн и будущее от Константина Кичинского (@constantinkichinsky), бывшего технологического евангелиста Microsoft.

Quantum Quintum

3 года назад
Открыть в
Так, восстание машин временно отменяется, расходимся. Оказывается (😈), OpenAI и сами бигтехи выбрали все запасы AI-мощностей в облаках амазона, майкрософта и гугла. И теперь стартапам и другим компаниям, пытающимся не опаздать на праздничный стол, достаются объедки с барского стола и готовые субпродукты. (Кто сказал "монополия"?) В некоторых случаях очередь на аренду железа достигает месяца. В нишевых провайдерах загрузка мощностей тоже на пределе. Бутылочным горлышком оказается одна компания — Nvidia, поставляющая большую часть чипов. Эксперты отмечают, что, возможно, проблема даже не в цепочках поставки (и производства), а банально в том, что спрос сильно превышает предложение, а облачные провайдеры просто не расширили своевременно свои мощности, потому что не прогнозировали такого бума. Но выполнение новых заказов со стороны той же Nvidia занимает 2-3 месяца. Также отмечается, что компания уже начала отгружать новые чипсеты — H100 NVL, заточенные специально под работу с LLM. Стоит также отметить, что гигантские кластеры в десятки тысяч чипсетов, которые строят облачные провайдеры, потребляют настолько много энергии, что не каждый текущий датацентр, готов принять такую дополнительную нагрузку. (И эти люди жаловались на подогрев земли битками!) www.theinformation.com/article…t-google
AI Developers Stymied by Server Shortage at AWS, Microsoft, Google

Startups and other companies trying to capitalize on the artificial intelligence boom sparked by OpenAI are running into a problem: They can’t find enough specialized computers to make their own AI software. A spike in demand for server chips that can train and run machine-learning software has ...

The Information