Quantum Quintum. Страница 4
1424
@quantumquintum
Цинично про технологии, дизайн и будущее от Константина Кичинского (@constantinkichinsky), бывшего технологического евангелиста Microsoft.
-
Quantum Quintum
Очередная публикация "про которую все говорят" - с анализом существующих LLM-моделей, места ChatGPT и т.п. от исследователей из Amazon, Texas A&M University и Rice University (USA). Важное дополнение от Yann LeCun из Meta к чтению изображения с деревом моделей: — "encoder only" = has an encoder and a decoder (just not an auto-regressive decoder). — "encoder-decoder" = "encoder with auto-regressive decoder" — "decoder only" = "auto-regressive encoder-decoder" Вторая иллюстрация — диаграмма принятия решения, когда нужна LLM, а когда что-то другое. https://arxiv.org/pdf/2304.13712.pdf 
-
Quantum Quintum
Старые игры (да и новые, и будущие) могут приобрести неожиданную "новую" жизнь, особенно те, что с богатым моддерским сообществом. Вот к Skyrim прикрутити ChatGPT для оживления NPC: https://www.youtube.com/watch?v=Gz6mAX41fs0 Очевидно, что чем более "живыми" будут такие искусственные социальные пузыри, тем больше времени в них будут проводить пользователи вместо других социальных сетей. Поэтому не удивительно, что Марк срочно заявляет об амбициях создать "ИИ-агентов" для миллиардов людей. (Хотя на самом деле, Марку стоило бы делать платформу как раз для встраиваемых ИИ-агентов. Но кто я такой, чтобы давать советы Марку. Ахахах.) -
Quantum Quintum
Марк отчитывается о своем третьем квартале и рассказывается, как он планирует переобуться: "...there are two major technological waves driving our roadmap -- a huge AI wave today and a building metaverse wave for the future. Our AI work comes in two main areas: first, the massive recommendations and ranking infrastructure that powers all of our products -- from feeds to Reels to our ads system to our integrity systems and that we’ve been working on for many, many, years -- and, second, the new generative foundation models that are enabling entirely new classes of products and experiences." ИИ сегодня, метаверс когда-нибудь не сегодня. "Слухи о том, что мы куда-то свернули с метаверса, не очень аккуратны". Просто ИИ теперь ключевой элемент метаверса. Еще из интересного: 1. Хотя Марк этим хвастается, на самом деле цифры так себе. Каждый доллар, который рекламодатели тратят в фейсбуке и прочих ассетах меты, приносит им назад всего лишь три с копейками в виде дохода. (Ну то есть: заработал $3.31, отдай 30% фейсбуку, чтобы заработать еще. Стандартный такой "налог" для бигтехов.) 2. Как я и говорил, у меты нет другого выхода, кроме как топить за открытый Generative AI. Поэтому Марк обещает продолжать выкладывать тулы и модели в открытую и надеется, что это все станет основой для стандартизации в открытой экосистеме. 3. Работа с ИИ от первого лица — это сегодня гигантский CAPEX. Нельзя просто взять и стать завтра лидером в ИИ. Больше нельзя. 
-
Реклама
-
Quantum Quintum
Если вы хотите в AI/3D, то вот тут лежит датасет в 800000 аннотированных 3D объектов с той или иной Creative Commons лицензией: https://objaverse.allenai.org/, huggingface.co/dataset…bjaverse -
Quantum Quintum
Пару недель назад прошла почти незаметно новость о том, что в движке Chrome по умолчанию будет включена ранее экспериментальная поддержка WebGPU (это такой API, выставляющий частичный доступ к операциям на видеокарте в веб-контекст в браузере). Во-первых, это было важно для графики и особенно рендеринга 3D/VR-сцен. А во-вторых, позволяет оптимизировать математические операции широкого спектра на клиенте, например, для ИИ. Ну и вот: получите, распишитесь: WebGPT - реализация трансформерной модели ИИ на JavaScript. Автор пишет, что хотя это все еще "просто" proof-of-concept, он уже тянет модели с 500 млн параметров. На маковском процессоре M1 (2020) в Chrome она способна отрабатывать версию GPT2 (124 млн параметров) со скоростью 130 мс на токен. По оценкам разработчика, при дальнейшей оптимизации можно получить прирост скорости в 5 раз. Вероятно, некоторые сайты в будущем будут тяжелыми не только из-за картинок и видосиков, но и из-за подключаемых ИИ-моделек. https://github.com/0hq/WebGPT 
-
Quantum Quintum
Когда я работал в Microsoft (давно было по современным меркам) у нас был такой термин: coopetition = competition x cooperation. Ну нормальная такая ситуация, когда одной рукой ты борешься с конкурентом, а другой жмешь ему руку в борьбе против кого-то еще. :) Но у всего есть границы. Вот Илон сначала топил против OpenAI и бурного развития ИИ, потом вдруг решил, что надо делать своего конкурента X.AI (и закупил тонну видюх). Ну ладно, конкурируй себе на здоровье, почему нет? Но другой рукой, дорогой Маск, ты меняешь API и условия соглашений в твиттере, поднимаешь цены за доступ, и хочешь, чтобы майки продолжали с тобой сотрудничать в рекламном бизнесе. Тухлые помидоры тебе, дорогой Илон, а не интеграция в Microsoft Advertising. Наверное, так нужно интерпретировать решение Microsoft выпилить твиттер из своей платформы для управления рекламой. Маск в ответ пишет, что пойдет в суд, и мол майки нелегально юзали данные твиттера для обучения своих моделей. Жуем попкорн. 🍿 arstechnica.com/informa…platform -
Quantum Quintum
Тем временем, что бы там не говорили спекулянты про "метаверс всё", Metaverse Standards Forum, который 9 месяцев назад запустили под крылом Khronos Group, набрал обороты, поднял финансирование, привлек достаточно платных членов и спонсоров, чтобы выйти в самостоятельное плавание. На сегодня форум включает 4 утвержденных рабочих группы и 6 исследовательских. Working Groups: — 3D Asset Interoperability using USD and glTF — Digital Asset Management — Metaverse Standards Register — Real/Virtual World Integration Exploratory Groups: — 3D Web Interoperability — Digital Fashion Wearables for Avatars — Interoperable Characters/Avatars — Network Requirements and Capabilities — Privacy, Cybersecurity & Identity — Technical Interoperability and End-User Troubleshooting 
-
Quantum Quintum
Помните новости, мол Microsoft завязал с метаверсом и разогнал команду в ходе очередной волны сокращений? Тем временем Microsoft Mixed Reality & AI Labs in Zurich ищет исследователей: 1. Заниматься генеративным моделированием лица и полного тела, отслеживанием лица и тела, распознаванием движения тела. 2. Заниматься визуальной локализацией, SLAM, 3D-реконструкцией, определением объектов, семантической сегментацией, интерпретацией видео и др. Аватары и распознавание пространства. Ничего не поменялось. careers.microsoft.com/us/en/j…cientist careers.microsoft.com/us/en/j…y-and-AI 
-
Quantum Quintum
А прикиньте, как Марка сейчас разрывает на шаблоны. Вчера он практически один в поле на коне и в белом пальто строил настоящий метаверс, all-in-meta, и даже компанию переименовал. Миллиардные инвестиции сжигались за так, студии скупались пачками. Сегодня он понял, что пропустил тему Generative AI и переобулся на ходу в all-in-ai. Ну а как еще, если конкуренты могут пооткусывать и так худеющую дойную корову. А тут внезапно (нет, но наконец-то!) все больше все более конкретных слухов про грядущий шлем от Apple. Причем, если верить слухам, компания как-то предложит портировать приложения для iPad и тоже делает ставку на игры и социальные коммуникации. Удивляюсь, как на этом фоне Цукерберг умудряется ввязываться в новые скользкие для него темы и решается открыть Horizon Worlds для детишек от 13 лет. Ну как бы понятно, что нужно привлекать молодежь, фейсбук-то стареет. Но и сенаторы и прочие регуляторы уже негодуют и требуют от Марка держать свои ручки подальше от молодежи. 
-
Quantum Quintum
Помните страшилки, что в китайских умных чайниках чуть ли не микрофоны встроены? The Verge пишет, что современные умные пылесосы "научились" отдавать видео-поток со своих сенсоров распознавания препятствий. Соответственно, вы можете использовать своего помощника по хозяйству как передвижную камеру безопасности. Подозреваю, что при должной сноровке другие агенты могут использовать его для других целей: от абъюза до прослушки. Вот ездит он себе по полу, вы даже перестаете его замечать и задумываться, что он тут елозит в одном углу уже третью минуту. А он смотрит. Смотрит. И слушает. 👋 www.theverge.com/2023/4/…-feature 
-
Quantum Quintum
A16Z выпустили отчет State of Crypto Index 2023. Выбором правильного масштаба ребята успешно показывают, что все не так плохо на расстоянии, и продолжают верить в веб3. Но и экспоненциального роста тоже нет: линейный рост, а то и вовсе плато или даже стабильное падение без признаков восстановления. https://a16zcrypto.com/stateofcrypto/ -
Quantum Quintum
Похоже, астрологи объявили новый технологический год годом красного волнистого попугайчика, кричащего "пиастры, пиастры". Будет много неожиданных научных работ, связанных с потенциалом использования LLM. Например, вот три свежачка: 1. Ученые говорят, что буратино был тупой, тупой как дрова. Ну то есть все эти чатжипити (пока) такие же глупые, как и мясные братья. Неплохо размышляют в ситуациях, в "которые можно поверить", и путаются в показаниях, когда ситуация абстрактная и нереалистичная. https://arxiv.org/pdf/2207.07051.pdf 2. Ученые попытались применить LLM для задач автономного дизайна, планирования и выполнения научных экспериментов по синтезу разных веществ. Ну и выяснили, что такая штука с легкостью проектирует не только аспирин, но и наркотические и взрывные вещества. Пишут, что ничего хорошего в этом нет и надо принимать срочные меры. Еще один камешек в огород регулирования ИИ. arxiv.org/ftp/arx…5332.pdf 3. Ученые используют LLM для анализа всего корпуса научных работ в биомеде по данным абстрактов в PubMed (21 млн статей) и строят очень крутую визуализацию. www.biorxiv.org/content…536208v1 
-
Quantum Quintum
Метаверс, который мы все заслужили. -
Quantum Quintum
👆🏻Нет, правда. Это он так рассказал про ИИ-тулзы, которые делает запрещённая в РФ организация. Вот, зарелизили сегодня, говорит, код для анимации и датасет с примерно 180к аннотированных любительских рисунков, чтобы помочь исследователям и разработчикам продвигать современное искусство вперед. «Вот пример, который я сделал, анимировав рисунки моей дочери, чтобы они танцевали на нашем заднем дворе...» 🤪 
-
Quantum Quintum
О, а вот и Amazon начал расчехлять свои LLM-жернова. Отмечу, что в сервис Bedrock входят в том числе модели от конкурентов OpenAI: Anthropic и Stability AI. В целом, мы движемся к формированию 2-3 устойчивых "лагерей" со своими моделями. Microsoft Azure + OpenAI vs. AWS/GCloud + OpenSource. aws.amazon.com/blogs/m…i-on-aws 
-
Реклама
-
Quantum Quintum
Так, генеративный ИИ продолжает прирастать открытыми проектами. В гонку подключается Databricks. Новая ИИ-модель Dolly 2.0 идет по стопам ChatGPT и может также лечь в основу чатботов, суммации текстов и простых поисковых движков. Лицензия позволяет использовать модель в коммерческих целях. Но, как отмечает, TechCrunch, модель фактически лишена фактчекинга и фильтрации на абьюз, поэтому если модель будет харрасить ваших сотрудниц, сами виноваты. Глава Databricks, Ali Ghodsi, говорит, что это филантропия. Но тут же добавляет, что "мы хотим, чтобы компании могли создавать, тренировать и владеть основанными на ИИ чатботами и другими продуктивити приложениями, используя свои собственные датасеты". (Очевидно, компания ожидает, что разработчики будут делать это на базе платформы Databricks.) techcrunch.com/2023/04…n-source -
Quantum Quintum
Простите, не удержался: 
-
Quantum Quintum
Ахаха, Маск продолжает троллить OpenAI, который не Open AI, а сам строит AI-ферму в десяток тысяч GPU (!) для обучения своего Generative AI на огромной базе твиттера. 🍿 Engadget пишет, что, наверное, это чтобы улучшить поиск и рекламный бизнес. Вот глупцы! Маск завалит всех генеративными ботами, которые будут удерживать пользователей на платформе сладостными речами и увлекательными байками. www.engadget.com/elon-mu…382.html