Обложка канала

Spark in me - Internet, data science, math, deep learning, philosophy. Страница 15

2440 @snakers4
Открыть

Канал про интересные мне темы - интернет - статистика - наука о данных Без рекламы и буллшита.

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Ada Lovelace GPUs Shows How Desperate Nvidia Is - AMD RDNA 3 Cost Comparison semianalysis.substack.com/p/ada-l…esperate TLDR - good for AI, bad for gaming (price-wise): Due to high wafer costs, GPU die costs are up massively, but the die is only a portion of a GPU’s total bill of materials (BOM). The BOM of a GPU also includes memory, packaging, VRMs, cooling, and various other board-level costs. When moving from the previous generation 3090/3090ti (GA102) to the new 4090 (AD102), these board-level costs remain the same. As such, the MSRP increase from $1499 to $1599 is enough for Nvidia to maintain margins and deliver substantial gains in performance per dollar. The MSRP cannot be compared directly as the 3090ti GPU sells for $999, or even less, meaning performance per dollar in traditional rasterization rendering is flat. .... In short, AMD saves a lot on die costs by forgoing AI and ray tracing fixed function accelerators and moving to smaller dies with advanced packaging. The advanced packaging cost is up significantly with AMD’s RDNA 3 N31 and N32 GPUs, but the small fan-out RDL packages are still very cheap relative to wafer and yield costs. Ultimately, AMD’s increased packaging costs are dwarfed by the savings they get from disaggregating memory controllers/infinity cache, utilizing cheaper N6 instead of N5, and higher yields. Memory BOM utilizes the full memory bus width using single-sided 16Gb G6 or 16Gb G6x memory. Nvidia likely has a worse cost structure in traditional rasterization gaming performance for the first time in nearly a decade. Nvidia is desperate to maintain margins, as shown by AD104’s 4080 12GB pricing and branding. They still have far too many GPUs in the channel. If Nvidia wants to maintain its market position, marketing and game partnership teams will need to emphasize areas where their GPUs perform better, such as ray tracing and AI-based rendering. We expect AMD to gain a decent market share in laptops with the N33 GPU and superior mobile APUs. On the desktop, the market share shift will depend on how many wafers AMD allocates to gaming GPUs versus Genoa and Bergamo Zen 4 server CPUs. We expect AMD to rise to 30% to 35% market share on discrete desktop GPUs. AMD could raise its margins aggressively from historical levels to well above 50%. While Nvidia will still retain an advantage in ray tracing and AI-based rendering techniques, many gamers care more about the games they play today than where the industry is headed.
    Ada Lovelace GPUs Shows How Desperate Nvidia Is - AMD RDNA 3 Cost Comparison

    Nvidia's first cost disadvantage versus AMD in a decade

    SemiAnalysis

  • Spark in me - Internet, data science, math, deep learning, philosophy

    TensorStore for High-Performance, Scalable Array Storage In ML training engineering it gets complicated, when you deal with 100M+ datasets. Of course you can get away with basic tools like Redis / python's manager / PyTorch even has its version of Redis. Surprisingly, if you just implement a naïve disk database (i.e. hashed subfolders with a separately stored index), with sufficiently large dataset and small files you can run out of inodes. Of course, you can easily implement some custom simple chunking strategy (i.e. text data into a dataframe etc). I wonder if this tool can help with this part. - ai.googleblog.com/2022/09…nce.html If anyone has experience, please share.
    TensorStore for High-Performance, Scalable Array Storage

    Posted by Jeremy Maitin-Shepard and Laramie Leavitt, Software Engineers, Connectomics at Google Many exciting contemporary applications o...

    Google AI Blog

  • Spark in me - Internet, data science, math, deep learning, philosophy

    OpenAI решили распознавание речи! Разбираемся так ли это… - https://habr.com/ru/post/689572/ Спойлер, конечно же нет =)
    OpenAI решили распознавание речи! Разбираемся так ли это…

    Вчера OpenAI выпустили Whisper . По сути они просто опубликовали веса набора больших (и не очень) рекуррентных трансформеров для распознавания речи и статью (и самое главное, в статье ни слова про...

    Хабр

  • Реклама

  • Spark in me - Internet, data science, math, deep learning, philosophy

  • Spark in me - Internet, data science, math, deep learning, philosophy

    NVIDIA, ARM, and Intel try to make a good FP8 format - http://arxiv.org/abs/2209.05433 - INT8 never became the de facto standard, requires some fiddling, not all modules are supported, etc etc - Ofc this is not supported by frameworks and hardware - Paper does not mention any real throughput / latency metrics If this lands, this will be very cool. Though in my experience FP16 helps with batch size / memory, not speed.

  • Spark in me - Internet, data science, math, deep learning, philosophy

    My own brief opinion: - Key team (including Soumith Chintala) has left; - The PyTorch / overall ecosystem has matured; - PyTorch development has slowed and became less focused (I believe so) on getting real shit done; - Some cuts at Meta; - AMD presence is good for the public for obvious reasons; - AWS, GCP, Azure ... probably will help with improving performance ... or developing vendor locked functionality? - No Intel? - Are we to expect 100% opposite actions to the stated ones?

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Announcing the PyTorch Foundation Meta has moved PyTorch to a new, independent PyTorch Foundation, under the Linux Foundation, whose governing board consists of representatives from a broad range of tech companies. ... The project will join the Linux Foundation with a diverse governing board composed of representatives from AMD, Amazon Web Services, Google Cloud, Meta, Microsoft Azure, and Nvidia, with the intention to expand over time. ... The transition will not entail any changes to PyTorch’s code and core project, including its separate technical governance structure. https://ai.facebook.com/blog/pytorch-foundation/
    Announcing the PyTorch Foundation: A new era for the cutting-edge AI framework

    PyTorch is moving to a new, independent PyTorch Foundation. The project will join the Linux Foundation with a diverse governing board composed of representatives from AMD, Amazon Web Services, Google Cloud, Meta, Microsoft Azure, and Nvidia, with the intention to expand over time.

    Facebook

  • Spark in me - Internet, data science, math, deep learning, philosophy

    A real failed case of applying ML to a real life scenario A rare specimen. Contrary to the ordinary mantra of just "adding more layers" some info from the real project: - https://andlukyane.com//blog/medical-chat-bot Takeaways: - Too complex - Data too fuzzy labeling too complex - Pre-trained models useless for real life cases - Real life annotation is full of pain and gotchas - They also used fast-text like tokenization - Simple models - Wild, deep, complex in-domain data engineering rules PS - So sad to see trillions of rubles spent on chasing trendy topics like image generation and public datasets ... are nowhere - I wonder what % of trendy projects reported by AI firms are like this - Lack of leadership and care in corporate world I appreciate the author's courage in coming out with this ... after he has moved to another country, lol.
    Medical-chat bot: the history of our attempt to do it – Andrey Lukyanenko

    A story how the project of developing a medical-chat bot was closed after a lot of efforts spent on it

    Andlukyane

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Бот стал лучше На момент написания этой статьи ботом воспользовалось более 200,000 пользователей, сгенерировав более 4 миллионов аудио и видео. Мы вообще думали, что хайп быстро спадет и ботом люди пользоваться перестанут. Не перестали. Нас также поддержало много создателей контента по тематике Warcraft 3 и в принципе количество народного творчества нас приятно порадовало. По этой причине мы создали боту отдельный канал в телеграме, чат и страничку на Boosty и впилили кое-какой функционал и сделал ряд улучшений. По улучшениям: 0. Мы сильно ускорили бота и пофиксили баги, которые воспринимались пользователями как зависание; 1. Боту сделали инлайн режим. Идем в самого бота как обычно, проходим капчу, потом уже можно пользоваться в чате просто вводя @@silero_voice_bot (подробнее в /help или /inline); 2. Мы вернули функцию генерации видосов. В начале сильно тормозила именно заливка видосов в телегу, но мы решили это, просто добавив мощности серверу, где крутится бот; 3. У бота убрали характерное "заикание", которое возникало на запятых; 4. Боту дали возможность генерации диалогов. Подробнее в /help и /speak, а тут просто пример команды: 
    /speak arthas Весь город должен быть уничтожен!

/speak uther Как ты мог даже подумать об этом?
/speak uther Должен быть какой-то другой путь!

/speak arthas Проклятье, Утер!
/speak arthas Как будущий король я приказываю тебе очистить этот город от солдат тьмы!
    Silero TTS

    🎙 Silero - наш синтез в высоком качестве и не только. 📢 @silero_voice_news 💬 @silero_voice_chat 🚀 boosty.to/silero

    Telegram

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Пара слов про Github

    Увидел статью на Хабре. TLDR - организацию (я так понимаю, что она ведет свою деятельность в РФ) русскоязычного автора забанили, потому что там где-то была ссылка на Сколково (в любви к Сколково … я поддерживаю эту позицию, лол), но разбанили, потому что он гражданин США. Это одна из причин, например, почему я не стал пользоваться никакими корпоративными планами от Github и Docker (ну и для наших юзкейсов, там 95% фич бесполезно и ценники просто нереально конские). Вообще в сообществе Github есть такой пост…

    Telegraph

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Caddy configs are good now 2 years ago I struggled with Traefic and Caddy v1. Caddy has a huge facelift in its docs. Looks like this page is 100% intuitive now: - caddyserver.com/docs/ca…concepts Awesome.
    Caddyfile Concepts - Caddy Documentation

    Caddy is a powerful, enterprise-ready, open source web server with automatic HTTPS written in Go

    Caddyserver

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Если у кого-то еще есть счета в ТКС, то краткая выжимка ко вчерашней истории. Факты / публичная информация: - Это бунт именно представителей, то есть курьеров, кто возит карты (смотрим на даты постов); - Началось все уже 2-3 года назад, текущие события были катализатором, якобы стали реально просто не платить гибкую часть по ГПХ; - Бунты разработчиков тоже были (Уткин, слив инфы про нетитульные нации, разгон одного отдела, еще какой-то не вспомню); Мои домыслы: После каждой такой новости я выводил % своих накоплений из ТКС. Мое текущее мнение - все корреляции с продажей и известными событиями - это лишь катализатор. Позиция банка по "разрешили вывод больших сумм, потом запретили" и контент журнала, тоже отчасти намекают. Ссылки: - https://www.kommersant.ru/doc/5547249 - vc.ru/claim/4…rudnikam - https://www.banki.ru/news/lenta/?id=10971708 - На прошлые срачи ищите ссылки сами
    Работники Тинькофф-банка пожаловались на невыплаты

    Подробнее на сайте

    Коммерсантъ

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Работники Тинькофф-банка пожаловались на невыплаты Молния. Интересно. Если это правда, то: - Даже в Тиньке была не полностью белая зп; - Средняя зарплата в Тиньке ... от 75 до 125к рублей?; Интересно! https://www.kommersant.ru/doc/5547249
    Работники Тинькофф-банка пожаловались на невыплаты

    Подробнее на сайте

    Коммерсантъ

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Ads: Apple's next billion dollar empire

    Sign up for Nebula & Curiositystream: https://curiositystream.com/techaltar. Using this link gets you access to both. Sponsored by CuriosityStream. Watch the bonus Nebula Plus video here: https://nebula.app/videos/techaltar-why-google-facebook-secretly-love-the-ios-privacy-changes ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ ►►► This video ◄◄◄ Apple announced their iOS privacy changes last year, stopping apps from tracking users across apps. At the same time, they also increased their ad revenue 10-fold and are planning to roll out ads to Maps, TV, Books, Podcasts & more to build out their own ad empire. The Story Behind - ep. 90 This video on Nebula: https://nebula.app/videos/techaltar-ads-apples-next-billion-dollar-empire ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ ►►► TechAltar links ◄◄◄ Merch: http://enthusiast.store Social media: https://twitter.com/TechAltar https://instagram.com/TechAltar https://facebook.com/TechAltar https://discord.gg/npKQebe If you want to support TechAltar directly: https://flattr.com/@techaltar ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ ►►► Attributions & Sources ◄◄◄ 1: Toni Sacconaghi, Bernstein, via Barrons: https://www.barrons.com/articles/apples-advertising-business-is-bigger-than-you-think-it-could-get-bigger-still-51628004419 2: Mark Gurman, Bloomberg: https://www.bloomberg.com/news/newsletters/2022-08-14/apple-aapl-set-to-expand-advertising-bringing-ads-to-maps-tv-and-books-apps-l6tdqqmg 3: Neil Shah, Counterpoint: https://www.counterpointresearch.com/advertising-walled-gardens/ Music by Edemski: https://soundcloud.com/edemski

    YouTube

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Возвращаем видосы, снимаем часть лимитов Мне в личку писало очень много людей в дни максимального хайпа бота. Топ-3 темы вопросов: - Хочу больше голосов; - Видосы не работают; - Какие-то баги или детали, зависание очереди; Я понаблюдал за динамикой использования бота и мы проанализировали факторы, которые с точки зрения публики вызывали "зависание" бота. Фактора было два: ошибки в коде и "забивание" очереди видосами. Первое мы уже давно пофиксили, второе - решается выделением сильно более "жирного" сервера под самого бота. Изначально мы думали, что начнем с аренды выделенной GPU под бота, но на текущем трафике наверное это преждевременно. Поэтому, чтобы порадовать, вас, я немного подкрутил цели и мы сделали следующее: - Вернули видосы; - Разместили бота на относительно большом сервере с 8 потоками, для генерации видосов; - Это должно вызывать рост скорости обработки и пропускной способности; Скоро мы запилим еще парочку фич для вирусности и использования бота для приколов. А пока никому не говорите про это, во всякие соцсети мы опять пойдем только когда запилим эти фичи. По голосам - мы набрали шорт-лист идей, но все-таки ждем более активного отклика комьюнити. PS Если вы пришли к нам на каналы за ботом, бот теперь живет тут: Бот @silero_voice_bot Новости бота @silero_voice_news Чат @silero_voice_chat Поддержать boosty.to/silero
    Silero - Нужно больше золота!

    Делаем прикольные штуки, связанные с голосовыми технологиями, например нашего бота для синтеза речи .

    Boosty.to

  • Реклама

  • Spark in me - Internet, data science, math, deep learning, philosophy

    RIP Regard DNS was spotted in anti-consumer practices Oh well ...

    image_2022-08-26_18-45-27.png

    image/png

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Сравнение магазинов железа | 2022 год

    https://fas.st/0lJcF - Big Geek. Промо код: "Admitad": 100₽ от 3 000 до 9 999; 200 от 10 000 до 29 999; 300 от 30 000 до 49 999; 500 от 50 000. Действует до 15.09.2022 Промо код: "PKBIP": Скидка 3000 на все модели iPhone 13 Pro Max Скидка 2000 на все модели iPhone 13 Pro Скидка 1000 на все модели iPhone 13 Скидка 500 на все модели iPhone 12/Pro/Pro Max Скидка 300 на SE 2022. Действует до 06.09.2022 https://fas.st/KsN164 - Магазин "Топ Компьютер" https://fas.st/Sbzoe - Магазин KNS https://docs.google.com/spreadsheets/d/1im9f2HT1ufiZTC_jxVf43hYy5Ms8I37pE1kQIKCk9zM/edit?usp=sharing - Исходные данные для сравнения (таблица, ссылки на товары, архив со скриншотами). 0:00 Вступление 0:32 Про доступность продукции в магазинах 0:48 Правила сравнения 1:16 Участники сравнения 1:31 Сборка для сравнения цен 2:20 Параллельный импорт в магазинах 3:16 Big Geek 3:46 Железо в магазинах и замены в сравнениях 6:15 Присваиваем баллы 8:21 Итоговые баллы 9:33 Итоги https://boosty.to/pc-01 - бусти https://pc-01.tech - сайт канала. Свежие новости о железе, обзоры и тесты комплектующих. https://vk.com/pc_0_1 - группа "Этот компьютер" - свежие и актуальные новости IT мира

    YouTube

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Озвучиваем что угодно оригинальными голосами любимых героев Warcraft Все внимательные подписчики наверное уже увидели, основную фишку бота. Думаю самый адекватный способ поделиться этой фишкой - это сделать пост на Пикабу pikabu.ru/story/o…_9368707
    Озвучиваем что угодно оригинальными голосами любимых героев Warcraft

    Автор: snakers4

    Пикабу