Обложка канала

Spark in me - Internet, data science, math, deep learning, philosophy. Страница 17

2440 @snakers4
Открыть

Канал про интересные мне темы - интернет - статистика - наука о данных Без рекламы и буллшита.

  • Spark in me - Internet, data science, math, deep learning, philosophy

    PyTorch 1.12 github.com/pytorch…/v1.12.0 Looks like lots and lots low level improvements. Not sure about their highlights. They used to weave release notes around experimental => beta => stable features and write corresponding blog posts, now it is a bit more messy. ------------------------- Functional Module API to functionally apply module computation with a given set of parameters Complex32 and Complex Convolutions in PyTorch DataPipes from TorchData fully backward compatible with DataLoader Functorch with improved coverage for APIs nvFuser a deep learning compiler for PyTorch Changes to float32 matrix multiplication precision on Ampere and later CUDA hardware TorchArrow, a new beta library for machine learning preprocessing over batch data
    Release PyTorch 1.12: TorchArrow, Functional API for Modules and nvFuser, are now available · pytorch/pytorch

    PyTorch 1.12 Release Notes Highlights Backwards Incompatible Change New Features Improvements Performance Documentation Highlights We are excited to announce the release of PyTorch 1.12! This rel...

    GitHub

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Начало эрозии ценностей Телеграма?

    Хотел бы прокомментировать высказывание Павла Дурова, статью на которую он ссылается, своеобразным триггером к которым стала моя статья на Хабре. Если совсем коротко, то позиция Павла в духе "давайте молиться на Google" - откровенно разочаровывает, но подписку я уже купил.

    Telegraph

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Мама я в телевизоре, правда через проксю =) Но если серьезно, то эрозия телеграмма началась не с рекламы, и это довольно смешно и иронично (я конечно понимаю, что Дуров всегда за все хорошее и против всего плохого, но до этого мне особо было не до чего докопаться) Не уверен, на что ссылается Дуров в первом предложении (и явно это сделано для пущего эффекта), но чуть подробнее распишу, почему я считаю это опять же, скорее популизмом

  • Реклама

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Telegram Premium отправляет голосовые сообщения клиентов в сервисы Google

    Говорят, царь — ненастоящий! Буду краток. На днях Телеграм выкатил премиум-подписку и Дуров высказался за все хорошее, мол цитата: "This will herald a new, user-centric era in the history of social...

    Хабр

  • Spark in me - Internet, data science, math, deep learning, philosophy

    image_2022-06-22_10-08-57.png

    image/png

  • Spark in me - Internet, data science, math, deep learning, philosophy

    The biggest value here is that if they will move in this direction and develop the service properly. Not the cringe advertising / misinformation hell like FB or Twitter or ad dystopia. Not the cringe crypto bro lies. Just you get what you pay for. Also, if we take the 3% desired customer penetration from Durov's post ... we will get an estimated monthly burn of around USD100m? Seems kind of high, or is my calculation wrong? Maybe it is their total cost up-to-date? If their monthly burn is USD100m, then they are very INEFFICIENT. If USD100m is their TOTAL cost up-to-date, they are very EFFICIENT.

    image_2022-06-22_09-59-55.png

    image/png

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Telegram Voice-to-Text Tested the Telegram STT Premium feature and compared it with our @silero_audio_bot, it is surprisingly decent. I have no idea which engine they use, but: - It seems to have at least 2 languages (I tried to speak Russian, English, German and Spanish, it picked up only Russian and English); - The pipeline seems to be - language classifier + STT; - It works only with voice recordings, not audio files in general. I.e. it avoids the huge pain in the ass we had to endure to parse audio and check MIME tags vs extensions vs actual codecs used; - It is 2-3x slower than our bot on average (a 30s file was processing by us in 4-5s, theirs took 10-12s), but it also supports some form of hash based caching (the same message is processed instantly); - It boasts some recasing and repunctuation model, but on anecdotal tests it performed worse, probably due to lack of polish in their pipeline; - As for quality - it is subjective, I ran some anecdotal tests on funny / difficult / purposefully misleading or made up phrases, and it is decent, though I believe that our models are still better; - Yeah ... and the elephant in the room - it should be manually triggered on each message and it is hidden behind a paywall for premium users;

  • Spark in me - Internet, data science, math, deep learning, philosophy

    DALL-E Mini Explained with Demo Tech report: - Financed by Google Cloud and HF, essentially an advertising campaign for JAX, 8 person team - 27x smaller than the original, trained on a single TPU v3-8 for only 3 days + ~3 weeks for experiments, 400M params - 30m image-text pairs, only 2m used to fine-tune the VQGAN encoder - Could use preemptible TPU instances - Pre-trained BART Encoder - Pre-trained VQGAN encoder - Pre-trained CLIP is used to select the best generated images - (so the actual cost probably is actually ~1-2 orders of magnitude higher) - (compare with 20k GPU days stipulated by Sber) - The report is expertly written and easy to read
    DALL-E Mini Explained with Demo

    Generate images from a text prompt in this interactive report: DALL-E Mini Explained with Demo, a reproduction of OpenAI DALL·E.

    W&B

  • Spark in me - Internet, data science, math, deep learning, philosophy

    DALL-E Mini Did not read the technical report yet, but I am kind of impressed. Takes dozens of attempts to generate something decent, takes only a couple of minutes (w a GPU?), compared to 30m on GPU for a Sber's DALL-E. Cannot really say that it is much better than GANS in 2018-2019, but this is in the wild and it clearly memorized the famous photos.

    image_2022-06-21_12-26-10.png

    image/png

  • Spark in me - Internet, data science, math, deep learning, philosophy

  • Spark in me - Internet, data science, math, deep learning, philosophy

    The Cat is on the Mat Interesting approach to be combined with Ngram embeddings when span boundaries are fuzzy. I guess can be used downstream with existing sentence parsers. Such models can be rough and dirty, cheap to train and robust. - https://explosion.ai/blog/spancat
    Spancat: a new approach for span labeling · Explosion

    The SpanCategorizer is a spaCy component that answers the NLP community's need to have structured annotation for a wide variety of labeled spans, including long phrases, non-named entities, or overlapping annotations. In this blog post, we're excited to talk more about spancat and showcase new features to help with your span labeling needs!

    Explosion

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Разруха не в клозетах, или чтобы стать крылатым нужно стремление к полету Репостил тут недавно вот статью про полезный русский BERT. И ... будучи выше на голову, чем прошлая такая же статья автора она набрала на Хабре +20. Хм. Недавно Хабр объявил итоги своего очередного конкурса статей ... и в номинации ML они отдали приз статье-реферату. Это распрекрасный и полезный реферат, но если бы отдали свой "приз" статье-переводу на тему очередного хайпа, было бы еще показательнее. Не то чтобы раньше у нас или у меня были прямо идеальные статьи-кандидаты (именно про ML они выбирали годные, но неконструктивные статьи и раньше), но в 2021 году нас была статья-единорог, набравшая +205 с 45к просмотрами. И естественно там есть еще парочка конструктивных статей в этой категории (где люди сами что-то сделали своими руками) ... но по состоянию на сейчас Хабр естественно уже удалил эту страницу (https://habr.com/ru/technotext/ml/). И тут мы приходим к основной идее этого поста. Показывать людям, что они могут - опасно. Надо гасить весь конструктивизм и поддерживать пустые вскрики. Нужно топить за карго-культ и максимально кричащие и бессмысленные заголовки. Вам это ничего и никого не напоминает?
    Spark in me

    Рейтинг русскоязычных энкодеров предложений Полезные в реальной жизни энкодеры предложений на русском - птица редкая. Поэтому я просто без лишних слов возьму и репостну эту статью: - https://habr.com/ru/post/669674/ Мой развернутый комментарий - https://habr.com/ru/post/669674/#comment_24412620 Максимальный репост. #deep_learing

    Telegram

  • Spark in me - Internet, data science, math, deep learning, philosophy

    A More Realistic Piece on AV AV companies, in general line with typical western marketing, have employed many dirty tricks trying to justify their bloated forecasts (e.g. purchasing scripted non-critical coverage from influencers). This is the first down to earth AV experience I have seen shared: rodneybrooks.com/no-fron…services Tldr: - Works in a limited area in SF, avoids busy zones, ~50% of its area - Works only during low traffic hours (10:30pm to 5:00am) - The rides must originate and terminate in SF - Avoids bad weather - "quite a bit of heavy braking, and at one point a car behind us also had to brake heavily to avoid hitting us" Please read in full.

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Sunsetting Atom | The GitHub Blog

    We are archiving Atom and all projects under the Atom organization for an official sunset on December 15, 2022.

    The GitHub Blog

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Я долго ходил вокруг jax-а, что-то про него читал и смотрел, но наконец-то более-менее добрался и полноценно потыкал. Мне понравилось, но я подумал, что в продакшн его запускать рановато и написал про это. #Миша #тулинг
    jax: почему это круто и почему он вам (скорее всего) не нужен

    Как читать этот пост? Если вы уже знаете что такое jax и haiku/flax/optax - можно сразу прыгать до секции "почему плохо для продакшена". Если интересно про опыт использования библиотек, то в секцию "про опыт использования". Если хочется TL;DR, то jax быстрый, на нём приятно писать, у него круто хэндлится рандом, но в нём легко набаговать, если вы не сталкивались с jit-компиляцией и функциональными языками. Если дать jax джуну, то он сможет найти миллион неожиданных способов выстрелить себе в ногу. Документация…

    Telegraph

  • Реклама

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Теперь хоть кто-то пояснил зачем нужен jax

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Audio Samples 📎 English - soundcloud.com/alexand…-english 📎 Indic English - soundcloud.com/alexand…-english 📎 Spanish - soundcloud.com/alexand…-spanish 📎 Kalmyk - soundcloud.com/alexand…3-kalmyk 📎 German - soundcloud.com/alexand…3-german 📎 Russian - soundcloud.com/alexand…-russian 📎 Tatar - soundcloud.com/alexand…v3-tatar 📎 Uzbek - soundcloud.com/alexand…v3-uzbek 📎 Ukrainian - soundcloud.com/alexand…krainian 📎 French - soundcloud.com/alexand…3-french 📎 Indic languages - soundcloud.com/alexand…v3-indic
    Silero TTS v3 English

    Listen to Silero TTS v3 English by Alexander Veysov #np on #SoundCloud

    SoundCloud

  • Spark in me - Internet, data science, math, deep learning, philosophy

    Silero TTS Full V3 Release 📌 Improvements: - Huge release - 20 languages, 173 voices; - 1 new high quality Russian voice (eugene); - The CIS languages: Kalmyk, Russian, Tatar, Uzbek и Ukrainian; - Romance and Germanic languages: English, Indic English, Spanish, German, French; - 10 Indic languages; - Russian automated stress model vastly improved (please see the article for more details); - All models inherit all of the previous SSML perks; 📎 Links: - Project page - github.com/snakers…o-models - SSML wiki - github.com/snakers…iki/SSML - Detailed Russian post https://habr.com/ru/post/669910/ Please like, share, repost
    GitHub - snakers4/silero-models: Silero Models: pre-trained speech-to-text, text-to-speech and text-enhancement models made embarrassingly simple

    Silero Models: pre-trained speech-to-text, text-to-speech and text-enhancement models made embarrassingly simple - GitHub - snakers4/silero-models: Silero Models: pre-trained speech-to-text, text-t...

    GitHub