Spark in me - Internet, data science, math, deep learning, philosophy. Страница 18
2440
@snakers4
Канал про интересные мне темы - интернет - статистика - наука о данных Без рекламы и буллшита.
-
Spark in me - Internet, data science, math, deep learning, philosophy
Год назад я выложил пост про rubert-tiny, миниатюрный энкодер предложений для русского языка. В комменты пришёл @snakers4 и справедливо придрался, что я не сравнил свою модель с очевидными бейзлайнами: FastText, USE, Laser. Спустя полгода я прокачал модель до rubert-tiny2 и сравнил ещё с кучей бейзлайнов. А сейчас у меня наконец дошли руки накатать про это пост: Рейтинг русскоязычных энкодеров предложений. TL;DR: если в вашем sentence encoder'е важно только качество на разнообразных задачах, юзайте USE, если очень важна скорость – FastText. Моя rubert-tiny2 – между ними; остальные модели проигрывают по качеству или скорости этим трём. -
Spark in me - Internet, data science, math, deep learning, philosophy
Рейтинг русскоязычных энкодеров предложений Полезные в реальной жизни энкодеры предложений на русском - птица редкая. Поэтому я просто без лишних слов возьму и репостну эту статью: - https://habr.com/ru/post/669674/ Мой развернутый комментарий - habr.com/ru/post…t/669674 Максимальный репост. #deep_learing -
Spark in me - Internet, data science, math, deep learning, philosophy
Digest 2022-05 📌 Code Massive memory overhead: Numbers in Python and how NumPy helps - pythonspeed.com/article…s-memory Как изменилась стандартная библиотека Python за последние годы - https://habr.com/ru/post/665020/ Faster, more memory-efficient Python JSON parsing with msgspec - pythonspeed.com/article…-parsing CPUs, cloud VMs, and noisy neighbors: the limits of parallelism - pythonspeed.com/article…to-speed Why I no longer recommend Julia - https://yuri.is/not-julia/ Мой опыт с резиновым мужиком. Github Copilot - https://habr.com/ru/post/666538/ A tableau of crimes and misfortunes: the ever-useful docker history- https://pythonspeed.com/articles/docker-history/ "What if it changes?" - chriskiehl.com/article…-changes Асинхронный python без головной боли - https://habr.com/ru/post/667630/ Протоколы в Python: утиная типизация по-новому - https://habr.com/ru/post/557898/ #digest -
Реклама
-
Spark in me - Internet, data science, math, deep learning, philosophy
Digest 2022-05 📌 Datasets StyleGAN-Human: A Data-Centric Odyssey of Human Generation - https://stylegan-human.github.io/ (data to be released) What is WebFace260M https://www.face-benchmark.org/index.html - Noisy 4M identities and 260M faces - High-quality training data with 42M images of 2M identities by using automatic cleaning - A test set with rich attributes and a time-constrained evaluation protocol #digest -
Spark in me - Internet, data science, math, deep learning, philosophy
Digest 2022-05 📌 Hardware Умельцы впервые полностью обошли алгоритм ограничения майнинга в GeForce RTX 3000 - https://habr.com/ru/news/t/664904/ WDC: To Split, or Not to Split? - thessdguy.com/wdc-to-…to-split SEMIS READ THROUGH FROM AMAZON’S EARNINGS - digitstodollars.com/2022/05…earnings WE ARE THINKING ABOUT AR/VR WRONG - digitstodollars.com/2022/05…vr-wrong NVIDIA А5500: реальная мощь или фейслифтинг? - https://habr.com/ru/company/hostkey/blog/667886/ Newer Russian CPUs review - https://www.youtube.com/watch?v=U_2jnhx_l-M #digest -
Spark in me - Internet, data science, math, deep learning, philosophy
Digest 2022-05 📌 ML Deep Learning in Neuroimaging - thegradient.pub/the-rol…ing-data Alpa: Automated Model-Parallel Deep Learning - ai.googleblog.com/2022/05…eep.html Rethinking Human-in-the-Loop for Artificial Augmented Intelligence - bair.berkeley.edu/blog/20…the-loop How Should you Protect your Machine Learning Models and IP? - petewarden.com/2022/05…s-and-ip Hiding a photo inside another photo - www.avestura.dev/blog/hi…er-photo Unlocking Zero-Resource Machine Translation to Support New Languages in Google Translate - ai.googleblog.com/2022/05…ate.html Baidu and Pony.ai become first robotaxi services to operate without safety drivers in Beijing - www.theverge.com/2022/4/…ng-china Tackling multiple tasks with a single visual language model - www.deepmind.com/blog/ta…ge-model Lessons From Deploying Deep Learning To Production (it's all about feedback loops) - thegradient.pub/lessons…oduction OPT: Open Pre-trained Transformer Language Models - http://arxiv.org/abs/2205.01068 - Talk about gatekeeping: access will be granted to academic researchers; those affiliated with organizations in government, civil society, and academia; and those in industry re- search laboratories - OPT-175B on 992 80GB A100 GPUs (1/7th the carbon footprint of GPT-3) WHO WILL END UP HOLDING THE SEMIS BAG? - digitstodollars.com/2022/05…emis-bag Image-Text Pre-training with Contrastive Captioners - ai.googleblog.com/2022/05…ith.html The Future of Interactive Media — Pipelining StyleGAN3 for Production - medium.com/codex/t…080db2f4 (De)ToxiGen: Leveraging large language models to build more robust hate speech detection tools - www.microsoft.com/en-us/r…on-tools Partnering people with large language models to find and fix bugs in NLP systems - www.microsoft.com/en-us/r…-systems StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion - https://starganv2-vc.github.io/ #digest -
Spark in me - Internet, data science, math, deep learning, philosophy
m.roem.ru/27-05-2…-tysyach Понятно зачем Ашманов эту страшилку рассказывает (угадаете зачем?), но непонятно зачем Роем ее перепечатывает. Но в целом думаю, что про уровень социальной ответственности на рынке детекции лиц там все верно написано. -
Spark in me - Internet, data science, math, deep learning, philosophy
CoCa: Contrastive Captioners are Image-Text Foundation Models Looks like Google is dead set on developing a production grade dual Image-Text encoder / captioning model: we unify single-encoder, dual-encoder and encoder-decoder paradigms, and train one image-text foundation model that subsumes the capabilities of all three approaches
The idea of using all of the available noisy data and approaches and creatively sharing the compute is a good pattern, unless you read this line:Pretraining CoCa takes about 5 days on 2,048 CloudTPUv4 chips
Research and compute siloing, of course, but the pattern itself is nice. #deep_learing -
Spark in me - Internet, data science, math, deep learning, philosophy
Stupid Hack for Single PyTorch Layer Quantization Kind of. Quantization and model packing with PyTorch and ONNX are in a weird state right now. On one hand, everything just works for most cases for PyTorch (there are competing and unstable new APIs, but that was to be expected). For ONNX, it also just works, but adding a single "if" to the model proved to be a challenge, forget about more complex logic. To expose or not to expose (and how to obfuscate) some logic into external wrapper utilities is a design decision (also out of scope for this short post). The problem is, the pre-packaged versions of PyTorch do not work properly with quantized models on older CPUs (1, 2 + literally dozens of similar questions in telegram chats). Typically people report having a "10 year old laptop" with some old Intel CPU or something similar. Of course, no one would tweak or rebuild anything. So, unless a TTS model for example is fully quantized (or somehow cleverly packaged into ONNX) it does not make sense to quantize some parts of the model or expose some logic outside of jit/ptpackages even if it reduces package size significantly. But there is a third solution. If there is a single large layer / module (e.g.nn.Embedding- the best candidate) there is a dirty hack: - Do not quantize the model; - Quantize the weight matrix manually; - Save the checkpoint withint8weights; - Storescaleandzero_pointseparately; - On loading, just convertint8intofloat32manually; (Basically the same approach as dynamic quantization). Your mileage may vary, but basic conversions is as follows:qmax = 127 qmin = -128 scale = (weight.max() - weight.min()) / (qmax - qmin) zero_point = qmin - weight.min() / scale
Obviously we tried going belowint8, but the dynamic range fornn.Embeddingwas somewhere around 2**6, so we decided not to. If this faces some further real world hurdles, I will provide an update. #deep_learing -
Spark in me - Internet, data science, math, deep learning, philosophy
Google NMT for Next 1000 Languages Google ... to create NMT for next 1000 languages w/o labels - ai.googleblog.com/2022/05…ate.html Unlike similar papers from FAIR that I saw, at least in principle, their approach is kind of simple and engineering driven. Most likely the key omitted detail is huge / infrastructure compute used. I wonder why such sudden interest to these particular regions ... India / Africa / Asia -
Spark in me - Internet, data science, math, deep learning, philosophy
Elbrus CPU Review Cannot tell if this video is true to life: - https://www.youtube.com/watch?v=U_2jnhx_l-M Anyone knowledgeable in CPU design, please help Tldr, still 2-3x slower than similarly sized 5nm CPUs on non-optimized C++ code, but it works, which is a miracle. On optimized code it can be 10x faster, but there is very little such code. Java and Python are obviously not supported. -
Spark in me - Internet, data science, math, deep learning, philosophy
Пора ли уже проводить денацификацию в России? Ложка дегтя в праздник. Недавно было два публичных фиаско у Яндекса. Первое - массовый слив данных доставки сотрудником Яндекса. Второе было вот это (печальная история Ильи из Яндекса). Но к чему это? Проблема-то системная. Разруха, как говорится, не в клозетах, а в умах. Мы опубликовали видео с Юрием Алексеевичем на нескольких ресурсах, где обычно заходят посты на тематику ML: - На Пикабу - В телеге (буквально постом выше) - На Хабре И что вы думаете, статья на Хабре сразу набрала +11, но Хабр ее забанил ... без объяснения причин. Неудивительно, я недавно спрашивал их саппорт и они отвечали мне следующими перлами: Хабр читают люди из разных уголков мира, у которых разные ассоциации и с Победой, и с СССР, и даже с Юрием Алексеевичем. Поэтому мы рекомендуем отказаться от провокации этих ассоциаций. ... Это не столько позиция, сколько обобщенные результаты наблюдений. Модераторам каждый день приходится устранять десятки нарушений, спровоцированных, казалось бы, безобидными ассоциациями.
Стоп ... но с Победой и Юрием другие ассоциации ведь всем понятно у кого? А Хабр работает по российским законам и получает 100% выручки в РФ. Но почему-то модераторы Хабра ... своими действиями поддерживают именно этих людей и намекают, что надо бы ассоциации забыть или перепрошить, или по крайней мере не напоминать. Понятно, что на УК РФ 354.1 это наверное не тянет (для этого нужна более активная "позиция"), но осадочек остается очень и очень неприятный. Причем, посмотрите видео, оно максимально "белое и пушистое", за все светлое и чистое, никого ни к чему не призывает (да, почему-то кому-то можно везде всех призывать, а нам типа всегда нельзя). Короче, товарищи. Если вам даже так, мерзко, вяло и на пол-шишечки, запрещают помнить и гордиться своей историей - задумывайтесь, анализируйте информацию и делайте выводы. И да, максимальный репост. Спасибо!Roem.ru В Яндексе сегодня горячие деньки 👮Илью Красильщика уволили из "Яндекса" после возбуждения уголовного дела в его отношении за распространение фейков о ВС РФ. Илья пишет, что увольнение — это было его решение. То ли "Яндекс" всё устраивало, то ли эйчары считают, что сотрудники должны продолжать жить в виртуальной реальности (в этом есть толика правды: для IT-компании политически озабоченный кодер лучше чем никакой кодер. Особенно если его политическая боль купирована): https://roem.ru/22-04-2022/289536/iz-yandeksa-uvolili-ilyu/ 💴 "Микрон" ищет денег на расширение производства: https://roem.ru/22-04-2022/289504/mikron-ishet-10/ 🥌 Трасты перестают спасать: без гражданства не России активами управлять не получится: https://roem.ru/22-04-2022/289527/inostrancam-perestayut-nravitsya/ Но это узкая тема, для небольшого количества читателей
-
Spark in me - Internet, data science, math, deep learning, philosophy
-
Spark in me - Internet, data science, math, deep learning, philosophy
Digest 2022-04 📌 Code Строковые алгоритмы на практике. Часть 1 — Алгоритм Кнута — Морриса — Пратта - https://habr.com/ru/post/658779/ Speeding up software with faster hardware: tradeoffs and alternatives - pythonspeed.com/article…hardware Python f-strings Are More Powerful Than You Might Think - https://martinheinz.dev/blog/70 Яндекс выложил в опенсорс YDB - https://habr.com/ru/company/yandex/blog/660271/ When Python can’t thread: a deep-dive into the GIL’s impact - https://pythonspeed.com/articles/python-gil/ Постраничный итератор в Python - https://antonz.ru/python-plus-one/ #digest -
Spark in me - Internet, data science, math, deep learning, philosophy
Digest 2022-04 📌 Hardware Replacing Tape with Flash - https://thessdguy.com/replacing-tape-with-flash/ HARD OR SOFT? - digitstodollars.com/2022/04…-or-soft HARD VS. SOFT – WITH MATH - digitstodollars.com/2022/04…ith-math Успехи импортозамещения Поднебесной: в КНР с нуля разработали игровые видеокарты и не только - habr.com/ru/comp…g/653807 Объединение компьютеров через VPN и личное облако на VPS сервере - https://pc-01.tech/vpn-oblako/ Is Google Spying on your Conversations? - petewarden.com/2022/04…rsations Иностранные хостеры с возможностью оплаты из России - https://habr.com/ru/post/657639/ WHAT IS GOING ON IN THE SEMIS SUPPLY CHAIN? - digitstodollars.com/2022/04…ly-chain WHO SHOULD ROLL THEIR OWN CHIP? - digitstodollars.com/2022/04…own-chip Перенос нейронной сети из PyTorch на Google Coral - habr.com/ru/comp…g/660505 MAKING ALL THE CHIPS - digitstodollars.com/2022/04…he-chips BENCHMARKING ARM IN THE DATA CENTER - digitstodollars.com/2022/04…a-center Почему GPU обманывают о своей нагрузке и как с этим бороться - https://habr.com/ru/company/yandex/blog/661989/ KEEPING UP WITH GOOGLE SEMICONDUCTOR - digitstodollars.com/2022/04…onductor #digest -
Реклама
-
Spark in me - Internet, data science, math, deep learning, philosophy
Digest 2022-04 📌 Blogs Horrible edge cases to consider when dealing with music - dustri.org/b/horri…sic.html Old bittorrent alternatives - https://habr.com/ru/post/318400/ Как врать с помощью статистики - https://habr.com/ru/post/660269/ Как мы кикшеринг взломали - https://habr.com/ru/post/660575/ TV, merchant media and the unbundling of advertising - www.ben-evans.com/benedic…ertising Goodbye, Google Analytics - Why and How You Should Leave The Platform - https://martinheinz.dev/blog/71 How we lost 54k GitHub stars - https://httpie.io/blog/stardust Ускорение производительности Python в 3.11 - https://habr.com/ru/post/662087/ The Problem With Experts - www.strangeloopcanon.com/p/the-p…-experts Netflix is not a tech company - www.ben-evans.com/benedic…/Netflix Content isn't king - www.ben-evans.com/benedic…snt-king #digest -
Spark in me - Internet, data science, math, deep learning, philosophy
Digest 2022-04 📌 ML Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance - ai.googleblog.com/2022/04…-to.html Detecting Signs of Disease from External Images of the Eye - ai.googleblog.com/2022/03…rom.html Reproducibility in Deep Learning and Smooth Activations - ai.googleblog.com/2022/04…and.html VDTTS: Visually-Driven Text-To-Speech - ai.googleblog.com/2022/04…ech.html Discovering the systematic errors made by machine learning models - https://ai.stanford.edu/blog/domino/ Understanding BLEU Scores in Customized Machine Translation - blog.taus.net/underst…nslation Locked-Image Tuning: Adding Language Understanding to Image Models - ai.googleblog.com/2022/04…age.html FormNet: Beyond Sequential Modeling for Form-Based Document Understanding - ai.googleblog.com/2022/04…for.html Compact word vectors with Bloom embeddings - https://explosion.ai/blog/bloom-embeddings Nobody wants your fancy algorithm - joemorrison.substack.com/p/nobod…lgorithm Why Dark and Light is Complicated in Photographs - aaronhertzmann.com/2022/03…one.html #digest -
Spark in me - Internet, data science, math, deep learning, philosophy
С днем труда! 1 мая - мир, труд, равенство, братство, свобода и счастье! День борьбы за права трудящихся и международной солидарности трудящихся. А еще 1 мая 1945 года на крыше здания рейхстага в городе Берлине было водружено Знамя Победы. PS Немного не успел, но хотел бы поделиться вот таким поздравлением, которое мы сделали. Пока посмотрим на реакцию людей, а на 9 мая уже наверное сделаем более масштабно.