Spark in me - Internet, data science, math, deep learning, philosophy. Страница 8
2440
@snakers4
Канал про интересные мне темы - интернет - статистика - наука о данных Без рекламы и буллшита.
-
Spark in me - Internet, data science, math, deep learning, philosophy
2022 Transparency Report - github.blog/2023-02…y-report 
-
Spark in me - Internet, data science, math, deep learning, philosophy
Обыкновенный Практикум но теперь и с поддержкой МинЦифры? У МинЦифры есть программа обучения школьников программированию. По официальной информации - порядка 130к школьников 8-11 классов туда записались (или записались 200к, а начали учиться 130к, не суть, много в общем). У Яндекса есть Яндекс Практикум. У Яндекс Практикума есть сотрудники. У сотрудников есть интересные достижения. Раз и два и три. Наверное вы уже догадались, кто является там одним из провайдеров услуг? Однако, интересный у МинЦифры получается код для нашего будущего! -
Spark in me - Internet, data science, math, deep learning, philosophy
Инструменты модерации в телеграме Попробовал с десяток разных. В итоге ничего лучше @MissRose_bot даже на километр нет. Был нормальный антимат бот, но умер. Да и встроенные возможности догоняют понемногу, в принципе их уже на 95% хватает, особенно с последним релизом. -
Реклама
-
Spark in me - Internet, data science, math, deep learning, philosophy
😱 How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0 - www.semianalysis.com/p/nvidi…npytorch TLDR - Nvidia's dominant position in this field, mainly due to its software moat, is being disrupted; - PyTorch won the hearts of researchers and small / large firms; - Nvidia’s FLOPS have increased multiple orders of magnitude by leveraging Moore’s Law, but primarily architectural changes such as the tensor core and lower precision floating point formats. In contrast, memory has not followed the same path; - The next step down in the memory hierarchy is tightly coupled off-chip memory, DRAM. DRAM followed the path of Moore’s Law for many decades. Since ~2012 though, the cost of DRAM has barely improved; - Comparing Nvidia’s 2016 P100 GPU to their 2022 H100 GPU that is just starting to ship, there is a 5x increase in memory capacity (16GB -> 80GB) but a 46x increase in FP16 performance (21.2 TFLOPS -> 989.5 TFLOPS). - From the current generation A100 to the next generation H100, the FLOPS grow by more than 6X, but memory bandwidth only grows by 1.65x; - One of the principal optimization methods for a model executed in Eager mode is called operator fusion, this optimization often involves writing custom CUDA kernels; - The growth in operators and position as the default has helped Nvidia as each operator was quickly optimized for their architecture but not for any other hardware. If an AI hardware startup wanted to fully implement PyTorch, that meant supporting the growing list of 2,000 operators natively with high performance; - PyTorch 2.0 brings many changes, but the primary difference is that it adds a compiled solution that supports a graph execution model; - OpenAI’s Triton is very disruptive angle to Nvidia’s closed-source software moat for machine learning. Triton takes in Python directly or feeds through the PyTorch Inductor stack. The latter will be the most common use case. Triton then converts the input to an LLVM intermediate representation and then generates code. In the case of Nvidia GPUs, it directly generates PTX code, skipping Nvidia’s closed-source CUDA libraries, such as cuBLAS, in favor of open-source libraries, such as cutlass. The Triton kernels themselves are quite legible to the typical ML researcher which is huge for usability; -
Spark in me - Internet, data science, math, deep learning, philosophy
An interesting perspective here. What if LLMs are viewed though the lens of Microsoft willing to take some part of the search market? Trends in the dollar training cost of machine learning systems - epochai.org/blog/tr…-systems The Inference Cost Of Search Disruption – Large Language Model Cost Analysis - www.semianalysis.com/p/the-i…sruption The AI Brick Wall – A Practical Limit For Scaling Dense Transformer Models, and How GPT 4 Will Break Past It - www.semianalysis.com/p/the-a…al-limit Training Compute-Optimal Large Language Models - https://arxiv.org/pdf/2203.15556.pdf -
Spark in me - Internet, data science, math, deep learning, philosophy
О человеке судят по его друзьям Интересное подтверждение тезиса про "о человеке судят по его друзьям". Несколько лет подряд я подавал наши публичные статьи про синтез на конкурсы Хабра. И ... самая годная статья с 200+ рейтинга ... по словам админов Хабра просто случайно оттуда пропала! Ну ... это был не бан. Она просто случайно пропала. Верьте нам! Мне даже не надо преувеличивать. При этом в тот раз, когда она пропала, лучшая статья в этой категории конечно была про шёпот Алисы, ага. Сейчас Хабр вроде разродился экспертами из комьюнити на каждую категорию, но ... первый в списке там это человек, публично призывавший донатить Медузе, а второй - пишущий длинные опусы про смерть нашей науки и почему студенты в лабах не должны получать нормально денег. Много, много чудных совпадений! Хотя что я. Хабр теперь это иностранное СМИ с редакцией в несколько десятков человек и плавно снижающимися показателями. Странно было бы, если бы они гребли в обратную сторону. Вопрос только в том, насколько далеко они зайдут. -
Spark in me - Internet, data science, math, deep learning, philosophy
How to spot propaganda by DarkMatter2525 https://www.youtube.com/watch?v=ewXqB7g7t1A -
Spark in me - Internet, data science, math, deep learning, philosophy
If you have not lived in Russia, in some cities bureaucrats, cashiers, bank clerks are not necessary for 90% of mundane operations (which gives people more time to attend to the rest 10% of operations). We simply have best online banking and online government services. In some supermarkets there are even self-checkout machines ... and they just work without sophisticated tracking and 10x cameras and tags. It just works on honour system and just regular surveillance. Especially I was shocked when I found them in a lame-ass supermarket in my home town. Of course there were people to monitor the process and help, but it was 1-2 people per 10 self-checkout machines. Spark in me Пропаганда не соответствует реальности, причем теперь уже обе пропаганды 🙈 Наблюдаю странную вещь. Если смотреть самую базовую макро-статистику (ВВП по ППС на душу), то у нас с 2014 года всё хуже чем по больнице в мире ⡂ ⢤ ⠑⡈⡐⠉⠨⠤ ⢢⠦ ⡊⢤⠸⠣⠇⡰ ⡰⠚⡊⠡⠙ ⢑⠱⢡⣀⠦⢒⡢ ⢡⠒⠣⠲⠣ ⠃ ⢅⡘⠊⢰ ⢑⠖⠖⠜⢐⣈ ⠎⡌⡂. 🤷♂️ Помню в "тучные" годы, когда я еще был студентом я из года в год проклинал отсутствие строительства метро, ужасные новые вагоны и адекватные тому времени, но уже видавшие виды советские вагоны. Электрички тогда были ... просто ужасными. 📉 Приезжая из Москвы домой из года в года, я не видел прогресса. То же отсутствие местами светофоров, освещения и асфальта (наш район с краю города). Отсутствие вообще какой-либо новой инфраструктуры, банальных кафешек и хотя бы новых магазинов с продуктами (или банально реинвестиций в старые). В центре города даже в "хипстерском" квартале, всё явно держалось на инвестициях начала нулевых, паре местных сетей (я годами думал кстати что Travellers это такое же говно как Шоколадница, но ошибался)…
-
Spark in me - Internet, data science, math, deep learning, philosophy
AI Psychosis - blog.piekniewski.info/2023/02…sychosis Software engineers. GPT can write code. This is somewhat exciting and in a sweet salty fast food news fashion the media and the tech bros interpreted that as the end of software engineering profession. So I asked it two write some code. And in all but the very rudimentary functions it was littered with bugs and in more than half of the cases wasn't even in the right vicinity. There might be some uses, e.g. GPT seems to be pretty decent at generating docstrings, but as with all these examples above "replacing software engineers" is a pipe dream hyperbole. It's worth recalling here that when four color theorem was solved in the late 70's using a computer, people were in similar fashion fearing that mathematicians are about to become irrelevant, and now, some 50 years later we can easily see how that ended.
I am too so fed up with this shit. Though merging 2 images for an article art is a godsend. -
Spark in me - Internet, data science, math, deep learning, philosophy
Digest 2023-01 https://telegra.ph/Digest-2023-01-02-01 #digest -
Spark in me - Internet, data science, math, deep learning, philosophy
Имейте в виду 2. Предоставление или сбор средств либо оказание финансовых услуг, заведомо предназначенных для обеспечения деятельности иностранной или международной неправительственной организации, в отношении которой принято решение о признании нежелательной на территории Российской Федерации ее деятельности в соответствии с законодательством Российской Федерации, - наказывается обязательными работами на срок до трехсот шестидесяти часов, либо принудительными работами на срок до четырех лет с ограничением свободы на срок до двух лет или без такового, либо лишением свободы на срок от одного года до пяти лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до десяти лет или без такового. Дискас? 
-
Spark in me - Internet, data science, math, deep learning, philosophy
Ох, я помню, как-то определенные МЛ каналы призывали донатить Медузе как некоторой "проксе". Закон обратной силы конечно не имеет, но кажется рекурсия начала закрываться понемногу. -
Spark in me - Internet, data science, math, deep learning, philosophy
Алиса - рэп на злобу дня -
Spark in me - Internet, data science, math, deep learning, philosophy
🙈 Тут конечно напрашивается некоторая теория заговора: Смотрим на "дату" файлов в сливе. Смотрим есть ли там сервисы "израильского" "Яндекса". Достаточно ли правдоподобно и кто кого слил - я естественно не знаю. -
Spark in me - Internet, data science, math, deep learning, philosophy
Если вы хотели попросить Алису замолчать, но не знали как. То на этих запросах пользователей она точно обучена :) @ciso_on_fire -
Реклама
-
Spark in me - Internet, data science, math, deep learning, philosophy
Карим Валиев (ex VK) делится мыслями по утечке кодов "Яндекса": 4. Очень много самописных внутренних инструментов, много документации. Интересно для изучения, чтобы понимать как работают большие компании и их IT-инфраструктура. Кажется, что в Яндексе есть сильный перевес в пользу "напишем сами" даже тогда, когда другие компании обошлись бы опенсорсом. 5. Конечно, интересен репозиторий security 🙂 Там тоже внутренние инструменты, всевозможные сканеры, разбиралки тикетов, все на достаточно продвинутом уровне. 6. Дальше еще интереснее. Яндекс массово использует Телеграм в качестве рабочего мессенджера. В файлах есть куча ссылок на чатики в телеграме, по которым можно было прийти и вступить. Сразу после новости о сливе большую часть из них подчистили, но не все. Использование Телеграма - большая проблема и боль для безопасности. Правильный выход - это конечно использование корпоративного мессенджера с полным запретом личных. Но у них тоже есть свои недостатки, телеграм просто очень удобный. В Яндексе используют специального телеграм-бота, которого добавляют в чатики и он следит, чтобы там не было чужаков. Но понятно, что работает это только в тех чатиках, куда бота не забыли добавить. 7. В репозитории Алисы тоже много интересного. Именно самой говорящей модели Алисы вроде нет, но есть много разных скриптов для ее обучения, фрагментов обучающих данных и т.п. Есть выборки реальных (анонимных) запросов пользователей к Алисе, очень интересные. На скриншоте фрагмент файла с реальными призывами к Алисе замолчать. Его можно растащить на мемы буквально целиком 8. В репозитории Почты есть код, который занимается разметкой данных из писем. В том числе анализируются письма с подписками на разные онлайн-сервисы, письма с чеками. Зачем именно - неясно, возможно Яндекс так мониторит конкурентов по рынку? 
-
Spark in me - Internet, data science, math, deep learning, philosophy
Random image from an article 
-
Spark in me - Internet, data science, math, deep learning, philosophy
С весны твержу, что IT-крупняк в Штатах и вообще Pax Americana посыпется по финансам (это неизбежное следствие роста стоимости фондированя в долларах и эрозии концепции однополярного мира и соответствующего снижения бюджетов IT-решений для всего мира. Глобализация многих IT-сервисов отменяется) и первое что крупняк будет при этом делать — сокращать людей Microsoft увольняет, Amazon увольняет, Netflix увольняет, Facebook увольняет, ну и Google не стал стоять в сторонке и тоже уволит 6% сотрудников, это 12 000 человек, на секундочку Отлично понимаю, что я со своими взглядами несимпатичен дикому множеству людей, но при переезде хотя бы свою голову уже включайте. Более-менее понятен переезд куда-нибудь в Азию, где есть своё IT, в Европу, где социализм такой, что фиг кого-то уволишь, но уезжать в Штаты для работы по найму на рядовой, пусть и квалифицированной позиции — архистранное решение. Синодов пишет Ещё в апреле о ситуации с рынком найма и вообще доходами в глобальном крупняке я написал следующее: Проблема с отписками на Netflix это маркер более серьёзных изменений в отрасли, которые шаг за шагом проявятся: 1. Есть предел пользовательского спроса. Нельзя рассчитывать на то, что люди будут подписываться одновременно на кабельное, YouTube, Hulu, Apple TV+, Netflix, Disney. Даже с учётом эксклюзивов. 2. Попытки минфина США озвучить вариант мироустройства, при котором создаётся клуб хороших стран и все остальные (возможно, с какими-то подкритериямя), означают, что те компании, которые считали себя мировыми, теперь становятся ограниченными, в лучшем случае — регионом NA+EU и Океании немножко. Капитализация Netflix упала на 20% не из-за потерь сегодняшних, а из-за ужаса перед потерями компании в будущем. 3. Раз компании становятся не мировыми, а региональными, то платить за цифровую конницу из разработчиков, которая позволяла вторгаться цифровыми путями во вражеские государства и забирать их доходы…