Обложка канала

Блуждающий нерв. Страница 2

3230 @dtulinov

Исследования мозга, нейротехнологии, генная инженерия и др. смежные темы -- что происходит в этой области. Ссылки на научные источники.

  • Блуждающий нерв

    Эмбрионы помогают друг другу? | Пока речь об эмбрионах лягушки — тех, что развиваются в икринках. Ученые заметили вот что: если капнуть на икринку токсичным веществом, эмбрион погибнет; если собрать группу икринок и каждой дать ту же дозу токсина, часть из них выживет, и чем больше группа, тем выше выживаемость. Группа из 300 эмбрионов выживает почти вся — повторюсь, при сохранении относительных концентраций вещества на одну особь. В чем тут дело? Есть подозрение, что эмбрионы общаются друг с другом. Как бактерии в кворуме или клетки в организме, или как-то еще, выпуская сигнальные молекулы. Например, если уколоть эмбрион, по нему прокатывается кальциевая волна, и затем ее “эхо” возникает у соседнего эмбриона (как на видео). То есть налицо коммуникация между ними. Как именно это помогает выживать и даже взаимно гасить деформации развития, пока не ясно. Но явление уже назвали “эффектом перекрестной эмбриональной морфогенетической помощи”. Отсюда.
  • Блуждающий нерв

    Илья Суцкевер из OpenAI считает, что GPT в какой-то мере обладают картиной мира. Может показаться, что большая языковая модель лишь выхватывает статистические корреляции из текстов, но он говорит, что все несколько сложнее. Статистика текстов не случайна, и чтобы по-настоящему хорошо ее отразить, модель учится “видеть” процесс, который стоит за их созданием. Сами тексты, говорит Илья, — это проекция мира, в них зафиксированы отношения людей, их мечты, мотивации, поведение. Нейросеть усваивает эту структуру, в очень абстрактной, но пригодной для генерации форме. Словом, LLM — не стохастический попугай 🦜, а нечто более глубокое. Метафору попугая не принимает и профессор IT из Гарварда, покинувший Microsoft Research. Он подверг сомнению все наиболее ходовые ИИ метафоры: максимизатор скрепок, стохастический попугай, царь Мидас, jpeg веба, рынки, демократия, инопланетянин, шоггот. Его эссе “Metaphors for AI, and why I don’t like them”. И здесь очень кстати в Nat Rev Psychol вышел комментарий психолога из Стэнфорда: “Baby steps in evaluating the capacities of large language models”. Он предлагает изучать LLM методами психологии развития, науки о том, как учатся и что понимают дети. “Психологи обычно руководствуются принципом, известным как канон Моргана: не спешите делать вывод о наличии у системы абстракции высокого уровня, если для объяснения ее поведения достаточно способности более низкого уровня. Помимо этого общего принципа, исследователи развития сошлись вокруг набора эмпирических стратегий, позволяющих делать заявления о наличии абстракций. Многие из них могут быть применены непосредственно к LLM, хотя LLM также позволяют применять подходы, которые невозможно (или неэтично) реализовать на человеческих учениках”. То, что эта стратегия напрашивается, было ясно уже несколько лет. Проблема тут больше практическая — как подружить психологов и разрабов LLM, слишком разные у них языки. Но польза может быть обоюдной: “Тщательное изучение LLM может раскрыть больше информации об их способностях, но также может привести к более широкому пониманию природы обучения. Будучи сильными учениками в области статистики, LLM предоставляют ценное доказательство концепции того, как абстракции могут — или не могут — возникать исключительно из обучения, управляемого данными”. На фоне всех этих рассуждений стартап Inflection AI, спустя два месяца после запуска своего первого чат-бота Pi, привлек $1.3 млрд инвестиций. Вложились Microsoft, Nvidia, а также Билл Гейтс, соучредитель LinkedIn Рейд Хоффман и бывший СЕО Google Эрик Шмидт. Как пишет Forbes, Inflection собрал крупнейший в мире кластер графических процессоров, опередив кластер Meta, уступая лишь суперкомпьютеру Frontier Национальной лаборатории Ок-Ридж.
    Metaphors for AI, and why I don’t like them

    Photo from National Photo Company Collection; see also (Sobel, 2017) [Cross posted in lesswrong and windows on theory see here for my prior writings]“computer, n. /kəmˈpjuːtə/. One who computes; a …

    Windows On Theory
  • Блуждающий нерв

    Окно Эймса. Все знают комнату Эймса, а вот окно видели меньше. Хотя эта иллюзия не менее крута: реальный объект, без спецэффектов, просто крутится по часовой стрелке. Глаза смотрят, мозг конструирует гипотезы и не понимает, как такой объект возможен. И окончательно запутывается. Когда много лет назад я выложил этот ролик в жж, некоторые сказали, что им все же удалось увидеть “истину”, мне же, как я ни старался, этого не удается до сих пор — восприятие все так же порабощает знание. Да, голос за кадром принадлежит Ричарду Грегори (Richard Gregory), выдающемуся когнитивному психологу ХХ века, одному из главных экспертов в области зрительного восприятия. Окно Эймса отлично разобрал в своем видео блогер Veritasium, построив модели разных размеров (тот же ролик с русской озвучкой). И заодно — на днях в Frontiers вышла подборка статей “Будущее иллюзий восприятия: от феноменологии до нейронауки”, как раз в тему.
  • Реклама

  • Блуждающий нерв

    Nature выстрелил сразу двумя статьями по “синтетическим” эмбрионам человека. Такие модели получают из стволовых клеток, и они развиваются подобно настоящим эмбрионам. 📃 “Модель постимплантационного человеческого эмбриона, полученная из плюрипотентных стволовых клеток” (Cambridge) 📃 “Самовоспроизведение стволовых клеток человека в постимплантационные линии” (Yale) Две недели назад сразу четыре группы выложили препринты. Это определенно рубеж в биотехнологии, и он рождает этические коллизии, поскольку подразумевается, что отношение к таким эмбрионам не такое, как к “истинным”, развиваемым из яйцеклеток. Позавчера вышло заявление Международного общества по исследованию стволовых клеток (ISSCR), вот фрагмент: “ISSCR не рекомендует использовать термин "синтетический эмбрион" для описания моделей эмбрионов, поскольку он неточен и может вызвать путаницу. Интегрированные модели эмбрионов не являются ни синтетическими, ни эмбрионами. Хотя эти модели могут воспроизводить аспекты ранней стадии развития человеческих эмбрионов, они не могут и не будут развиваться до эквивалента постнатальной стадии человека. Кроме того, Руководство ISSCR запрещает перенос любой модели эмбриона в матку человека или животного”. Авторы из Кембриджа называют это human embryoid. Впрочем, такое отмежевание не вполне убеждает и не снимает сомнений в том, что эти модели не могут развиться в нечто гуманоидное. У них ДНК человека. Боюсь, одной игрой в термины этот вопрос не снять.
    The ISSCR Statement on New Research with Embryo Models — International Society for Stem Cell Research

    The ISSCR supports research with embryo models derived from human pluripotent stem cells that is conducted with scientific and ethical rigor. ISSCR encourages researchers to continue to follow the ISSCR Guidelines for Stem Cell Research and Clinical Translation when considering research in this emer

    International Society for Stem Cell Research
  • Блуждающий нерв

    Science пишет о прорыве биоинженеров из Университета Миннесоты: они заморозили почки крыс, затем отогрели их и имплантировали живым крысам. И почки заработали. Если удастся довести эту технологию до крупных органов человека, то многие люди, ожидающие пересадки от донора, будут спасены. Что самое критичное в этом деле — быстрая заморозка, не позволяющая кристаллам льда разрушить ткани (витрификация), и равномерный отогрев по всему объему, чтобы не допустить растрескивания органа. В UMN отогревали почки, введя в них перед заморозкой наночастицы железа. При воздействии магнитным полем частицы нагреваются. Замечу в скобках, что та же техника — магнитное поле + наночастицы — может быть использована для неинвазивной стимуляции нейронов с термочувствительными рецепторами. Параллельно другие группы ищут иные пути консервации органов, о чем тоже пишет автор текста в Science. Сейчас у донорства едва ли не главная трудность — логистика, завязанная на дедлайн жизни органа. Если удастся эти сроки растянуть, не провисая в функциях, то будет большая победа. Витрифицированный орган, по идее, может храниться годами. Про то же исследование детальнее пишет STAT.
    How to deep freeze an entire organ—and bring it back to life

    Scientists are learning how to cryopreserve tissues from donor kidneys to coral larvae

    www.science.org
  • Блуждающий нерв

    Что почитать. Лонгриды: 🗞 ‘Almost magical’: chemists can now move single atoms in and out of a molecule’s coreNature о том, как химики редактируют отдельные атомы в молекулах. Новый метод назван skeletal editing, он позволяет удалять, добавлять, заменять выбранные атомы в основной цепи. Авторы открещиваются от аналогии с CRISPR, подчеркивая, что их задача гораздо труднее, так как охватывает тысячи очень разных соединений. 🗞 The neuroscience of cancer — самый свежий обзор в Nature на тему нейронауки рака. На годы вперед это одна из самых многообещающих областей, ей от силы чуть больше десяти лет, полно низко висящих плодов, и шанс на значимые открытия очень высок. Не говоря уже о том, насколько это будет важно для многих миллионов людей. Еще один обзор вышел в Cell в апреле. 🗞 ‘Embryo Models’ Challenge Legal, Ethical and Biological Concepts — на этот раз Филип Болл препарирует новую технологию "синтетических эмбрионов", очень горячую тему в эти дни, поскольку не ясно, что эти модели собой представляют биологически, этически или юридически. Такие эмбрионы создают не из половых клеток, а из стволовых. 🗞 Highlights from the RAeS Future Combat Air & Space Capabilities Summit — очень подробно о майском саммите в Лондоне, где обсуждалось будущее воздушно-космических конфликтов. Именно там прозвучал нашумевший гипотетический пример от полковника ВВС США с симуляцией, когда ИИ якобы убил оператора дрона (в реальности такой симуляции не было). Полезный текст о будущих войнах, детальный разбор. 🗞 Страх и трепет: зачем лидеры ИИ пугают человечество? — Владимир Губайловский отвергает весь ИИ-хайп о конце света, указывая на то, что страх разгоняют разрабы, а не общество, хотя обычно бывает наоборот, и это подозрительно. Текст эмоциональный, крик души буквально, читается легко. 🗞 Inside the Secretive Life-Extension Clinic — WIRED о сомнительных, длящихся уже много лет, попытках Лиз Пэриш (Liz Parrish) открыть эликсир молодости, и ее компанию BioViva, работающую вне досягаемости FDA. Пэриш известна тем, что якобы снизила свой биологический возраст, и в ее эпопее слышатся нотки Элизабет Холмс, тем паче, что и имена у них одинаковые. 😉 🗞 Cells, Not DNA, Are The Master Architects Of Life — профессор биоинженерии против геноцентрического взгляда на жизнь: “генетика дала важные сведения о процессах развития животных и растений, но мы слишком преувеличили то, что могут объяснить гены”. Он считает, что ответы скрыты в том, как устроены клетки и их взаимодействия. На мой взгляд, он несколько запоздал с разоблачением генов, хотя тут я, возможно, излишне оптимистичен.
    ‘Almost magical’: chemists can now move single atoms in and out of a molecule’s core

    Nature - An explosion of skeletal editing methods to insert, delete or swap individual atoms in molecular backbones could accelerate drug discovery.

    Nature
  • Блуждающий нерв

    Лю участвует в испытаниях многих передовых методов, включая фото- и термоакустику, не говоря уже о традиционных ЭКоГ, ТМС и прочих имиджингах с модуляциями. Лю не раз прилетал в Москву, класс был виден сразу, и при этом он был прост и доброжелателен в общении. Вот послушайте, как он обстоятельно отвечает мне, когда мы уже вышли в коридор, продолжая разговор. Там шумно, но его слышно хорошо. Старался его не прерывать. Было это в прошлой жизни, пять лет назад. Он там хвалит Алекса — это Алексей Осадчий 😉

    Liu.mp4

    video/mp4
  • Блуждающий нерв

    Акустическое окно в мозг| Давние коллеги из Caltech и USC испытали, наконец, функциональный ультразвук (fUSI) на мозге человека. Два года назад они это делали на обезьянах и уже тогда искали добровольцев. Метод молодой, ему не так много лет, он дает лучшее разрешение, чем фМРТ, и не требует громоздкого сканера. Изъяны тоже есть, и главный — требуется “окно” в черепе. Людям с травмой головы порой ставят заплатку, заменяя пробитую кость, и вот одному такому пациенту положили заплатку из полимера, она пропускает ультразвук. Теперь небольшим гаджетом можно считывать активность его мозга. То есть этакое мини фМРТ, но с более высокой точностью. В главных авторах Richard Andersen, его лаба в Caltech много лет создает нейроинтерфейсы, и самый известный их пациент, наверное, Erik Sorto из этой работы. Андерсен давно сотрудничает с Charles Y. Liu из USC, одним из самых крутых нейрохирургов в США. Они часто соавторы, и в препринте по fUSI тоже вместе. Там, где надо покопаться в мозгах, Лю незаменим. 🧠
  • Блуждающий нерв

    Некоторые заболевания, включая аллергию, диабет и ветрянку, снижают риск развития опухоли мозга | Наткнулся на освещение этого факта в статье Nature аж от 2018 года. Возможно, вам будет интересно, вот перевод фрагмента: «Джудит Шварцбаум, эпидемиолог из Университета штата Огайо, проанализировала образцы, хранившиеся в банке крови в Норвегии с 1972 года. Она обнаружила, что у людей с положительным тестом на антитело иммуноглобулин-Е (IgE) на 25% меньше шансов заболеть глиомой. У женщин, чья кровь содержала аллерген-специфический IgE, риск развития мультиформной глиобластомы снижался вдвое. Одна из гипотез заключается в том, что иммунная система, уже находящаяся начеку в случае присутствия аллергенов, каким-то образом может помешать раку мозга укрепиться. Другая возможность состоит в том, что люди с сильной аллергической реакцией лучше устраняют канцерогены до того, как они успеют нанести вред мозгу. В ряде других исследований были получены аналогичные результаты. В 2016 году Бонди, Барнхольц-Слоан и их коллеги изучили образцы, собранные в рамках Международного контрольного исследования случаев глиомы (GICC), и обнаружили, что наличие в анамнезе респираторных аллергий снижает риск развития глиомы примерно на 30%. Астма и экзема также значительно снижают риск развития глиомы». Там дальше говорится, что где-то за пять лет до постановки диагноза у человека уже меняется уровень цитокинов, и это может стать ранним маркером рака. Полный текст здесь.
    Searching for the roots of brain cancer

    Nature - Other than ionizing radiation and genetics, little is known about the factors that influence a person’s chances of developing the disease.

    Nature
  • Блуждающий нерв

    Узнал, что 15 июня Reminder.Media проведут зум с лучшим фридайвером мира, легендарным Алексеем Молчановым. Тема — дыхательные практики. Они пишут: “именно через дыхание мы можем влиять на стресс, эмоциональное состояние и внимание” (что правда, см. например здесь или здесь). Молчанов уникален, на сегодня 27 мировых рекордов, и он явно знает, как дышать и как не дышать. Главное, он знает, как управлять состоянием своей психики и тела, иначе уйти на сотню метров в глубину на задержке дыхания просто не выйдет. Это не реклама, просто я как-то писал о фридайвинге и был впечатлен именно психическим контролем, который подвластен лучшим (мозг еще одного рекордсмена, Гийома Нери, даже изучали в Coma Science Group). Зум обещают открытый, так что постараюсь дать ссылку, как только она появится (15 июня, 19.00 МСК). На видео сюжет о Молчанове в программе CBS "60 Minutes", где его называют King of The Deep, а почитать можно прекрасный очерк GQ о нем: “The Secrets of The World’s Greatest Freediver”.
    Free diver Alexey Molchanov: The 60 Minutes Interview

    Sharyn Alfonsi talks to Alexey Molchanov about reaching the top of his sport by diving hundreds of feet into the ocean with just one deep breath. #60Minutes #FreeDiving #News "60 Minutes" is the most successful television broadcast in history. Offering hard-hitting investigative reports, interviews, feature segments and profiles of people in the news, the broadcast began in 1968 and is still a hit, over 50 seasons later, regularly making Nielsen's Top 10. Subscribe to the “60 Minutes” YouTube channel: http://bit.ly/1S7CLRu Watch full episodes: http://cbsn.ws/1Qkjo1F Get more “60 Minutes” from “60 Minutes: Overtime”: http://cbsn.ws/1KG3sdr Follow “60 Minutes” on Instagram: http://bit.ly/23Xv8Ry Like “60 Minutes” on Facebook: http://on.fb.me/1Xb1Dao Follow “60 Minutes” on Twitter: http://bit.ly/1KxUsqX Subscribe to our newsletter: http://cbsn.ws/1RqHw7T Download the CBS News app: http://cbsn.ws/1Xb1WC8 Try Paramount+ free: https://bit.ly/2OiW1kZ For video licensing inquiries, contact: [email protected]

    YouTube
  • Блуждающий нерв

    Пролетаем сквозь мышь. Не анимация, все настоящее. Карты иннерваций, сосудов, лимфатических узлов — все теперь видно в подробностях. Похоже на CLARITY, только круче. Новая техника визуализации делает тело прозрачным, а затем туда вводят флуоресцентные антитела, которые маркируют определенные типы клеток. Так можно “подсветить” разные органы и системы, изучив их анатомию и связи. Авторы выложили аж 25 роликов для примера. 🗞Препринт 🗞 Сообщение в Science
  • Блуждающий нерв

    Понимание, которого нет | Попался грамотный разбор на тему “понимает ли ИИ”. Автор, молодой профессор психологии, задает GPT вопросы, не сложные, а именно очень простые, чтобы выявить структуру, стоящую за ответами. “Важно отметить, что смысл всего этого не в том, что GPT совершает глупые ошибки. Мы тоже совершаем глупые ошибки! Но… картина ошибок GPT предполагает, что процесс, стоящий за ними, отличается [от нашего] по своей природе — баснословная сложность без структурной целостности”. Он считает GPT крутыми имитаторами, но без модели мира и искр интеллекта. Не закрыл вопрос, но изложил внятные доводы. Пишет легко, корректно и содержательно. Jaron Lanier тоже не нашел в GPT ума. В эссе в New Yorker он предлагает считать их инструментом для создания коллажей из творений человеческого разума. По его мнению, генеративный ИИ, как технология, нетривиально объединяет разные фрагменты и стили из созданного нами: “Это значительное достижение, которое стоит отметить, но его можно рассматривать как прояснение ранее скрытых соответствий между человеческими творениями, а не как изобретение нового разума”. См. также Terrence J. Sejnowski “Большие языковые модели и обратный тест Тьюринга”то, что кажется интеллектом у LLM, на самом деле может быть зеркалом, отражающим интеллект интервьюера, пишет Сейновски. Он считает, что наши старые представления, основанные на естественном интеллекте, неадекватны. Словом, пока нет даже зачатков ИИ. Правда, все рассуждения такого рода опускают возможность, что интеллект может быть не сплошным. Если понимание у машины похоже на архипелаг, то мы будем натыкаться как на глубокие и верные ответы, так и на фиаско в очевидных ситуациях. Не поставлю денег на именно этот сценарий, но вполне допускаю, что ИИ явит некие новые формы, отличные от ЕИ человека. Насчет ЕИ тоже вопрос, так ли мы умны по отдельности: What Makes Us Smart? Разум созревает в обществе других разумов, понимание нередко распределено между ними. Дебаты будут длиться еще долго. Но со временем их смысл может инвертироваться: понимают ли GPT, для практики их использования будет не столь важно, зато исследование этих вещей наверняка прольет свет на то, как понимают люди.
    On Artifice and Intelligence

    How to spot counterfeit cognition

    Medium
  • Блуждающий нерв

    Biology hacking itself |Майкл Левин выложил у себя на youtube канале доклад на Robosoft 2023: Xenobots, AI, and You. Акцент на том, как биология позволит создавать «агентную материю». Ценно то, как от экспериментов Левин переходит к нетривиальным интерпретациям, а от них — к обобщениям, которые встряхивают картину мира. Любой его доклад хорош, но этот самый свежий, апрельский. «Агентная материя» — это инженерия с элементами живого. Такие элементы (клетки, ткани, организмы) имеют цели и принимают решения, так что управлять этой материей лучше через постановку целей. Главный приз — управление регенерацией, морфогенезом и, вероятно, продвижение в проблеме рака и старения. Эта игра стоит свеч, но требуется понимать поведение тканей. Тут явная параллель с областью ИИ, где предстоит решать схожие проблемы: не программировать агента, а обучать и убеждать. Ключевой инструмент и там, и там — когнитивные технологии. Журнал Research Directions готовит подборку статей по агентным материалам, и заодно: при участии Левина вышел новый Interface Focus на тему: ‘Making and breaking symmetries in mind and life’.
    Talk for Robosoft 2023

    Biology hacking itself, Xenobots, and morphogenesis

    YouTube
  • Блуждающий нерв

    ☝️ Вот такие изображения, создаваемые ИИ, возбуждали выше естественного уровня нейроны в зрительной коре обезьян. — Science, 2019 Для людей сверхстимулами служили фразы типа “Turin loves me not, nor will” или “People on Insta Be Like, “Gross!”, сочиненные GPT. На это перевозбуждались клетки мозга, входящие в language network. — bioRxiv, 2023
  • Блуждающий нерв

    GPT, мозг и сверхстимулы | Новый препринт от MIT Language Lab сразу напомнил работу, где генеративная нейросеть сочиняла картинки, возбуждающие нейроны у обезьян. По сути, это развитие той же идеи, только уже не на картинках, а на текстовых фразах для людей. В препринте, конечно же, ссылаются на ту статью, тем более, что авторы работают в соседних зданиях и наверняка знакомы. Главное: в обоих случаях речь идет о создании сверхстимулов для мозга через ИИ генерацию Радует, что Эвелина Федоренко, главный автор препринта, похоже, читала мой текст “Гуманизированные макаки, сверхстимулы и китайская стратегия”. Тогда, в 2019 году, по поводу той статьи про картинки для макак я писал: “Заметим, что сверхстимулы для людей могут быть и семантическими, то есть вызывать нужную реакцию за счет смысла, заложенного в текст, видео или мем. Такой сверхстимул будет воздействовать на мозг сильнее, чем контент, создаваемый обычным путем, и будет, вероятно, так же причудлив, как сгенерированные картинки”. Именно это и сделали в MIT Language Lab. Конечно же, насчет “читала” шучу. 😉 Все это напрашивалось и сразу пришло бы на ум и без моей помощи. Хотя основания пошутить у меня есть, поскольку сотрудница Эвелины тогда же перевела ту мою статью на английский (вот здесь). Если же серьезно — я угадал верно, сверхстимул правда не похож на естественно создаваемый текст: Indeed, we discovered that drive sentences were unusual on various dimensions. Given their properties, these sentences are a priori unlikely to be created or selected by experimenters and unlikely to be present in naturalistic stimuli, like stories, and yet these stimuli are able to drive responses in the language network. Ну и совсем серьезно: данное направление исследований — мозг + генеративный ИИ — может иметь далеко идущие следствия, поскольку выводит наружу скрытые свойства ЕИ. Так что стоит следить за его развитием.
    Driving and suppressing the human language network using large language models

    Transformer language models are today's most accurate models of language processing in the brain. Here, using fMRI-measured brain responses to 1,000 diverse sentences, we develop a GPT-based encoding model to identify new sentences that are predicted to drive or suppress responses in the human language network. We demonstrate that these model-selected 'out-of distribution' sentences indeed drive and suppress activity of human language areas in new individuals (85.7% increase and 97.5% decrease relative to the diverse naturalistic sentences). A systematic analysis of the model-selected sentences reveals that surprisal and well-formedness of linguistic input are key determinants of response strength in the language network. These results establish the ability of accurate models of the brain to noninvasively control neural activity in higher-level cortical areas, like the language network. ### Competing Interest Statement The authors have declared no competing interest.

    bioRxiv
  • Реклама

  • Блуждающий нерв

    Апрельский выпуск Cell посвящен раку. На обложке метафора болезни, запутанный клубок, который совместными усилиями стремятся распутать разные силы общества, от ученых и медиков до фарм-компаний и самих пациентов. В журнале — текущее состояние и перспективы, но отдельно отмечу обзор Cancer neuroscience: State of the field, emerging directions, в нем подробно про взаимосвязи нервной системы и раковых клеток. Прямо SOTA по данной теме, рекомендую читать в продолжение этого. Третий игрок, иммунная система, тоже тесно связана с нервной, и обзор подтверждает иммунную память в мозге, о чем я писал полгода назад. Нейробиология рака относительно молодая тема, но уже видно, что ЦНС/ПНС играют едва ли не ключевую роль, и способы лечения будут адаптироваться к ней.
  • Блуждающий нерв

    В отличие от сознания, разговор о разуме языковых моделей не лишен смысла. Споры на эту тему крутятся вокруг вопроса, демонстрируют ли LLM то, что мы называем мышлением (хотя бы искры), или же они достигают всех впечатляющих результатов без крупицы понимания. Сложность в том, что LLM то блещут умом, то проявляют вопиющую глупость, а спорщики выдергивают нужные им примеры. Но примеры ничего не доказывают, еще и потому, что ответы могут сильно зависеть от нюансов промпта, и эту магию еще предстоит освоить. Есть ощущение, что модель знает больше, чем обычно следует из ее ответов, и при более умелых запросах она улучшает вывод. Предельной глубины этих улучшений мы не знаем. Из общих соображений: LLM не мыслит, всего лишь предсказывает следующий токен. Это верно, но не содержательно. Потому что и мозг всего лишь минимизирует удивление. Недавно по LLM высказался Хомский, заметив, что разум стремится не выводить грубые корреляции между точками данных, а создавать объяснения. И если языковые модели выдают наиболее вероятное продолжение запроса, то объяснение – это нечто прямо противоположное. “Теория о том, что яблоки падают на землю, потому что масса искривляет пространство-время (точка зрения Эйнштейна), крайне маловероятна, но на самом деле она объясняет, почему они падают”. Пример с яблоками вызвал дискуссию в рассылке Connectionists, после того как Терри Сейновски, используя GPT, разбил довод Хомского. И понеслась. Включились в т.ч. и Хинтон с Маркусом, см. весь тред Chomsky's apple. В The New Yorker Кэл Ньюпорт детально разбирает принцип работы GPT и убеждает читателя в том, что LLM вовсе не инопланетный разум, с которым мы теперь должны учиться сосуществовать. Текст хорош, но довод все тот же: LLM всего лишь предсказывает следующий токен. Думаю, можно представить аналогичный текст, в том же ключе описывающий работу мозга — его даже мог бы написать GPT-4, получив статью Кэла в качестве промпта. Видео Sparks of AGI: early experiments with GPT-4 — лекция Sebastien Bubeck из Microsoft, первого автора тех самых “искр общего интеллекта”.
    What Kind of Mind Does ChatGPT Have?

    Large language models seem startlingly intelligent. But what’s really happening under the hood?

    The New Yorker
  • Блуждающий нерв

    LLM как зомби | Вопрос о сознании больших языковых моделей плох тем, что он о непонятном внутри непонятного. Мы не знаем, как мозг порождает психику, и не знаем, как устроены репрезентации внутри модели. Два черных ящика в одном вопросе, тут не на что опереться. Согласен с Сергеем, когда он говорит, что LLM генерят паттерны, отражающие статистику поведения людей, и потому не удивительно, что мы видим в них намек на сознание. Ведь эти паттерны — наша производная. LLМ служат зеркалом, в котором мы отражаемся, но за его поверхностью пусто. Словом, я тоже считаю, что искать сознание в LLМ — крайне странное занятие. В то же время это не более чем моя интуиция, и доказать ее нельзя. Пусть бессознательный агент способен имитировать “сознательное поведение”, проблемы здесь нет. Проблема в другом: в общем случае из поведения агента нельзя сделать надежный вывод о его внутренней кухне (даже если этот агент — человек). Людей я наделяю сознанием, потому что они очень похожи на меня поведением и природой: вместо строгого доказательства здесь суждение ‘beyond reasonable doubt’. Трудности, однако, появляются, когда мы пытаемся выносить такие суждения о животных или, например, о младенцах. Они наводят на мысль, что у агентов может быть сознания больше или меньше, что еще усложняет картину. Не прояснив ее, искать сознание в трансформерах можно до посинения. Внутри спора о больших моделях этот вопрос не разрешим, и свой взгляд на эту тему я подробно изложил в прошлом году. Чалмерс же старательно исследует доводы “за” и “против” наличия черного ящика в черном ящике — на мой вкус, это трата времени.
    Нейроинтерфейсы

    Зомби и LLM Антон Кузнецов написал интересный, хотя и довольно сложный (весьма аналитико-философский), пост о том, может ли зомби знать, что он зомби. То, что философы обсуждают философских зомби, вероятно, очень правильно — это явно хороший объект для мысленных экспериментов в исследованиях сознания. Но в связи с постом Антона мне подумалось, что интерес к понятию зомби (агента без сознания, ведущего себя как агент со сознанием) сейчас резко вырос у многих людей, не являющихся профессиональными философами — благодаря дискуссиям вокруг больших языковых моделей (LLM*). Многие такие люди задаются вопросом, являются ли LLM "зомби", или, может быть, обладают сознанием. Однако, кажется, этот интерес не очень оправдан, поскольку все тут довольно тривиально. То, что LLM способны довольно реалистично имитировать наличие у них сознания, тривиальным образом следует из того, что их обучали на текстах, создаваемых агентами с сознанием. LLM, как и другие современные генеративные нейросети, обучаются лишь воспроизводству…

    Telegram