DiTribe – канал, где делают именно так: пишут микроколонки об IT и публикуют красивые иллюстрации. Человеко-машинное взаимодействие и история интерфейсов в сфере научных интересов автора!
Странные интерфейсы
Swarachakra - это приложение с корнями в индустриальном дизайне Индии: 28 одних только государственных языков и тот факт, несмотря на то, что проникновение смартфонов в Индии растет, ввод текста в индийских алфавитах уже много лет остается проблемой. Согласно Обследованию развития человеческого потенциала в Индии за 2005 год, опрошенные домохозяйства сообщили, что 72 процента мужчин не говорят по-английски.
Несовпадение деванагари и латиницы привели к альтернативным разработкам клавиатур и виртуальных клавиатур на мобильных устройствах. Соответственно колесо с дополнительными символами появляется при долгом нажатии предоставляя допсимволы и символы других национальных языков Индии при необходимости (перейти с хинду на тамильский условно)
play.google.com/store/a…/details
Скачиваний не очень много, но разработчики поддерживают колесо сразу на нескольких языках и это госпроект по развитию цифровой грамотности
Продолжаю ковырять метрику Quality of experience из телекома.
Это некоторый аналог UX, который касается а) игр б) видеосмотрения в) телефонии. Попробуем дать определение из книжек:
Quality of Experience (QoE) — это степень удовольствия или раздражения человека, чье переживание связано с приложением, службой или системой. Это результат оценки человеком выполнения его или ее ожиданий и потребности в отношении полезности и/или удовольствия в свете контекста, личности и текущего положения дел.
Основой QoE является восприятие. Современная концепция обработки нейронных сигналов во время восприятия происходит в несколько этапов, итеративно. Процесс восприятия начинается с воздействие соответствующих раздражителей на один или несколько органов чувств человека. Сенсорный орган (органы), физические представления стимулов преобразуются в нейронные представления, включающие характеристические электрические сигналы. Это представление передается в мозг через нейронные для дальнейшей обработки. при передаче в соответствующую область мозга эти представления трансформируются от первоначальных стимулов к более абстрактным, символическим представлениям. Следует отметить, что контекстуальная и/или связанная с заданием информация, предоставляемая лицам, обрабатываются через их органы чувств и последующую нейронную обработку, возможно, в других модальностях. Такая информация либо непосредственно влияет на процесс восприятия, или делает это с помощью информации, доступной с точки зрения концепций более высокого уровня.
Еще на весь процесс восприятия есть своеобразные дупликаты в виде памяти: сенсорная память: это периферическая память, которая хранит репрезентации сенсорных стимулов в течение коротких промежутков времени от 150 мс до 2 с, чтобы их можно было извлечь с помощью более высоких уровней. Рабочая краткосрочная память и долговременная память - ну тут все ясно. Тот или иной стимул может воздействовать на память и влиять на дальнейшую обработку сигнала.
Ок, на схеме достаточно любопытны еще и красные линии - это изменение качества восприятия с учетом сигнала, которое влияет на пользователя. Я имею ввиду поворот головы на звук, движение глаз на вспышки цвета. Эти повороты в свою очередь влияют на оценки восприятия.
Картинка по Quality and Quality of Experience Alexander Raake and Sebastian Egger
Социология ИИ
Да, действительно, на английском существует популярный жанр социологии алгоритмов в современной Академии, но поговорим сегодня о книжке, которую я скачал с сайта ВЦИОМ (некоторые книжки на сайте ВЦИОМ даже я немного подготовил и низачто не догадаетесь где).
От искусственного интеллекта к искусственной социальности. Новые исследовательские проблемы современной социальной аналитики
Это классический пример сборника статей скучных и старых авторов на тему социальности - советские шестидесятники рассуждают о айти на деньги грантов РНФ и РГНФ. Удручающее зрелище: интервью с эйчарами айти-компаний, переводные книги о теории ИИ, обороты в духе «понятие, теория и обогащение ИИ». Отсылки к Никласу Луману в 2022 году, кое-где цитируется социология интеллектуалов Рэдмонда Коллинза. User research? HCI?
В общем за этот чудесный образчик чучел интеллектуалов я отдал 150 рублей онлайн, так что не жалко. Показательно, что такое карго социальных ученых оплачивается из кармана государства, пусть даже подход кураторов в духе Кириенко можно назвать куда более сциентистким.
Словарь юного HCI. Keystroke dynamics
Поведенческая биометрическая метрика Keystroke Dynamics использует манеру и ритм, в котором человек набирает символы на клавиатуре. Такой клавиатурный почерк относится к динамическим (поведенческим) биометрическим характеристикам, описывающим подсознательные действия, привычные для пользователя: он характеризует динамику ввода парольной фразы.
Стандартная клавиатура позволяет измерить следующие временные характеристики: время удержания клавиши нажатой и интервал времени между нажатиями клавиш. А также некоторые другие параметры: общее время набора парольной фразы, частота возникновения ошибок при наборе, факт использования дополнительных клавиш (использование числовой клавиатуры), особенности ввода заглавных букв (использование клавиши Shift или Caps Lock) и т. д.
Итак, мы знаем ритм набора, время потраченное на набор, специфику вводу заглавных и строчных. У большинства людей есть определенные буквы, на поиск которых у них уходит больше времени, чем их среднее время поиска по другим буквам. Правши могут быть быстрее при нажатии клавиш пальцами правой руки. Указательные пальцы могут быть значительно более быстрыми, чем другие пальцы. Кроме того, последовательности букв могут иметь характерные для человека свойства. Распространенные «ошибки» также могут быть весьма характерными для конкретного человека. Все это позволяет еще и авторизовать личность юзера.
Более того, у разных клавиатур разная эргономика… это означает, что кого-то можно поймать, если обратить внимание на эргономику необычной клавы авторизации. К сожалению, очевидна нестабильность такой метрики — разное время суток, усталость, болезнь влияют на биометрические показатели ввода паролей.
Рубрика «Много полезного» о взаимодействиях за последнюю неделю Поведенческая изменчивость для теста Тьюринга
Человеческая поведенческая изменчивость стирает различие между человеком и машиной в невербальном тесте Тьюринга. Группа исследователей тестировала поведение роботов на удаленном управлении оператором и программой. Разницу между поведением робота респонденты не нашли. Общая концепция «теста Тьюринга» может быть использована в качестве основы для разработки экспериментальных исследований, направленных на оценку того, какие поведенческие особенности должны быть реализованы на искусственном агенте, чтобы сделать возможным или невозможным для человека-наблюдателя отличить компьютерную программу от человека.
Ну и вот: понимание кто сейчас управляет машиной - робот или человек - в случае предсказаний “машина” стремилось к истине в более 50 процентов случаев. Кажется, что разброс несколько сложнее, но скорее интересна сама дискуссия о поведенческом варианте теста Тьюринга. С другой стороны, участники смогли угадать, когда человек контролировал ситуацию более чем в 50% случаев, что, по словам авторов, свидетельствует о том, что люди чувствительны к тонким изменениям в человеческом поведении. Маскарад роботов не за горами.
www.science.org/doi/10.….abo1241https://www.inverse.com/innovation/turing-testЖесты в VR
Академия голограмм WIMI в Гонк Конге (http://hologramsociety.wimiar.com/en/ ) написала новую техническую статью, описывающую технологию взаимодействия жестов человека и компьютера на основе зрения в виртуальной реальности. Документ больше похож на манифест с перечислением методов для распознавания движения в виртуальной среде, но тут надо смотреть на все перечисленных методы
Распознавание рук и сегментация
Распознавание шейпов и форм руки
Цвет кожи рук распознавание
Детекторы движения
Шаблоны основных действий при взаимодействии
Скрытые марковские модели Для распознавания жестов скрытые марковские модели больше подходят для непрерывного распознавания жестов, особенно для сложных жестов, связанных с контекстом.
Из интересного: использование цветовых обозначений в VR для распознавания предметов. Ну те разрисовать фаланги пальцев в VR в разные цвета для контроля над жестами - примитивный, но хороший ход, учитывая ограниченность жестов в культурах людей. www.globenewswire.com/en/news…ity.html
Эта же академия два дня назад выпустила статью про мониторинг работы роботов в вирутальной среде: www.streetinsider.com/Globe+N…044.htmlШар или Co-Orb
Университет Карнеги показал учебный проект студентов: шар, который принимает сообщения из рабочих чатов и выводит на мигающий шар. Co-Orb использует обработку естественного языка для выделения в сообщениях таких ключевых слов, как «спасибо», «благодарю». Затем он запрашивает отправителя и спрашивает, не хотят ли они отправить благодарность Co-Orb своего коллеги. Сообщение отправляется на лампу получателя, которая загорается персонализированными смайликами и именем отправителя. Затем получатель может коснуться Co-Orb, чтобы услышать сообщение, прочитанное вслух.
www.cmu.edu/news/st…orb.html
Скажи «Спасибо» за работу, как кажется, хорошее решение для того, чтобы повысить удовлетворенность сотрудников, но обычно такое хорошо работало в интранетах или мобильных рабочих местах.
https://www.youtube.com/watch?v=x1iq6UMzmRo&feature=emb_imp_woyt
Геймификация. Тетрис и паттерны взаимодействия
Пару лет назад я писал в блоге о своем эксперименте с Тетрисом в ВК. Оказывается, тетрис это крайне хороший пример-артефакт, чтобы показать как изменяются и эволюционируют паттерны поведения при взаимодействии с устройством.
www.i-programmer.info/news/14…nce.html
В 2018 году, игрок на кубке тетриса Джозеф Сэли, которому тогда было 16 лет и который был новичком в игре, использовал технику "гипертаппинг", которая должна была доминировать в соревновательной игре. Вместо того, чтобы ставить фигуры на место, удерживая левую или правую кнопку на ретро-крестовине, этот метод игры, разработанный Кодзи Нисио, требует от игроков быстрого нажатия на крестовину с правильными интервалами, чтобы перемещайте фигуры тетриса в разные стороны, не теряя скорости. Поскольку для эффективности требуется более 10 нажатий кнопок в секунду, это более рискованный и требовательный стиль игры, а также сложный в освоении.
Hypertapping уже идет на убыль. Теперь есть более новая и еще более быстрая техника игры в Tetris, перекатывание, которое включает в себя удары пальцами по задней части контроллера NES, нажимая на кнопки на другой стороне. Игрок бьет по контроллеру сзади!
https://www.youtube.com/watch?v=n-BZ5-Q48lE&feature=emb_title
Это, конечно, похоже на прикол, но этот прикол хорошо демонстрирует как сильно могут изменятся привычные способы взаимодействия с интерфейсами по прошествии времени. Очень большое число инноваций на уровне интерфейса сейчас нам,кажется, до сих пор неизвестно потому что прошло слишком мало времени.
Японская этика и технологии
В книге 2010 года исследуется актуальность японской этики для этики технологий. Монография охватывает теории японских специалистов по этике, таких как Нисида Китаро, а также более современных специалистов по этике, и исследует их актуальность для анализа энергетических технологий, ИКТ, роботов и геоинженерии. Считается, что технологическое развитие вызывает новые этические проблемы, такие как генетически модифицированные организмы, нанотехнологии, вызывающие проблемы с конфиденциальностью, а также проблемы со здоровьем и окружающей средой, робототехника, поднимающая вопросы о значении человечества, и риски ядерной энергетики.
Много хайдеггерианского экзистенциализма, но есть и несколько самобытных имен, например, Имамичи Томонобу. Вот, например, один русский перевод, который касается вендинговых аппаратов и конфуцианской точки зрения на взаимодействие с ними:
В тексте аристотелевской «Метафизики» есть загадочное слово — «tÕ aÙtÒmaton». Оно сбивало с толку многих комментаторов. В. Д. Росс высказал предположение, что это — автоматическая кукла, механическая игрушка. В любом случае это некий чудесный маленький прибор, с которым играл ребенок богатых родителей. Ясно, что их было немного даже в процветающих Афинах: Аристотель пишет о них как о чем-то удивительном.
В нашей урбанистической ситуации имеется много автоматов, которые дают возможность получить желаемый нами предмет — например, напитки или сигареты — стоит только опустить монету и нажать соответствующую кнопку. Каждый человек пользуется этими автоматами без малейшего удивления. Сколько автоматов имеется сейчас в Японии? Согласно докладу Министерства индустрии, их свыше 5500000, включая билетные автоматы на железнодорожных станциях. Численность же населения Японии — около 120000000 человек. Следовательно, примерно на каждые 20 человек приходится по одному автомату. В центральных районах крупных городов численность автоматов уж точно превышает численность больших деревьев.
Это символ того, что технологические образования составляют нашу средой обитания.
«Автомат» греческой античности дарил человеческому существу удивление и радостное утешение, поскольку он был диковинной игрушкой. Что дают нам автоматы в нашей технологической среде? Наши автоматы предоставляют нам удобные и эффективные вещи для повседневной жизни. Они функционируют согласно необходимости, заложенной в механической структуре. Обычно автомат не вызывает удивления. Удивление возникает только тогда, когда он не функционирует: когда мы бросили в него монетку и нажали правильную кнопку, а желаемого не получили. Следовательно, автомат является символом не только того факта, что наша среда состоит из технологических образований, но также и символом технологического функционирования. Он символизирует идолопоклонство перед механической необходимостью, но служит и зеркалом технологического функционирования, своего рода технологией в миниатюре.
Никто из нас не говорит «спасибо», получая желаемую вещь из автомата. И в том, что мы в этом случае не можем сказать «спасибо», ecть определенная необходимость. Если мы опустили монету и нажали на кнопку, желаемая вещь должна выйти из автомата. Если желаемую вещь мы не получаем, мы выражаем неудовольствие. В наше время языковая активность перед лицом автомата — не благодарность, а жалоба.
В век автоматов мы можем получить желаемую вещь без слов благодарности. Больше автоматизма — меньше благодарности. И эта психическая реакция нашего времени чрезвычайно любопытна — мы забываем поблагодарить, получив желаемый предмет, поскольку человеческие отношения здесь отсутствуют. И я имею в виду не только человеческие отношения но и отношения лицом-к-лицу в случае получения желаемого предмета. Таково расстояние (portée), пройденное религией и предел (Tragweite), до которого дошла религиозная духовность. Сегодня в каждой религии самым существенным для молящегося считается требование чего-либо от Бога или Будды.Имамичи Томонобо. Кризис морали и проблемы метатехникиhttp://trubnikovann.narod.ru/Imamichi.htm
Пятничный словарь HCIТехнат (англ. The Technate) — термин, введенный организацией Technocracy Inc в начале 1930-х, чтобы описать область, в которой технократическое общество будет применять методики термодинамического расчета энергетических потребностей вместо метода денег. Все ресурсы и промышленность этой области Земли использовались бы, чтобы обеспечить изобилие товаров и услуг, в пределах жизнеспособного экологического контекста, его гражданам согласно программе расчета энергетических потребностей.
Согласно технократам, технат не может просто быть основан где-нибудь подобно современной стране; существует несколько требований, которые должны быть выполнены для того, чтобы технат смог функционировать:
В нём должно быть достаточно природных ресурсов.
В нём должен быть достаточный промышленный и научный потенциал, чтобы обеспечить технат.
В нём должен быть достаточное количество обученного персонала для его действия.
Это была модель т.н. постдефицитной экономической системы. В ней предполагалось, помимо установления системы распределения ограниченных по запасам благ на основе энергетического учёта, будут еще производится определенные бесплатные блага на жителя.
А что Советы V: как понимали интерфейсы в социалистическом мире?
Описанные выше подходы были направлены на формирование мотивации сотрудников, хоть такая мотивация в дальнейшем и выродилась в движение сталинских ударников.
Одновременно распространение получили идеи рационализации труда, конструктивные предложения по улучшению процессов на местах, а также практики профподбора в РККА. В Красной Армии психофизиологические испытания пригодности к различным военным специальностям стали проводиться с 1921 года. Понятно, что система военкоматов и по сей день осуществляет определенные работы по типологизации призывников для родов войск, но в 30-е это носило скорее трагикомический характер:
«Примером может служить работа группы психологов под руководством И.Н. Шпильрейна, исследовавшая процесс обучения в школе военных летчиков в г. Ейске в 1934 году. В группу исследователей-психологов входили С.Г. Геллерштейн, В.М.Коган, Ротштейн, Э.Л.Лапан. Все они прошли цикл обучения летному делу в качестве курсантов и совершили свой первый полет с инструктором. По воспоминаниям В.М. Когана, до 90% курсантов оказывались непригодными к летному делу после того, как они, завершив цикл теоретического обучения, допускались к первому полету с инструктором. Учебный самолет был оборудован двумя местами с параллельным управлением. Радиосвязи не было, и контакт между курсантом, сидевшим впереди, и инструктором позади него осуществлялся жестами. Курсант видел в боковое зеркало, что инструктор, управляя самолетом, в определенный момент поднимал вверх обе руки. Это означало, что самолет лишился управления, и курсант должен взять его на себя.
Курсанты, плохо владевшие собой, не могли совладать со страхом, который приводил к полной парализации разумных действий. При этом курсанты зажимали руль управления, что нередко приводило к гибели экипажа. Для того, чтобы вывести курсанта из состояния ступора, инструктор брал заранее приготовленную палку и ударял курсанта по голове. Таким образом, некоторые курсанты приходили в сознание и начинали пробовать двигать руль управления».
(Носкова О. Г. «История психологии труда в России»).
Стоит ли говорить, что внедрение измененной системы обучения кардинально изменило показатели? Такой культ рационализации труда вкупе с эффектом низкоуровневой организации процессов положительно сказывался не на интерфейсах, а на том, что впоследствии спустя десятилетия назовут User Experience.
Антропомеханистичный @@gulagdigital — для Холархии.
Подписаться | Написать нам | Стать патроном
Дырявые или текучие абстракции. Human-AI Guidelines in Practice: The Power of Leaky Abstractions in Cross-Disciplinary Teams из Лаборатории HCI в Стэнфорде
В разработке программного обеспечения дырявая абстракция (leaky abstractions) — это абстракция, которая пропускает детали, которые она должна абстрагировать. Согласно закону Джоэла Спольски, закон об утечках абстракций гласит: Все нетривиальные абстракции, в какой-то степени, негерметичны. Абстракции ломаются. Иногда немного, иногда значительно. Это и называется дырами, протечками. Что-то идет не по плану. Это происходит повсеместно, где используются абстракции. Сегодня статья 2022 года из Стэнфорда о сложностях взаимодействия UX-специалистов с AI-специалистами. Современный дизайн выходит за рамки пользовательского интерфейса в компоненты ИИ и разметки данных, тем самым «прокалывая» разделение между разработчиками-архитекторами и дизайнерами. Авторы попытались определить, как дырявые абстракции используются для совместной работы на границах AI-UX и формализовать процесс создания и использования дырявых абстракций.
Системы, которые разрабатывают человекоориентированный ИИ отличаются несколькими важными аспектами:
1) они предлагают больше возможностей для человекоподобных интеллектуальных поведение,
2) они динамически учатся и адаптируют свое поведение с течением времени посредством обратной связи и обучения, и
3) их выходные данные могут быть недетерминированными: их выходные данные отличаются от данных с ожиданиями конечного пользователя
Понятно, что есть и факторы типа контекстуально-зависимых наборов данных, а адаптация к неопределенностям ИИ и ошибкам в дизайне интерфейса.
Группа авторов провела интервью с несколькими командами с ИИ, которые занимались подобного рода исследованиями. Понятно дело, что там какое-то скучное и длинное описание проблем и ошибок, но, вот, что мне показалось интересным и важным:
«Дырявые» абстракции также охватывают широкий спектр междизайнерских представлений для совместной работы. Мы наблюдали случаи, когда команды создавали различные негерметичные абстракции для обеспечения объяснимости, обработки ошибок, обратной связи и обучаемость. В наших интервью дырявые абстракции принимали самые разные формы и касались множество различных элементов пользовательского интерфейса и дизайна модели AI.
Во-первых, вопреки общепринятому мнению, дизайнеры делились подробностями о персонажах и сегментах пользователей. полученные в результате опросов, качественные кодовые книги для маркировки обучающих данных и необработанные данные о конечных пользователях (собранные с помощью процессы исследования UX) для информирования о потребностях в репрезентативности и форматировании обучающих данных ИИ. Во-вторых, дизайнеры делились «примерами» желаемых взаимодействий человека и ИИ с помощью низкоточных артефактов, таких как раскадровки, прототипы,интерфейсы для рабочих процессов задач, электронные таблицы с достоверными данными и даже дневники взаимодействий; В-третьих, учитывая трудности с формулированием отзывов об ИИ от конечных пользователей и предоставлением отчетов, дизайнеры делятся необработанные отзывы о пользовательском тестировании с помощью видео и прямых заметок о наблюдениях, а также пригласить инженеров принять участие в сеансы оценки конечных пользователей. Эти новые совместные практики характеризуют природу дырявых абстракций разработка компонентов ИИ с учетом интересов конечных пользователей.
Чем делятся инженеры? 1) 1) сообщать о необходимых характеристиках обучающих данных для проектирования пользовательского интерфейса, (2) сообщить о поведении модели для проектирования взаимодействия с пользователем и 3) оценить ИИ с конечными пользователям. Те если по русски выводить дизайнера на знакомство с разметчиками данных, тестировать руками ботов и ИИ, а также самим тестировать, что там накодировали для сбора чудесной обратной связи. Картинка с примерами того, что инженеры и ДС могут дать дизайнерам прикреплена.
А что Советы IV: как понимали интерфейсы в социалистическом мире?
Итак, развитие в советском социалистическом мире интерфейсов было связано с:
1). особой, недемократической ролью экспертов, выступающих в качестве хранителей знаний о промышленных, индустриальных, экономических эффектах, а также вооруженных идеологией научного материализма;
2). низким уровнем доверия к языку вообще и большой степенью доверия к интерлингвистике и визуальным языкам, как наиболее демократичным и соответствующим идее передачи знаний на заводах;
3). общим укладом социалистической экономики: в ней не было частного бизнеса, не было конкуренции с ее ролью рекламы и клиентоориентированности.
Но важно отметить определенные успехи, которые были не были случайностью и не имели связи с конкретными именами или институтами. Речь идет о систематических достижениях социалистической идеологии. Так, в период НЭПа уже активно разрабатывают теорию труда: она опирается на успехи индустриальной и организационной психологии по Тэйлору. Ее назвали НОТ — научная организация труда.
Уже в 1918 году физиолог В.М. Бехтерев создал первый послереволюционный научный центр по изучению этой теории — Центральную лабораторию труда института по изучению мозга и психической деятельности, расположенную в Петрограде. В Москве был создан Центральный институт труда и некоторые организации профсоюзов, которые занимали позицию Тейлора: исследования рабочих операций должны быть систематизированы и изучены для дальнейшей передачи трудовым массам. Примером такого подхода был Алексей Гастев, который возглавлял Институт труда вплоть до своего ареста.
Вот несколько примеров лозунгов Гастева, обращенных к рабочим; они написаны в жанре белого стиха:
«Знающий, но не умеющий — это механизм без двигателя»;
«Научись хорошо исполнять — будешь хорошо распоряжаться»;
«Барчук-белоручка склонен бесконечно болтать. Упорный заводской организатор даже при бедном оборудовании победит своей организационной сноровкой»;
«Что такое научная организация труда? — Это организация, основанная на строго учтенном опыте. Прежде чем изменить способы работ, надо их тщательно изучить»;
«Смотри на машину — орудие. Создавай машину — организацию».
Продолжение следует.
Антропомеханистичный @gulagdigital — для Холархии.
Закон Гудхарта (Goodhart's law), назван по имени экономиста, который первым сформулировал эту закономерность:
«Если метрику сделать целью, то она становится плохой метрикой»
Странные интерфейсы. Машина для молитв или робот XVI века.
Испанский инженер и часовщик Джанелло делла Торре (или Турриано) считается создателем «Заводной молитвы», автомата, изображающего монаха, изготовленного в 1560-х годах по заказу Филиппа II Испанского.
После выздоровления своего сына и полагая, что святой Диего из Алькалы каким-то образом вмешался в его защиту, король Испании Филипп II поручил Хуанело Турриано, механику своего отца, построить часовую модель Дидака. Модель выполняла ряд заданных действий, включая удары в грудь, обычно сопровождающие молитву Mea culpa.
Сама по себе эта молитва была формулой покаяния и исповеди, замечу какой разительный контраст с богами-машинами эпохи развитого эллинизма.
В целом, Торре опередил аналогичные автоматоны Вакансона на пару веков…