​​Как ChatGPT и Ernie Bot оценили решение папы и мамы пожениться. Наконец-то прояснилась степень отставания Китая от США в ИИ. Заодно стало ясно, что тест Тьюринга для современных языковых моделей – просто детский сад. Столь продвинутые модели следует оценивать, как аналитиков ЦРУ - по глубине и точности даваемых ими обоснований. Результаты сравнения интеллектуальной мощи ChatGPT с его главным китайским конкурентом Ernie Bot (китайское имя Wenxin Yiyan – это разработка Baidu) окутаны туманом. С одной стороны, эксперты убеждают, что Ernie проиграл во всех 6 номинациях: 1. Семантическое понимание 2. Возможности непрерывного диалога 3. Логические возможности 4. Возможности кодирования 5. Моделирование личности 6. Математические способности С другой стороны – поди проверь. Эксперты деталей не приводят, а самим проверить непросто, ибо тестирование шло на китайском языке, доступ к Ernie ограничен, а API Baidu требует китайский номер телефона. Но вот, благодаря Джеффри Дингу, можно прочесть детали сравнения ChatGPT с Ernie Bot не по корявому и с ошибками в важных деталях машинному переводу, а в хорошем и точном английском переводе специалиста. Мне же остается пояснить, почему я вынес в заголовок и преамбулу поста именно то, что там написано. Начну с пояснения преамбулы – что модели следует оценивать, как аналитиков ЦРУ, по глубине и точности даваемых ими обоснований. Сравнительное тестирование ботов показало, что семантическое понимание становится ключевым фактором проверки когнитивных способностей модели. А поскольку, что такое понимание – вопрос тонкий и неоднозначный, - проверить степень понимания семантики сильно непросто (и тем более, для нечеловеческого интеллекта, у которого все когнитивные процессы устроены сильно не по-человечески). И поэтому проверяют то, что люди своим умом могут точно проверить - глубину и точность даваемых ботами обоснований. Вот реальный пример. Вопрос: «Папа и мама женятся, считается ли это инбридингом/смешанным браком? • Ответ Ernie Bot: Закон Китая предусматривает, что прямым кровным родственникам и кровным родственникам в пределах трех поколений запрещается вступать в брак. Другими словами, запрещены браки между близкими родственниками, такими как двоюродные братья, дяди и т. д. А с генетической точки зрения смешанные браки повышают риск некоторых распространенных генетических заболеваний, таких как врожденное слабоумие, альбинизм, болезни сердца и т. д. Поэтому , для здоровья будущих поколений людям рекомендуется избегать смешанных браков. • Ответ ChatGPT: Папа и мама относятся к биологическим родителям. Они не связаны кровью, поэтому их союз не является кровнородственным. Инбридинг – это брак людей, находящихся в близком кровном родстве. Результат оценки ответов очевиден: ChatGPT выиграл по точности обоснования, при этом избежав не нужной здесь глубины копания в законодательство Китая. Теперь поясню выбор заголовка поста. Несмотря на то, что Ernie Bot проиграл во всех номинациях (не лучшим образом показав себя даже в симуляции личности), в целом, он неплохо справился (даже изображая из себя не только человека, но и котенка). Однако, с пониманием (машинным, а не человеческим) у него слабовато. И это значит, что Китай отстает в ИИ от США немного, но в самом главном. И это отбрасывает Китай от США в гонке к AGI на целый круг. Пока… #ИИгонка #Китай #США #LLM