Обложка канала

Малоизвестное интересное

Рассказы, анализ и аннотации происходящего на стыке науки, технологий, бизнеса и общества. Поскольку переделать мир мы не можем, то давайте попробуем его понять.

Малоизвестное интересное

3 года назад
Открыть в
​​Из ИИ-лабов в любой момент могут утечь такие «плохие вещи», что утечка био-вирусов покажется пустяком. Джек Кларк нажал кнопку тревоги на слушаниях по ИИ в Конгрессе США. Все сегодняшние риски – цветочки в сравнении с завтрашними. На проходившей позавчера сессии AI Caucus конгрессмены впервые с высокой политической трибуны услышали правду о рисках ИИ. Эта правда в том, что: 1. риски ИИ оказались существенно выше, чем предполагалось, и сегодня ни по одному из них нет хоть сколько-нибудь удовлетворительного решения; 2. эти риски предельно усугубляются их абсолютным непониманием общественностью и правительством США; 3. уже в этом году риски ИИ довольно высоки, но буквально через год-другой они станут таковы, что все известные нам сегодня глобальные риски померкнут на их фоне. Своим выступлением перед конгрессменами Джек Кларк (соучредитель Anthropic, член National AI Advisory Committee (NAIAC); сопредседатель AI Index; сопредседатель OECD Working Group on AI + Compute и т.д.) как будто разбил стекло пожарной сигнализации и нажал на красную кнопку тревоги. Его выступление оказалось настолько простым и убедительным, что его, похоже, поняли даже конгрессмены (мои читатели могут также прочесть его слайды). Логика Джека Кларка такова. 1. Скорость развития ИИ-технологий настолько возросла, что не только политики, но и даже сами исследователи ИИ не успевают отслеживать новые ступени прогресса. Иллюстрируя это, Джек приводит пример 3х препринтов, опубликованных за последние 10 дней, результаты которых принципиально меняют представление о рисках ИИ: - Tracking the industrial growth of modern China with high-resolution panchromatic imagery: A sequential convolutional approach - Dataset Bias in Human Activity Recognition - A Watermark for Large Language Models 2. Из-за этой сумасшедшей скорости общественность и правительства не отдают отчета в том: - что риски распространения сильно продвинутых ИИ, заточенных на «плохие применения», куда выше, чем осознаваемые и понимаемые риски распространения оружия путем его печати на 3D принтере; - что риски сесть на иглу пропаганды использующих ИИ правительств и корпораций, куда выше, чем риски тотального оболванивания путем использования ТВ и онлайн-рекламы; - что из ИИ-лабораторий в любой момент могут утечь такие «плохие» интеллектуальные агенты и инструменты, что утечка био-вирусов покажется пустяковым инцидентом; - что Китай а) уже вовсю использует ИИ для укрепления государства; б) разбирается в этом гораздо лучше, чем вы себе представляете; с) с каждым месяцем уходит вперед, пока США не поняли уровень рисков. 3. Общественность и правительство находится в плену иллюзий о возможных путях преодоления уже известных рисков. Все они – по-прежнему, открытые проблемы: - мониторинг ИИ систем ИИ с помощью самого же ИИ для предотвращения злоупотреблений; - возможность понимать «логику решений» ИИ; - Возможность ‘отслеживать’ результаты работы ИИ; - Возможность сделать системы "беспристрастными" и "непредвзятыми" Джек Кларк закончил выступление криком вопиющего в пустыне: • Нормативно-правовая база и рыночный ландшафт побуждают людей не говорить вам и не лгать вам до тех пор, пока что-то не пойдет "на ура’. • Если вы думаете, что опасности, связанные с ядерным оружием и биологией – самое плохое, просто немного подождите. • Увы, но среди политиков США нет заметных людей, с которыми можно было бы хотя бы обсудить все это. Я пытался… Как и Джек, я тоже пытаюсь. И пока с тем же успехом. #РискиИИ