Национальный институт стандартов и технологий (National Institute of Standards and Technology, NIST) рекомендует увеличить области поиска источников ошибок в системах искусственного интеллекта (ИИ) и обращать внимание не только на изъяны в процессах машинного обучения и неадекватные наборы данных, на которых ИИ «тренируется», но и на более широкие социологические факторы, влияющие на разработку технологии.
Кроме описанных ранее «статистических» и «вычислительных» ошибок следует принимать во внимание ошибки «человеческие/пользовательские» и «общесистемные».
Общесистемные ошибки появляются в результате того, что государственные институты ставят в невыгодное положение определённые социальные группы (пример – расовая дискриминация).
Пользовательские ошибки связаны с тем, как люди интерпретируют данные, пытаясь получить недостающую информацию (пример – то, как место проживания, т.е. социальное окружение человека влияет на вероятность, с которой полиция при случае сочтёт его подозреваемым в преступлении).
Сочетание пользовательских, общесистемных и вычислительных ошибок может образовать «разрушительную смесь», особенно если в руководстве по использованию ИИ-системы не описаны риски, связанные с её применением, говорится в документе NIST.