Сейчас законодатели обратили внимание на алгоритмы автоматизированного принятия решений и вводят новые законы, ужесточающие требования к работе таких алгоритмов. Понятно, что чем больше решений у нас принимаются в полностью автоматическом режиме (это включает и рекомендательные системы), тем больше рисков мы имеем в плане возможных ошибок и их последствий. Не так давно публиковал тут новость про то, что в EU ввели ряд ограничений на алгоритмы рекомендательных систем и в России у нас так же идет обсуждение похожих вещей.
В статье "Responsible Data Management" рассматриваются практики ответственного управления данными, которые предусматривают встраивание практик контроля легальных и этических вопросов в весь жизненный цикл управления данными.
Особое внимание уделяется практикам избежания "предвзятости" в принятия решений, которые могут появляться из-за их наличия в исходных данных. Это всем известные и широко обсуждаемые примеры, когда алгоритмы при принятии решения учитывают, например, цвет кожи человека.
В общем, что бы таких неприятностей не было в ваших системах, надо особое внимание уделять этим моментам на этапе сбора и обеспечения качества данных.
cacm.acm.org/magazin…fulltext
Perspectives on the role and responsibility of the data-management research community in designing, developing, using, and overseeing automated decision systems.