Тема "понимая" логики принятия решений нейронными сетями, для того что бы исключить случаи использования "неэтичных" предикторов или предвзятости, набирает обороты в мире машинного обучения. Вот в Сингапуре написали интересную утилиту "AI governance testing framework and toolkit" для решения этой задачи. Пока это MVP, но в целом описание довольно интересное и похоже решение рабочее и, что интересно, имеет web интерфейс. Framework объединяет в себе целый набор open-source инструментов для такого тестирования, таких как: Adversarial Robustness Toolkit, SHAP (SHapley Additive Explanations), AIF360, and Fairlearn. Пока решение работает для методов бинарной классификации и регрессии из таких библиотек как: scikit-learn, TensorFlow, and XGBoost. Подробнее в этом посте: www.marktechpost.com/2022/06…work-mvp