Ученые Yandex Research рассказали, как и зачем пробуют интерпретировать алгоритмы машинного обучения и почему у них не всегда это получается. С каждым годом архитектура ML усложняется — модели становятся все больше и тяжелее, вместе с этим увеличивается и количество процессов внутри них. В результате ученые не могут понять, почему у компьютера на выходе получается тот или иной результат. «Заглянуть» в нейросеть пытаются по всему миру: например, разработчики DeepDream зареверсили действие алгоритмов, чтобы разобраться, на какие признаки объектов модель обращала внимание в процессе обучения. В России этим направлением активно занимается команда Yandex Research – ребята рассказали N+1, как разработчики изучают современные ML-алгоритмы, и почему это стоит делать, даже если они работают хорошо.