Большая проблема ML, которую некоторые разработчики долго игнорировали в погоне за крутыми результатами, — прозрачность алгоритмов. Чем сильнее усложняется архитектура машинного обучения, тем сложнее разобраться, что происходит внутри этого «черного ящика» и как нейросеть принимает то или иное решение. Старший исследователь Yandex Research Андрей Малинин объясняет: «Представьте огромный часовой механизм размером с небоскреб, внутри которого крутятся миллиарды шестеренок размером в ноготь — все красиво крутится, но ничего не понятно. Мы можем посмотреть на какой-то локальный кусочек с парой шестеренок, и вроде ясно, как в нем все работает, но неясно, как это встраивается в механизм в целом». Понять логику шайтан-машины стараются специалисты по всему миру — предлагают новые модели и пробуют «зареверсить» действие алгоритмов. В России этим направлением активно занимается команда Yandex Research — вместе с N+1 они подготовили лонгрид о том, как заглянуть в чертоги разума ИИ и оценить эффективность его работы.