Знаете, какое у нейросетей слабое место? Мы постоянно слышим о том, как они справляются со своими обязанностями в самых разных сферах: и фото обрабатывают, и в шахматы гроссмейстеров обыгрывают, и даже рак диагностируют. Но мы всё ещё не до конца понимаем логику работы ML-алгоритмов. Дело вот в чём: последние несколько лет ученые сосредоточились на том, чтобы модели машинного обучения работали эффективно. Теперь по основным метрикам компьютеры показывают превосходные результаты, но разработчики не могут объяснить, КАК нейросеть принимает то или иное решение. Чтобы «залезть в голову» ML-модели, нужно развернуть всю архитектуру нейросети, но когда речь идет об алгоритме со 175 миллиардами параметров, обученном на сотнях гигабайтов данных, это становится либо слишком сложно, либо совсем невозможно. Мои партнёры из Yandex Research выпустили отличную статью, в которой рассказали, как разработчики изучают современные ML-алгоритмы — и почему это стоит делать, даже если они работают хорошо. Прочитал её в своём недавнем мини-отпуске, советую.