Обычно трудно понять, что происходит внутри нейронной сети. Чаще всего разработчики обращаются с ней как с чёрным ящиком, регулируя гиперпараметры (число итераций обучения, алгоритм обучения, функцию ошибки и т.д.), пытаясь найти баланс между недо- и переобучением системы.

К счастью, для одного из самых популярных и расхайпованных видов нейронных сетей — свёрточных – существует способ заглянуть внутрь чертогов разума машины и посмотреть как искусственный ̶и̶д̶и̶о̶т̶ интеллект видит входные данные, в данном случае – картинки.

Почитайте несложную статью с примерами кода, вполне доходчиво и легко для повторения
#ML #машинное_обучение #habr #AI #IT
https://habr.com/ru/post/436838/