⭐️ Hard Patches Mining for Masked Image Modeling We observe that the reconstruction loss can naturally be the metric of the difficulty of the pre-training task. Мы предлагаем Hard Patches Mining (HPM), совершенно новую структуру для предварительного обучения MIM. Мы заметили, что потери на восстановление могут естественным образом служить метрикой сложности задачи предварительного обучения. 🖥 Github: https://github.com/haochen-wang409/hpm ⏩ Paper: https://arxiv.org/abs/2304.05919v1 ⭐️ Dataset: https://paperswithcode.com/dataset/ade20k ai_machinelearning_big_data