Нейросеть с бурной визуальной фантазией DALL-E наделала шума в медиа, а вот нейросеть CLIP от тех же Open AI почему-то прошла практически незамеченной. А зря! CLIP — это DALL-E наоборот, она получает на вход изображение и возвращает его текстовое описание. Это не обычная модель машинного зрения — CLIP обучена на парах "изображение - текст", то есть она не распознает объекты как таковые, она подбирает наиболее вероятное описание к изображению, обучаясь на естественном языке с нуля. Такой подход дает намного больше гибкости и устойчивости к распознаванию нестандартных изображений: на небанальных датасетах CLIP показывает лучшие результаты, чем ImageNet ResNet.
