Пример создания нативного приложения с использованием реализации Core ML Stable Diffusion от Apple В декабре в Apple представили оптимизацию Core ML для Stable Diffusion в macOS 13.1 и iOS 16.2, а также код для начала развертывания на устройствах Apple Silicon. Существует ряд причин, по которым развертывание Stable Diffusion на устройстве в приложении предпочтительнее серверного подхода. 1️⃣ Во-первых, конфиденциальность конечного пользователя защищена, поскольку любые данные, предоставленные пользователем в качестве входных данных для модели, остаются на устройстве пользователя. 2️⃣ Во-вторых, после первоначальной загрузки пользователям не требуется подключение к Интернету для использования модели. 3️⃣ Наконец, локальное развертывание этой модели позволяет разработчикам сократить или полностью исключить свои расходы, связанные с сервером. 🔗 В этом репозитории содержатся подробные инструкции по тестированию и развертыванию. 🔗 Пример реализации в нативном приложении на Swift. Внимание, по очевидным причинам требования к совместимости довольно существенные: 🔘 macOS Ventura 13.1, iOS/iPadOS 16.2, Xcode 14.2. 🔘 Время работы: ~8s in macOS on MacBook Pro M1 Max (64 GB). Model: Stable Diffusion v2-base, ORIGINAL attention implementation, CPU + GPU. 23 ~ 30s on iPhone 13 Pro. Model: Stable Diffusion v2-base, SPLIT_EINSUM attention, CPU + Neural Engine, memory reduction enabled. @iOS Dev