ОблоТка канала

LEFT JOIN

5709 @leftjoin

Канал Николая Π’Π°Π»ΠΈΠΎΡ‚Ρ‚ΠΈ ΠΎΠ± Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠ΅ ΠΈ Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π΄Π°Π½Π½Ρ‹Ρ…, data science ΠΈ BI

LEFT JOIN

3 Π³ΠΎΠ΄Π° Π½Π°Π·Π°Π΄
ΠžΡ‚ΠΊΡ€Ρ‹Ρ‚ΡŒ Π²
🎢 Riffusion β€” модСль для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΌΡƒΠ·Ρ‹ΠΊΠΈ Π½Π° основС Stable Diffusion 🎹 МодСль Stable Diffusion Π²Π·Π±ΡƒΠ΄ΠΎΡ€Π°ΠΆΠΈΠ»Π° ΡƒΠΌΡ‹ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΎΠ² Π‘Π΅Ρ‚Π° ЀорсгрСна ΠΈ Айка ΠœΠ°Ρ€Ρ‚ΠΈΡ€ΠΎΡΠ°, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ создали свой ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ Riffusion для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΌΡƒΠ·Ρ‹ΠΊΠΈ. ΠŸΠΎΡ‡Π΅ΠΌΡƒ Riffusion? НазваниС ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° β€” это слияниС Π΄Π²ΡƒΡ… слов riff (Β«Ρ€ΠΈΡ„Ρ„Β») + diffusion («диффузия»). Настроив модСль, Π‘Π΅Ρ‚ ΠΈ Айк Π½Π°ΡƒΡ‡ΠΈΠ»ΠΈ Π΅Π΅ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ спСктрограммы, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π·Π°Ρ‚Π΅ΠΌ ΠΌΠΎΠΆΠ½ΠΎ ΠΊΠΎΠ½Π²Π΅Ρ€Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π² ΠΌΡƒΠ·Ρ‹ΠΊΡƒ. Как ΠΆΠ΅ ΠΈΠΌ это ΡƒΠ΄Π°Π»ΠΎΡΡŒ? Π—Π° основу Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ взяли Stable Diffusion v1.5, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ Π·Π°Ρ‚Π΅ΠΌ Π½Π°Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²Π°Π»ΠΈ Π½Π° спСктрограммах, Π΄ΠΎΠΏΠΎΠ»Π½Π΅Π½Π½Ρ‹Ρ… тСкстовыми коммСнтариями. Π‘ΠΏΠ΅ΠΊΡ‚Ρ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ° β€” это Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½ΠΎΠ΅ прСдставлСниС спСктра ΠΈΠ· частот сигнала, ΠΈΠ·ΠΌΠ΅Π½ΡΡŽΡ‰Π΅Π³ΠΎΡΡ Π²ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ. Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ ΠΎΠΊΠΎΠ½Π½ΠΎΠ΅ ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠ΅ Π€ΡƒΡ€ΡŒΠ΅ (Π·Π²ΡƒΡ‡ΠΈΡ‚ ΡƒΠΆΠ΅ ΡΡ‚Ρ€Π°ΡˆΠ½ΠΎ), Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ ΠΊΠΎΠ½Π²Π΅Ρ€Ρ‚ΠΈΡ€ΠΎΠ²Π°Π»ΠΈ Π°ΡƒΠ΄ΠΈΠΎΡ„Π°ΠΉΠ»Ρ‹ Π² спСктрограммы. Π”Π°Π½Π½Ρ‹ΠΉ способ позволяСт ΠΈ изобраТСния, сгСнСрированныС модСлью, ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Ρ‚ΡŒ Π² Π°ΡƒΠ΄ΠΈΠΎ, поэтому Π‘Π΅Ρ‚ ΠΈ Айк Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΠ»ΠΈ нСпосрСдствСнно сам процСсс создания ΠΌΡƒΠ·Ρ‹ΠΊΠΈ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠΌ Π“Ρ€ΠΈΡ„Ρ„ΠΈΠ½Π°-Π›ΠΈΠΌΠ° для восстановлСния Ρ„Π°Π· (Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ модСль Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π°ΠΌΠΏΠ»ΠΈΡ‚ΡƒΠ΄Ρƒ ΠΊΠΎΠ»Π΅Π±Π°Π½ΠΈΠΉ Π²ΠΎΠ»Π½Ρ‹, Π½ΠΎ Π½Π΅ Ρ„Π°Π·Ρ‹). Π‘ подробностями зацикливания Π°ΡƒΠ΄ΠΈΠΎ ΠΎΡ‚Ρ€Ρ‹Π²ΠΊΠΎΠ² ΠΈ ΠΈΡ… интСрполяции, Π° Ρ‚Π°ΠΊΠΆΠ΅ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°ΠΌΠΈ ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡ‚ΡŒΡΡ Π² ΡΡ‚Π°Ρ‚ΡŒΠ΅. Ну Ρ‡Ρ‚ΠΎ, Ρ‚ΠΎΠ²Π°Ρ€ΠΈΡ‰ΠΈ ΠΌΡƒΠ·Ρ‹ΠΊΠ°Π½Ρ‚Ρ‹, смоТСт Π»ΠΈ Riffusion Π½Π°ΠΏΠΈΡΠ°Ρ‚ΡŒ Π½ΠΎΠ²ΡƒΡŽ Β«Π›ΡƒΠ½Π½ΡƒΡŽ сонату» ΠΈΠ»ΠΈ Β«We will rock youΒ»?