Новий метод побудови зображень з тексту від NVIDIA:
https://research.nvidia.com/labs/par/Perfusion/"Моделі перетворення тексту в зображення (T2I) пропонують новий рівень гнучкості, дозволяючи користувачам керувати творчим процесом за допомогою природної мови. Однак персоналізація цих моделей для узгодження з наданими користувачем візуальними концепціями залишається складною проблемою. Завдання персоналізації T2I ставить численні складні завдання, такі як підтримка високої точності зображення з можливістю творчого контролю, поєднання кількох персоналізованих концепцій в одному зображенні та збереження невеликого розміру моделі. Ми представляємо Perfusion, метод персоналізації T2I, який розв'язує ці проблеми за допомогою динамічних оновлень рангу 1 базової моделі T2I. Perfusion уникає надмірного оснащення, вводячи новий механізм, який «блокує» ключі перехресної уваги нових концепцій до їх вищої категорії. Крім того, ми розробляємо підхід із закритим рангом 1, який дає нам змогу контролювати вплив вивченої концепції протягом часу висновку та комбінувати кілька концепцій. Це дозволяє ефективно збалансувати візуальну точність і текстове вирівнювання за допомогою однієї навченої моделі розміром 100 КБ, що на п’ять порядків менше, ніж поточний рівень техніки. Крім того, він може охоплювати різні робочі точки по фронту Парето без додаткового навчання. Нарешті, ми показуємо, що Perfusion перевершує потужні базові показники як у якості, так і кількісно. Важливо те, що блокування клавіш дає нові результати порівняно з традиційними підходами, дозволяючи зображати персоналізовану взаємодію об’єктів безпрецедентними способами, навіть в одноразових налаштуваннях."
Стаття на тему "Потік від симуляції до реальності":
https://www.nature.com/articles/s41567-022-01788-5.epdf?sharing_token=ube1KozTYa5LaC9cu6hUTNRgN0jAjWel9jnR3ZoTv0NVOvMSmh5IwcU6Uxmom-KR2i-Pcwh_ETc6--qXhoO5LUGumCj0CT7GiaXaqsPr0FAEGtEInUThPONICh3K7Yk7QT9j7819reQGUGm4B7YVD61HSBoWLK0qWbTG__eeIcs%3D"Навіть із цими вдосконаленнями завжди здавалося, що в комп’ютерній графіці цей реалізм існує лише для зовнішнього вигляду—і я ніколи не сподівався, що ці симуляції матимуть якусь прогностичну силу. Але сьогодні ця перспектива стає все більш імовірною. Десятиліттями фізичне моделювання для цифрових медіа вважалося прийнятним, якщо воно виглядало переконливим для людського ока, і не було достатньо точним, щоб інженери могли перевірити, наприклад, чи справді нова конструкція вітрової турбіни справді працює правильно.
Однак обчислювальна вартість існуючих методів зменшилася в чотири рази лише за один рік завдяки більш простим, ефективнішим схемам геометричної апроксимації, які легше відображаються на існуючі відеокарти. Завдяки цьому тепер можна моделювати повітряний потік у міському кварталі або створювати прогнозні тести в аеродинамічній трубі для конструкції крила літака, причому кожна секунда анімації займає лише кілька хвилин для обчислення. Симуляції, які працюють як у реальному часі, так і передбачувані, знаходяться в межах досяжності—незабаром ми можемо потрапити у світ, де інженер зможе перевіряти нові ідеї в дизайні літаків кожні кілька хвилин."
