OmniHuman-1 – це передова AI-технологія від компанії ByteDance (власника TikTok), що здатна перетворювати звичайне фото та аудіозапис на повноцінне відео з людиною, яка говорить або співає. На відміну від типових діпфейк-додатків, які часто генерують лише обличчя та мають помітні артефакти, OmniHuman-1 демонструє вражаючий рівень реалізму: синхронізовану міміку і губи, природні жести тіла та навіть правильні емоції у кадрі. Розробники називають свою систему «мультимодальною», адже вона вміє інтегрувати різні типи вхідних даних – статичні зображення, аудіо, а за потреби й відео-референси – щоб створити переконливе відео за мінімальної інформації.
Як працює OmniHuman-1?
OmniHuman-1 побудований на глибоких нейронних мережах, тренованих на величезному масиві даних. Модель отримала 19 тисяч годин відео для навчання, завдяки чому навчилася відтворювати широкий спектр людських рухів і поз. На вході система бере одне фото людини (портретне, по пояс чи навіть у повний зріст) та аудіокліп із голосом чи музикою.
Далі нейромережа аналізує аудіосигнал – визначає слова, інтонацію, емоції, ритм – і генерує послідовність рухів обличчя та тіла, які цьому відповідають. Окремий компонент системи відповідає за синхронізацію губ (ліпсінк): модель точно «кладе» рухи губ під звук, тож у результаті обличчя на відео виглядає так, ніби справді промовляє або співає даний текст.
Скріншот з відео, згенерованого OmniHuman-1: нейромережа «оживила» образ співачки на сцені на основі єдиної фотографії та аудіозапису пісні. Рухи губ і жестів збігаються з музикою, створюючи ілюзію реального виступу.
В основі OmniHuman-1 лежить так звана стратегія “omni-conditions” – підхід до тренування, коли модель навчалась одразу на кількох видах умов. Її вчили анімувати зображення не тільки за точними руховими даними (наприклад, позами), а й за “слабкими” підказками – лише за звуком або текстовим описом. Такий підхід дозволив не відкидати навчальні приклади без ідеальної розмітки, а використати їх для підвищення гнучкості моделі.
У результаті OmniHuman-1 може однаково добре працювати з різними форматами входу: лише звук (озвучка), лише відео (наприклад, повторити рухи танцю з референс-відео) або комбінація звук+відео. Це фактично універсальний рушій для анімації образу людини за мінімальної інформації.
Цікаво, що система не обмежується реалістичними фото людей – вона здатна анімувати навіть малюнки, персонажів мультфільмів чи тварин. Наприклад, можна подати їй статичний кадр з мультфільму і голос актора, і OmniHuman-1 змусить намальованого героя говорити і рухатись синхронно з репліками. Така універсальність відкриває дорогу креативним застосуванням у сфері розваг.
Якість відео та ефективність моделі
Розробники заявляють, що OmniHuman-1 встановлює новий стандарт реалізму для AI-відео. У демонстраційних прикладах глядачі майже не помічають ознак підробки – рухи виглядають плавними, мікро-вирази обличчя передані точно, а емоції відповідають голосу.
Наприклад, якщо на аудіо людина говорить з ентузіазмом, то згенероване відео відобразить відповідну міміку: живі очі, усмішку, жестикуляцію руками. OmniHuman-1 може змусити фотографію співати, причому рухи рота збігаються з висотою і тембром співу, а поза – з ритмом музики. Це величезний крок вперед, адже більшість попередніх діпфейк-алгоритмів страждали від ефекту «uncanny valley», коли відео виглядає трохи неживим або дивним. Тут же штучний інтелект долає цю межу – в окремих випадках відрізнити фейк від справжнього відео практично неможливо.
Ще одна перевага – повнотілий рух. OmniHuman-1 анімує не тільки обличчя, але й усе тіло на фото. Якщо на фото видно постать з голови до п’ят, модель згенерує рух і для рук, і для корпусу, і навіть переміщення ніг, якщо це логічно випливає з контексту. Наприклад, героїня може природно жестикулювати руками під час промови або пританцьовувати під музику – раніше таких результатів на основі одного кадру досягнути не вдавалося.
Також модель підтримує будь-які співвідношення сторін відео та ракурси: можна отримати як вертикальне відео бюста для соцмереж, так і широкоформатний план у повний зріст – OmniHuman коректно добудує невидимі на фото частини тіла і впише рух у заданий кадр.
За словами ByteDance, генерація відео відбувається мало не в реальному часі. Тобто, маючи потужний графічний процесор, OmniHuman-1 може створювати відеоряд синхронно з відтворенням аудіо. Для порівняння, інші подібні сервіси генерують хвилину відео за кілька хвилин чи навіть годин. Висока оптимізація моделі дозволяє у майбутньому уявити інтерактивні застосунки – наприклад, відеодзвінок, де ваш статичний аватар на льоту говорить вашим голосом.
Звичайно, є і обмеження: щоб отримати максимальну якість, потрібна якісна фотостатика. Якщо завантажити в OmniHuman розмите чи старе фото, відео може виглядати гірше – виникнуть неприродні пози або розмиття деталей обличчя. Так само надто нестандартні рухи (скажімо, акробатичні трюки) моделі даються важко – можуть з’явитися помилки в кінцівках. Але в типових сценаріях – розмова, спів, жестикулювання – модель демонструє впевнені результати.
Сфери застосування: маркетинг, блоги, персоналізоване відео
Незважаючи на статус дослідницького проєкту, OmniHuman-1 вже зараз натякає на величезний комерційний потенціал. Уявіть собі контент-маркетинг нового рівня: бренд може знімати відеоролики за участі віртуального ведучого, причому зовнішність ведучого можна стилізувати під будь-кого – хоч під відомого персонажа, хоч під аватар, спеціально створений під цільову аудиторію.
Маркетологи зможуть генерувати десятки локалізованих версій одного ролика, просто замінивши аудіодоріжку іншою мовою: та сама людина на відео заговорить іспанською чи китайською з ідеальною артикуляцією, не потребуючи реальних перезйомок. Це здешевить виробництво рекламних і навчальних відео та зробить їх легшими у масштабуванні.
Персоналізовані повідомлення – ще один цікавий кейс. Сьогодні компанії розсилають клієнтам типові листи чи push-сповіщення, а завтра зможуть надсилати короткі іменні відеозвернення. Наприклад, менеджер банку, якого клієнт ніколи не бачив, “особисто” вітає його з днем народження у відео, хоча насправді все змонтовано AI з фото менеджера та згенерованого голосу. В епоху, коли увагу користувача складно утримати, такий підхід може значно підвищити залученість – адже відео здається персональним і живим.
Не залишиться осторонь і сфера відеоблогів та розваг. Вже зараз існують віртуальні ютубери, але їх контент продукується традиційною 3D-анімацією. З OmniHuman-1 будь-хто зможе завести влог, не знімаючи себе на камеру напряму: достатньо однієї фотографії, щоб “цифровий двійник” говорив замість вас будь-який сценарій. Блогер може вигадати собі сценічний образ – скажімо, ельфа чи роботизованого персонажа – і випускати ролики, де цей герой читає новини або дає поради, при тому з реалістичною мімікою.
Модель також дозволяє “оживити” історичних осіб або персонажів книг: музеї вже зацікавлені в технологіях, що роблять експозицію інтерактивною. Картина з Шевченком могла б заговорити до відвідувачів його поезією – такі проекти стають можливими без складної і дорогої роботи аніматорів, а лише засобами AI.
OmniHuman-1 vs конкуренти: D-ID, Synthesia, OpenAI Sora
Ринок генерації відео за допомогою штучного інтелекту стрімко розвивається, і у OmniHuman-1 вже є гідні конкуренти. Серед найвідоміших – ізраїльський сервіс D-ID, британський стартап Synthesia, а також експериментальна модель Sora від OpenAI. Кожен з них має свої особливості, тож цікаво порівняти їх за ключовими критеріями: якість зображення, вимоги до вхідних даних, швидкість роботи та гнучкість у налаштуванні.
D-ID
D-ID пропонує хмарну платформу Creative Reality™ Studio, де користувач може завантажити фото та текст або аудіо, і отримати відео з “розмовляючою головою”. Сильна сторона D-ID – простота і доступність: сервіс вже доступний для широкого загалу, ним користуються для створення маркетингових відео, навчальних курсів, а також розваг (широкого розголосу набув інструмент D-ID у співпраці з сервісом MyHeritage, де старі сімейні фотографії «оживали» і ворушилися).
За якістю D-ID помітно поступається OmniHuman-1: його ролики обмежені погрудним зображенням, фон здебільшого статичний, а міміка хоча й реалістична, але доволі простенька. Відео від D-ID часто можна розпізнати по трохи штучному руху рота та малому діапазону емоцій – технологія сфокусована на відтворенні промови, тоді як тонкі жести чи повороти голови передаються менш природньо.
Проте D-ID невпинно вдосконалюється і вже дозволяє обирати з бібліотеки кілька десятків готових аватарів або навіть створювати власного (наприклад, згенерувати обличчя нейромережею і озвучити його). Швидкість генерування у D-ID доволі висока: короткий кліп створюється за лічені секунди або хвилини.
Це не реальний час, але цілком придатно для бізнес-завдань, коли треба масово випускати відеоконтент. Гнучкість кастомізації середня – можна змінити фон слайдів, вибрати мову та голос диктора (є понад 100 готових голосів), але рухи чи позу кадру користувач не контролює.
Типовий приклад AI-аватару з платформ на зразок D-ID або Synthesia: обличчя ведучого виглядає як звичайна фотографія, але в відео такий аватар зможе говорити під завантажений текст. Зазвичай ці системи генерують лише верхню частину тулуба на нейтральному фоні.
Synthesia
Synthesia пішла дещо іншим шляхом. Ця платформа надає користувачам бібліотеку з понад 200 віртуальних акторів – професійно відзнятих людей, обличчя яких використовуються як аватари. Вам не треба завантажувати фото: достатньо обрати аватара, ввести сценарій (текст) і обрати голос та мову – Synthesia згенерує відео, де обраний персонаж промовляє цей текст, ніби телеведучий у кадрі.
Якість цих відео дуже висока у плані чіткості зображення та відповідності голосу руху губ. Synthesia навіть реалізувала «емоційні» аватари – вони можуть посміхатися чи змінювати вираз обличчя залежно від змісту реплік. Проте є і обмеження: всі готові аватари – це строго фронтальні плани по пояс, тобто жодного кроку вбік чи складних жестів руками ви не побачите. Аби зберегти високу фотореалістичність, Synthesia свідомо робить ролики більш статичними (аватари можуть кліпнути очима чи кивнути, але не походжатимуть сценою).
Для бізнес-презентацій чи навчальних модулів цього достатньо, але прямої креативності рухів менше, ніж у OmniHuman-1. Щодо входу: Synthesia дозволяє завантажити фото для створення персонального аватара (скажімо, свого обличчя), але такий сервіс платний і потребує додаткового часу на підготовку моделі. OmniHuman-1 же з самого початку задумувався, щоб оживляти будь-яке зображення «на льоту». В плані швидкості Synthesia працює в режимі рендера в хмарі: відео генерується кілька хвилин залежно від довжини. Результат натомість дуже “відшліфований” – у кадрі ні волосина не тремтить зайве.
Платформа також пропонує широкі можливості кастомізації: сотні шаблонів дизайну, вставку слайдів, графіки, субтитрів. У цьому сенсі Synthesia – швидше інструмент для професійного відеовиробництва, тоді як OmniHuman наразі більше демонструє потужність самої моделі, без оболонки для кінцевого користувача.
OpenAI Sora
Нарешті, OpenAI Sora – один із найсвіжіших гравців, про який багато говорять. Це модель текст-у-відео, тобто Sora генерує відеоряд прямо з текстового опису сцени. У березні 2024 OpenAI показала експериментальний короткометражний фільм «Air Head», створений за допомогою Sora. У ньому чоловік з повітряною кулькою замість голови переживає різні пригоди – ролик виглядає дуже креативно і незвично.
Кадр із короткого фільму «Air Head», згенерованого за допомогою моделі Sora: обличчя героя замінено на жовту повітряну кулю. Sora дозволяє створювати такі фантастичні сцени за текстовим сценарієм, але для досягнення стабільності зображення знадобилася серйозна пост-обробка командою дизайнерів.
Втім, як з’ясувалося, Sora поки не готова до масового застосування – відео “Air Head” довелося редагувати вручну. Команда дизайнерів після генерації десятків фрагментів вручну прибирала артефакти (у сирих кадрах модель іноді “домальовувала” людині звичайну голову замість кульки або змінювала колір кулі). Sora генерує всі елементи кадру з нуля, тож добитись постійного обличчя чи героя на протязі сюжету складно – потрібно фіксувати random seed і багато експериментувати.
До того ж, швидкість Sora низька: для кожних кількох секунд відео треба чекати, і часто пробувати багато варіантів. OpenAI поки що обмежено дає доступ до Sora окремим митцям для збору відгуків, масового релізу не відбулося. Тому прямо конкурувати з OmniHuman-1 наразі Sora не може – це інструмент для генерації цілих сцен за описом, а не для озвучення конкретного обличчя.
Можна сказати, що Sora і OmniHuman ідуть назустріч з двох напрямків: OmniHuman прагне абсолютно реалістично відтворити даний образ у різних варіаціях, а Sora хоче навчитися створювати будь-яке відео на основі вашої задумки. Можливо, в майбутньому ці технології об’єднаються: будемо давати одне фото і текст, а AI зробить повнометражний фільм з цим персонажем у головній ролі.
Перспективи технології OmniHuman-1
OmniHuman-1 поки що існує як дослідницький проект ByteDance – стаття з описом моделі доступна на arXiv, а демо-версію випробовували журналісти. Компанія не повідомляла, коли (і чи) ця технологія стане доступною у вигляді готового застосунку або API.
Однак уже очевидно, що попит на такі можливості величезний. Багато індустрій готові впроваджувати подібні AI-інструменти: від кіновиробництва (щоб знімати сцени без акторів і складних зйомок) до онлайн-освіти (віртуальні викладачі для кожного учня) та навіть до ігрових движків (персонажі, анімовані штучним інтелектом у реальному часі).
ByteDance, маючи TikTok, теж може інтегрувати OmniHuman: уявімо фільтри, які з одного селфі генерують цілий ролик, де ви співаєте популярний трек або розповідаєте історію – такий контент, безумовно, підірве мережу.
Звісно, по мірі розвитку виникатимуть і нові виклики – технічні (як зробити генерацію ще швидшою та доступною на смартфонах) і креативні (як не допустити одноманітності або зловживань контентом). Але факт залишається фактом: OmniHuman-1 продемонстрував, що майбутнє, де оживити будь-яке зображення – питання кількох кліків, уже близько. І конкуренти не відстають, тож нас очікує захоплива гонка AI-видео технологій, від якої виграє, передусім, аудиторія – адже ми отримаємо нові форми медіа, ще більш персоналізовані та захопливі.