Runway ML та Kling AI – дві найпотужніших нейромережі для генерації відео нового покоління. Обидва мають свої особливості та підходи до промптингу. Попри багатий функціонал обох ШІ сервісів, не можна сказати, що один замінює інший. Завдання, що під силу Runway, не завжди вдаються Kling, і навпаки. У цій статті детально розглянемо основні можливості цих відеогенераторів та розберемося, для яких цілей краще підходить кожен з них.
Runway Gen-3
Runway Gen-3 Alpha – потужна нейромережа, що поєднує високу швидкість обробки з кінематографічною якістю відео. Завдяки підтримці двох режимів роботи – стандартного і Turbo – платформа підходить для творчих проєктів та комерційних завдань. Для тестування нейронки даються 125 кредитів одноразово. Після їх використання потрібно купувати підписку.
Основні характеристики
| Характеристика | Опис |
| Режими роботи | Стандартний і Turbo |
| Формати відео | 16:9 (ландшафт) та 9:16 (портрет) |
| Роздільна здатність | 1280×768 для Turbo режиму |
| Час генерації | 25-30 секунд у Turbo, 10 хвилин у стандартному режимі |
| Тривалість відео | До 10 секунд із можливістю продовження завдяки Extend Video |
| Функція Expand Video | Розширює відео за межі оригінальних країв без втрати деталей |
| Функція Extend Video | Додає секунди до відео, забезпечуючи плавні переходи |
| Функція Act-One | Забезпечує природні рухи персонажів і емоції |
| Turbo режим | Швидка генерація відео для комерційних завдань |
| Ліпсінк | Синхронізація руху губ із текстом або аудіо |
Для яких генерацій підходить Runway Gen-3
Ранвей – справжній майстер складних сцен. Він анімує текст, зробить кадр з висоти пташиного польоту, згеренує плавний перехід ранку в день та ніч. Можна експериментувати з несподіваними поворотами камери. Але для прийнятного результату знадобиться в середньому 5 – 6 спроб, якщо не більше.
Щоб отримати успішну генерацію, необхідно чітко слідувати формулі промпту. Щоправда, натиснувши на іконку Examples, ви отримаєте певні підказки, які можете використати для складання промпту. За 10 кредитів є можливість підвищити якість генерації до 4К. Нижче наведені приклади кадрів, згенерованих у Runway Gen-3.
Функція Expand Video
У Ранвей можна робити з вертикальних рілс горизонтальні відео для ютуб та навпаки. Ви просто завантажуєте картинку, а нейронка згенерує область, якої бракує обраному формату кадра.
Функція Act One
Просто зніміть себе, завантажте відео, оберіть стиль та перетворіться на мультяшного персонажа чи кого завгодно. Тепер студії анімації достатньо зафільмувати сцени майбутнього ролика з професійним актором, завантажити їх у Ранвей та додати зображення персонажа, на якого актор перетвориться в ролику. Далі нейронка згнерує відео з бажаним персонажем замість актора, зберігаючи його емоції та інтонації. Уявіть, які можливості це дає відео продакшену.
Промптинг Runway Gen-3
Ось основні правила створення промптів для роботи з Gen-3 Alpha, що містяться на офіційному сайті Runway.
Чіткість і простота
Промпти мають бути прямими і легкими для розуміння. Уявіть, що ви пояснюєте сцену колезі, який не знайомий з вашою роботою чи естетикою. Потрібно уникати складних концептуальних фраз.
Приклад:
- чоловік ламає код – неправильно
- чоловік швидко набирає на клавіатурі – правильно
Описова форма
Промпти повинні бути описовими, а не питальними чи командними. Уникайте команд або фраз, які занадто узагальнені.
Приклад:
- додай собаку на зображення – неправильно
- собака грайливо бігає по полю, виходячи з кадру – правильно
Стверджувальне формулювання
Уникайте негативних формулювань у промптах, оскільки вони можуть викликати зворотній ефект.
Приклад:
- камера не рухається, без руху, без хмар у небі – неправильно
- статичний кадр, камера залишається нерухомою, ясне синє небо – правильно
Структура текстового промпту
Використовуйте таку формулу:
[Рух камери]: [Описання сцени]. [Додаткові деталі]
Приклад: Низький кут, статичний кадр: Камера нахилена вгору на жінку в тропічному лісі, що носить кольорову сукню, на фоні яскравих зелених рослин.
Ключові слова можуть бути корисними для досягнення конкретних стилів у результаті. Додайте їх відповідно до контексту, щоб підкреслити важливі деталі.
Приклад ключових слів для руху:
- Динамічний рух
- Повільний рух
- Швидкий рух
Ви можете додавати деталі освітлення для визначення бажаного ефекту, наприклад:
- Дифузне освітлення
- Силует
- Гелеве освітлення (наприклад, червоне)
Для різних типів сцен можна використовувати рухи:
- Вибухає
- Вигинається
- Перетворюється
Якщо використовуєте вхідне зображення, просто опишіть бажаний рух або зміну в кадрі, не потрібно описувати самі елементи зображення.
Якщо ви плануєте повторно використовувати частину промпту, можна використовувати заповнювачі в квадратних дужках для швидкої зміни.
Приклад: Камера безперервно пролітає через [локація]
Тобто, ви просто замінюєте локацію в дужках, а рух камери залишається налаштованим.
Складаючи промпти за рекомендованою розробниками нейронки структурою, ви маєте більше шансів на успішну генерацію.
Kling AI
Kling AI — інноваційна нейромережа від компанії Kuaishou, створена для генерації відео з реалістичними та складними рухами. Вона вчилась на великих масивах відеоданих з TikTok, тому відтворює танці, стрибки, бої, з максимально природною динамікою майже без артефактів. На думку автора, в цьому нейронка перевершила Ранвей.
Особливо приємно, що Клінг дає своїм користувачам 166 безкоштовних кредитів кожного місяця, які дозволяють протестувати всі його функції. Інша справа, що скористатись ними без підписки навряд чи вийде через величезну завантаженість. Тому раджу оформити мінімальну підписку на 660 кредитів, щоб спробувати відеогенератор.
Основні характеристики
| Характеристика | Опис |
| Motion Brush | Пензлі для точного контролю над анімацією персонажів та об’єктів у версіях 1.0, 1.5 |
| Реалістичні та природні рухи | Відтворення динамічних сцен |
| Роздільна здатність | Full HD 1920×1080 у версіях 1.5, 1.6 |
| Формати відео | Горизонтальне (16х9), вертикальне (9х16), квадрат (1х1) |
| Ліпсінк | Синхронізація руху губ із аудіо |
| Час обробки | 5 – 10 хвилин, залежно від складності сцени |
| Тривалість відео | До 10 секунд |
Для яких генерацій підходить Kling AI
На відміну від Runway, Клінг економніше витрачає кредити. Достатньо всього 2 – 3 спроби, щоб отримати успішну генерацію. Проте з таймлапсом, польотами дрона та анімацією тексту нейронка працює значно гірше за свого конкурента. Тож її краще використовувати для природних сцен, що відтворюють рух. Ваші персонажі можуть цілком натурально бігати, танцювати, співати, говорити – навіть з емоціями.
Водночас ви можете задати 2 ключових кадри (Keyframes) та створити повноцінний кліп з органічними переходами. Якщо ви бажаєте зробити кліп з одним героєм у різних образах та локаціях, скористайтеся референсом на персонажа. Також можете додати до свого відео персонажів та обʼєкти, які хочете бачити в кліпі, за допомогою функції Elements.
Нижче наведені кілька кадрів, згенеровані в Kling AI, але вони ілюструють далеко не всі можливості нейронки. Спробуйте створити у Клінгу власний екшн.
Функція Elements у Kling AI
Функція Elements у Kling AI 1.6 дозволяє завантажувати від одного до чотирьох зображень, вибирати об’єкти (людей, тварин, предмети або сцени) та задавати їм рухи та взаємодію. На основі цього модель створює відео.
Можливості функції Elements
Використання Elements для стабільності персонажа:
- Завантаження одного або кількох зображень для збереження стилю персонажа у всіх кадрах
- Можливість додавати сцени чи одяг як окремі елементи та задавати їх рух у промпті
Використання Elements для взаємодії персонажів:
- Завантаження зображень з кількома персонажами
- Опис їхньої взаємодії, наприклад, двоє людей розмовляють або обмінюються предметами
Функція Elements відкриває нові можливості для створення детальних і динамічних відео з максимальною точністю у відтворенні об’єктів та рухів.
Функція Extend
Функція Extend with Prompts дозволяє продовжувати відео на 4-5 секунд з можливістю створення кількох продовжень. Загальна тривалість ролика може досягати 3 хвилин. Згенерований кадр можна продовжувати за допомогою автоматичного режиму або через введення текстового промпту. Функція Extend розташована під вашим згенерованим відео.
Режими розширення відео:
- Auto-Extend – модель автоматично продовжує відео на основі його змісту, без необхідності введення промпту
- Customized Extend – користувач сам задає напрям відео через текстовий промпт, описуючи об’єкт і його рухи
Щоб уникнути різких змін у відео, важливо правильно формулювати промпт, зберігаючи послідовність рухів і кадрів.
Формула промпту
Промпт = Об’єкт + Рух
- Об’єкт – головний елемент у відео (людина, тварина, предмет)
- Рух – опис дії, яку виконує об’єкт
Приклад розширення відео:
- Промпт 1: Жінка стоїть у снігу, піднімає руку до капелюха
- Промпт 2: Жінка опускає руку та дивиться вдалину
Корисні поради:
- Промпт має відповідати головному сюжету відео, інакше можуть з’явитися різкі переходи або зміна ракурсу
- Процес розширення має певну випадковість, тому може знадобитися кілька спроб для отримання бажаного результату
Функція Extend with Prompts допомагає створювати плавні відео без різких переходів, дозволяючи легко продовжувати анімацію та керувати подіями в кадрі.
Промптинг Kling AI
Написати промпт для Клінг доволі просто: розкажіть нейронці, що відбувається з головним героєм чи обʼєктом на відео, уточніть, як рухається камера та яка атмосфера панує в кадрі. Всі інструкції нижче взяті з офіційного сайту Kling AI.
Формула промпту для генерації відео з тексту
Промпт = Об’єкт (Опис об’єкта) + Рух об’єкта + Сцена (Опис сцени) + (Робота камери + Освітлення + Атмосфера)
- Об’єкт: головний елемент відео, на якому акцентується увага. Це може бути людина, тварина, предмет або щось інше.
- Опис об’єкта: короткий опис зовнішності, пози, деталей одягу, аксесуарів та інших характеристик. Наприклад, спортивна постава, зачіска, колір волосся, вираз обличчя.
- Рух об’єкта: пояснює, як саме рухається об’єкт або знаходиться в статичному стані. Має бути зрозумілим і підходити для короткого відео (до 5 секунд).
- Сцена: описує місце, в якому розташований об’єкт, включаючи фон та оточуючі елементи.
- Опис сцени: дає уявлення про довкілля об’єкта, але без зайвих деталей. Формулювання має бути лаконічним, щоб підходити для 5-секундного відео. Наприклад, приміщення, вуличний пейзаж, природне середовище.
- Робота камери: охоплює використання різних ракурсів, зміну кадрів та переходи між сценами. Наприклад: ширококутна зйомка, розмиття фону, наближення, високий або низький кут огляду.
- Освітлення: важливий елемент, що впливає на атмосферу відео. Наприклад: природне освітлення, штучні джерела світла, ефект Тіндаля тощо.
- Атмосфера: передає загальний настрій сцени, допомагаючи створити потрібний емоційний ефект у відео.
Поради для успішного результату:
- Використовуйте прості слова та короткі речення, уникаючи складних конструкцій.
- Створюйте максимально простий візуальний контент, орієнтуючись на тривалість 5-10 секунд.
- Використання слів на зразок “Східний стиль”, “Китай”, “Азія” допоможе отримати зображення у китайській тематиці.
- Нейромережі поки що не завжди точно розпізнають числа, тому можуть бути проблеми з підрахунком, наприклад, у запиті “10 цуценят на пляжі”.
- Для сцен із розділеним екраном можна використати запит: “4 ракурси камери, що відображають весну, літо, осінь та зиму”.
- На поточному етапі модель має труднощі з відтворенням складних фізичних рухів, таких як стрибки м’яча або політ об’єкта з висоти.
Формула промпту для генерації відео з картинки
Промпт = Об’єкт + Рух + Фон + Додатковий рух
- Об’єкт: головний елемент у відео – людина, тварина, предмет або будь-який інший персонаж.
- Рух: опис того, як саме рухається об’єкт – стоїть нерухомо, ходить, махає рукою тощо.
- Фон: навколишнє середовище, в якому розташований об’єкт (наприклад, кімната, пляж, парк).
- Додатковий рух: будь-яка зміна у фоні або в оточенні, наприклад, падає світло, рухаються хмари, відкриваються двері.
Важливі нюанси
Основні елементи промпту – це об’єкт і його рух. Якщо вони не вказані чітко, модель може створити статичне відео.
Якщо у кадрі кілька персонажів, потрібно описати рух кожного окремо, щоб уникнути плутанини. Наприклад, замість «жінка одягає окуляри» краще написати:
«жінка бере окуляри в руку і надягає їх» – так модель краще зрозуміє задум.
Якщо потрібно зробити відео на основі зображення, варто чітко описувати, що саме має рухатися, інакше модель може створити лише ефект панорамного перегляду.
Порівняння тарифів та можливостей Kling AI та Runway Gen-3
На момент написання статті діють такі місячні тарифні плани для ШІ відеогенераторів.
Використання Kling AI обходиться значно дешевше, ніж Runway Gen-3, враховуючи досягнення результату фактично з першої спроби. Проте є можливості, які не під силу сервісу. Тому ваша мета – визначити, для яких роликів та ефектів плануєте здебільшого використовувати нейромережу.
Узагальнимо основні можливості Kling AI та Runway Gen-3 у таблиці.
| Особливість | Runway Gen-3 | Kling AI |
| Роздільна здатність | 1280×768 (Turbo), 4K (за додаткову плату) | Full HD (1920×1080) |
| Час генерації | 25-30 секунд (Turbo), 10 – 15 хвилин (стандартний) | 5-10 хвилин |
| Тривалість відео | До 10 секунд з можливістю продовження | До 10 секунд з можливістю продовження |
| Функції розширення відео | Так | Так |
| Expand Video – зміна формату відео | Так | Ні |
| Синхронізація руху губ (ліпсінк) | Так | Так |
| Додавання початкового та кінцевого кадру | Так | Так |
| Типи відео | Ландшафт (16:9), портрет (9:16) | Ландшафт (16:9), портрет (9:16), квадрат (1:1) |
| Промптинг | Описова форма, чітке формулювання руху та сцени | Опис руху об’єкта, сцени, камери та атмосфери |
| Функції для анімації | Act-One (перетворення персонажів, емоції) | Motion Brush (точний контроль анімації) |
| Вартість використання | від $15, 125 безкоштовних кредитів одноразово | від $8.8, 166 безкоштовних кредитів щомісяця |
| Мінімальна кількість кредитів у підписці | 625 | 660 |
| Кількість спроб для успішної генерації | близько 5 – 6 | близько 1 – 2 |
Лайфхак по підписці на Runway
Об’єднуйтеся в команди та економте на підписці. Runway розроблений для командної роботи, надаючи спільне хмарне сховище та можливість одночасної роботи над проєктами. Така система ідеально підходить для студій, фрилансерів і невеликих команд, які прагнуть користуватися преміум-функціями без значних витрат.
Розподілена оплата підписки дозволяє значно зменшити витрати для кожного учасника команди. Наприклад, тариф Unlimited Runway Gen-3 Alpha коштує $95 на місяць і підтримує до 10 користувачів одночасно. Якщо розділити вартість між усіма учасниками, кожен сплачуватиме лише $9.50 на місяць.
Підсумки
Runway Gen-3 підходить для користувачів, які працюють зі складними сценами, експериментують з ефектами переходів або анімацією текстів, використовують високу роздільну здатність та потребують швидкої генерації для комерційних проєктів. Runway відмінно підходить для створення кінематографічних відео з глибокою деталізацією, але може вимагати кількох спроб для досягнення ідеального результату.
Kling AI ідеальний для створення відео з природними рухами, таких як танці, бої чи інші динамічні сцени, де важлива реалістичність рухів. Це чудовий вибір для користувачів, які хочуть швидко отримати результат з мінімальними зусиллями, використовуючи простий промптинг і працюючи з базовими функціями.
Таким чином, Runway Gen-3 підходить для професіоналів, які потребують складних відео з високою деталізацією, а Kling AI стане відмінним вибором для тих, хто працює з природними рухами та хоче швидко отримувати високоякісні результати. Найкращий спосіб визначитися остаточно – особисто спробувати обидві потужні нейромережі для вирішення своїх завдань.
Матеріал підготувала спеціаліст у сфері штучного інтелекту Інна Віксенко.