Runway AI – це набір інструментів на базі штучного інтелекту від нью-йоркського стартапу Runway. Одним з цих інструментів є Runway Gen-1, генератор відео з відео на базі штучного інтелекту, а іншим є Runway Gen-2, генератор відео з тексту або зображень.
Щоб скористатися цими інструментами, відвідайте веб-сайт Runway, оберіть інструмент та введіть свої підказки. Ви можете налаштувати параметри за потреби та згенерувати власне відео.
Що таке Runway AI?
Runway – це нью-йоркський стартап у сфері штучного інтелекту, який раніше допомагав з такими інструментами, як Stable Diffusion, та отримав підтримку від Google. Стартап випустив свою першу модель генеративного штучного інтелекту для створення відео з відео, Gen-1, через веб-сайт та мобільний додаток. Після цього з’явилася модель генеративного штучного інтелекту для створення відео з тексту та зображень, Gen-2.
Ці два інструменти разом називаються Runway AI, хоча додаток називається RunwayML. Runway також має декілька інших інструментів на базі штучного інтелекту, доступних на своєму веб-сайті.
Як працює Runway AI?
Runway AI є генеративною моделлю штучного інтелекту. Подібно до інших генеративних моделей, таких як Midjourney та Stable Diffusion, ця модель приймає підказки та генерує результати.
У випадку Runway Gen-1 підказки подаються у формі відео, тоді як Gen-2 може приймати зображення або навіть текстові підказки. Результатом для обох є відео. Таким чином, ви можете згенерувати відео майже з нуля протягом кількох хвилин, з невеликою допомогою з вашого боку.
Результати генеративної моделі штучного інтелекту не завжди ідеальні. Відео часто містять елементи, які виглядають дивно і неприродно. Але вони все одно вражають, враховуючи ваші вхідні дані та масштаб вашого вихідного результату. Створення відео – це велика робота, і можливість створити відео за допомогою підказок є надзвичайно вражаючою.
Runway також пропонує інші інструменти для редагування на базі штучного інтелекту. Ось повний список інструментів (готуйтесь, буде багато…):
- Відео у відео (Gen-1)
- Текст/Зображення у відео (Gen-2)
- Видалення фону
- Текст у зображення
- Зображення у зображення
- Тренування власного генератора
- Нескінченне зображення
- Розширення зображення
- Інтерполяція кадрів
- Стирання та заміна
- Ремікс фонів
- Варіації зображень
- 3D-захоплення
- 3D-текстурування
- Виправлення
- Кольорова корекція (LUT)
- Суперповільний рух
- Розмиття облич
- Глибина різкості
- Виявлення сцен
- Витяг глибини
- Очищення звуку
- Видалення тиші
- Транскрипція
- Субтитри
- Додавання кольору
- Покращення зображення
- Відстеження руху
- Текстовий процесор
Різниця між Runway Gen-1 та Gen-2
Runway Gen-1 працює переважно з існуючими відео, застосовуючи ефекти штучного інтелекту до наявних медіа. Тому для роботи цього інструменту потрібне базове відео.
Runway Gen-2 не потребує наявних відео. Він може приймати зображення та текстові підказки і генерувати відео відповідно до цих підказок. Ви можете створювати відео практично з нуля за допомогою кількох вмілих команд.
Як користуватися Runway AI
Runway AI працює через свій веб-сайт та додаток для iOS. Рекомендується спробувати веб-сайт на настільному комп’ютері для першого досвіду. Вам потрібно буде зареєструватися на веб-сайті безкоштовно, хоча сервіс вимагає оплати кредитів для розширеної функціональності.
На головній сторінці ви знайдете кілька інструментів “чарівництва” штучного інтелекту, які є гарним стартовим пунктом. Gen-1 та Gen-2 показані прямо на початку списку. Альтернативно, ви можете зануритися у створення власного відео за допомогою Gen-2, дотримуючись великих банерних кнопок.
Як користуватися Runway AI Gen-1
Користуватися цим інструментом дуже просто:
- Завантажте ваше вихідне відео.
- Оберіть референс-стиль. Це може бути зображення (демо або завантажене вами), кілька зображень або текстова підказка.
- Налаштуйте параметри, такі як сила стилю та Seed. Ви можете грати з цими значеннями.
- Перегляньте Попередній перегляд, щоб отримати приклад вашого результату.
- Якщо вам подобається результат, натисніть на Генерувати відео.
- Ви можете завантажити та поділитися згенерованим відео.
Як користуватися Runway AI Gen-2
Користуватися цим інструментом також просто процедурно, хоча вам потрібно бути досить описовим у своїх підказках для найкращого результату.
- Введіть текстовий опис, вихідне зображення або комбінацію обох.
- Налаштуйте параметри, такі як Motion, Seed та Interpolate, за потреби.
- Спробуйте Безкоштовний попередній перегляд, щоб побачити, чи згенероване відео відповідає вашому баченню.
- Іноді через високу затребуваність безкоштовний попередній перегляд може бути недоступний.
- Натисніть на Генерувати 4с, щоб згенерувати 4 секунди відео з вашої підказки.
Приклад згенерованого відео в Runway AI Gen-2
Я згенерувала відео по такому промту (на фото ниже):
Ось, що в мене вийшло.
Висновки робіть самі. Поки що цей помічник майже не розуміє, що від неї вимагається, якщо робити складні промти. Але якесь банальне відео на 4 секунди по маленькій підказці зробити можна. Але краще використовувати Runway для редагування вже існуючих відео!