Видео из картинки нейросетью: как оживить кадр и не потерять героя

Лена вяжет шарфы и продаёт их через свой магазин в Телеграме. Для сторис ей нужен был ролик на пять секунд: девушка в красном шарфе пьёт кофе у окна. Она написала подробный промпт, выбрала Seedance 2 в 720p и нажала «Создать». Первый дубль вышел с бордовым шарфом, второй — с оранжевым, в третьем у шарфа появилась бахрома, которой у Лены в ассортименте нет. Три дубля по $1.03 — три доллара, и ни одного ролика, где на модели её товар.

На четвёртый раз Лена сделала иначе: загрузила фотографию из каталога как стартовый кадр и написала двенадцать слов о том, что должно двигаться. Шарф остался её шарфом. Ниже мы повторим этот опыт руками: поищем, что уплывает за пять секунд ролика, разберём промпт движения по словам и посчитаем, во что обходится каждый лишний дубль.

Почему видео без стартового кадра теряет героя?

Потому что модель держит героя только словами. Промпт «девушка в красном шарфе» описывает класс картинок, а не конкретный шарф: у модели тысячи вариантов «красного», и в каждом кадре ролика она выбирает заново. Короткий клип сглаживает разброс, но к последним секундам детали расходятся: оттенок, фасон, мелкие вещи в кадре.

Это не ошибка конкретной модели, а устройство генерации из текста. Слова задают направление, а не пиксели. Пока камера стоит и герой почти не двигается, расхождения маленькие. Стоит повернуть голову, поднять руку или наехать камерой, и модель вынуждена дорисовывать то, чего в первом кадре было не видно. Тут она и «вспоминает» героя по-своему.

Проверим глазами. Ниже два кадра одного пятисекундного ролика: первый и последний. Переключатель «Как сделан ролик» выбирает режим: «Текст → видео» или «Картинка → видео». Тапайте по последнему кадру там, где героиня или комната изменились; счётчики «Найдено» и «Промахов» считают попадания, а «Показать ответ» откроет разбор.

Что вы, скорее всего, заметили. В режиме «Текст → видео» отличий пять, и самые неприятные — не картина на стене, а то, что принадлежит героине: волосы, карман, пуговицы. Их легко пропустить на паузе, но в движении зритель чувствует их как «что-то не так». Неожиданное: в промпте прямо написано «красный шарф», а шарф всё равно уплыл, потому что слово задаёт класс, а не оттенок. Кнопка «Следующий ролик» перебросит кубик: уплывёт другое, но уплывёт. После переключения на «Картинка → видео» искать почти нечего, и кнопка «Отличий больше нет» становится честным ответом. Для Лены это разница между рекламой своего товара и рекламой чужого.

Что именно фиксирует стартовый кадр?

Стартовый кадр фиксирует всё, что в нём видно: лицо, одежду, цвета, свет, интерьер, композицию и соотношение сторон. Модели остаётся решить только то, чего в кадре нет, — что будет двигаться и куда. Поэтому слова промпта перестают уходить на описание и уходят на движение и камеру.

Удобно думать о картинке как о договоре. Всё, что в ней нарисовано, согласовано и подписано: модель это не пересматривает. Всё, что не нарисовано, остаётся на её усмотрение: например, как выглядит затылок героя, если он отвернётся. Поэтому в кадр стоит класть то, что потом будет в движении. Если героиня поднимет кружку, пусть кружка уже будет в руке. Если камера отъедет, пусть по краям кадра будет немного комнаты, которую модели не придётся выдумывать целиком.

У стартового кадра есть и побочный эффект, который полезно знать заранее: формат ролика берётся из картинки. Kling 2.6 в режиме «картинка → видео» вообще игнорирует выбранное соотношение сторон, и на это есть отдельный разбор — соотношение сторон и разрешение решают до генерации. Переключите карточки ниже: «как обычно» и «как надо».

Что вы, скорее всего, заметили. Самая дорогая строчка левой карточки — не модель, а то, что поиск образа идёт дублями видео. Справа он переезжает на картинки, где попытка стоит в двадцать пять раз меньше. И ещё: в правой карточке нет пункта «модель стала лучше». Модель та же. Изменилось только то, сколько ей приходится угадывать.

Как писать промпт, когда кадр уже есть?

Коротко и про движение: 8–20 слов, кто что делает и как ведёт себя камера. Так звучит правило в рекомендациях MCP-сервера AI-Cup: «With a start frame, do NOT re-describe the frame: spend the words on motion and sound». Пересказ картинки не помогает модели, а иногда спорит с кадром.

Почему спорит: если в кадре шарф одного оттенка, а в промпте написано «ярко-красный шарф», модель получает два противоречивых указания и примиряет их по-своему, иногда прямо в середине клипа. Описание кадра словами — это вторая версия того же кадра, только менее точная. Сильнее всего работают глаголы движения («поднимает», «поворачивается», «улыбается»), указания камеры («медленный наезд», «камера стоит», «панорама влево») и звук, если модель его генерирует. Общий разбор того, как слова превращаются в решения модели, есть в статье о том, как написать промпт для картинки; здесь та же идея, но для движения.

Линза ниже подсвечивает слова промпта по ролям. Красным зачёркнуто то, что при стартовом кадре лишнее: «Пересказ» кадра и «Пустое» вроде «4k». Зелёным — «Камера» и «Движение», голубым — «Звук». Шкала «Лишнее» показывает долю слов, которые не говорят модели ничего нового. Переключайте примеры кнопками «Пересказ картинки», «Пересказ + жест» и «16 слов про движение» или вставьте свой промпт в поле.

Что вы, скорее всего, заметили. В «Пересказе картинки» двадцать шесть слов, и почти все зачёркнуты, а у «Камеры» и «Движения» нули: модель сама решит, что двигать, то есть сделает что-то нейтральное. «Пересказ + жест» короче, но камеру по-прежнему решает модель. Неожиданное: в самом коротком варианте нет ни слова о внешности героини, и это лучший промпт из трёх. В жизни это экономия ещё и на дублях: чем меньше модель угадывает, тем реже результат «не тот».

Какие модели в AI-Cup принимают картинку и что с ней делают?

Картинку на вход принимают все основные видео-модели студии, но по-разному: одни переключаются в режим image-to-video сами, другие берут первый и последний кадр, третьи — до семи референсов. От этого зависит, что вы загружаете и что можно не заполнять. Цена дубля от картинки на входе, по снимку прайса, не меняется.

Коротко по реестру моделей студии:

• Seedance 2 и Seedance 2 Fast берут первый и, если нужно, последний кадр. Длина клипа — от 4 до 15 секунд, разрешение 480p, 720p или 1080p (у Fast без 1080p). Последний кадр полезен, когда ролик должен прийти к конкретной картинке, например к упаковке товара.
• Kling 2.6 сам переключается между text-to-video и image-to-video по наличию картинки. Картинка одна, клип 5 или 10 секунд, соотношение сторон в этом режиме берётся из кадра.
• Grok Imagine так же переключается сам и принимает до семи картинок, клипы от 6 до 30 секунд.
• Veo 3.1 и Veo 3.1 Fast работают через отдельный API: одна картинка, клип около 8 секунд, звук родной, длительность не выбирается.
• Gemini Omni принимает до семи картинок, клипы 4, 6, 8 или 10 секунд.

Если картинку загрузить, а промпт оставить пустым, студия не отправит пустое поле (kie его отклоняет). Моделям, которым нужен промпт, она подставит нейтральную фразу «оживи картинку тонким естественным движением», а Seedance — минимальную «Animate the attached reference faithfully». Работает, но это и есть «модель решит сама». Посчитаем, во что обходятся решения модели. В калькуляторе выберите модель, «Длину клипа», «Разрешение», включите «Стартовый кадр» и двигайте ползунок «Дублей».

Что вы, скорее всего, заметили. Три дубля Seedance 2 в 720p по пять секунд — это три раза по $1.03 плюс четыре цента за кадр, итог $3.12: почти ровно то, что Лена потратила на чужие шарфы. Переключатель «Стартовый кадр» добавляет к итогу копейки, потому что ставка видео от картинки на входе не зависит. Неожиданное: у Veo, Kling 2.6 и Gemini Omni цена не за секунду, а за клип — у Veo длительность вообще не выбирается, и экономить там можно только на дублях. Подробно про то, из чего складывается цена ролика и где на ней экономят, — в разборе о том, сколько стоит генерация видео.

В каком порядке работать: картинка, утверждение, движение, монтаж?

Сначала ищут образ на картинках, потом утверждают один кадр, потом оживляют его коротким промптом движения, и только потом монтируют. Текст и логотипы в видео-модель не отдают: их кладут слоем в редакторе. Такой порядок переносит все дорогие ошибки туда, где попытка стоит центы.

Это не наше изобретение — так звучит первое правило в рекомендациях MCP-сервера AI-Cup: «Images first: iterate stills until the user approves the look, then feed the APPROVED image as the video's start frame». Второе важное правило оттуда же: видео-модели не умеют рисовать читаемый текст, поэтому надпись либо вшивают в картинку заранее, либо добавляют в редакторе. В студии для этого есть «Видеомонтаж» с кнопкой «Текст» — буквы там остаются буквами при любом движении камеры.

Ниже конвейер Лены. Нажмите «▶ Прогнать» — импульс пройдёт по шагам; клик по любому шагу откроет, что на нём происходит и сколько он стоит.

Что вы, скорее всего, заметили. Самый длинный шаг по времени — первый, и он же самый дешёвый: все сомнения разрешаются на картинках. Платный шаг один, и в нём нечего обсуждать, кроме движения. Неожиданное: текст стоит в самом конце и не стоит денег вовсе — потому что его делает не нейросеть.

Мифы и возражения

«Чем подробнее промпт, тем точнее видео». Без стартового кадра — отчасти да. С кадром подробное описание внешности дублирует картинку и может с ней спорить. Подробным должно быть описание движения: кто, что, в каком темпе, что делает камера.

«Image-to-video дороже, чем из текста». По снимку прайса kie в AI-Cup ставки t2v и i2v у моделей одинаковые. Дороже выходит как раз видео из текста — за счёт дублей, которые уходят на поиск образа.

«Стартовый кадр полностью убирает дрейф». Нет. Он убирает дрейф того, что видно в кадре. Если героиня отворачивается, её затылок модель дорисует сама; если в кадр входит новый предмет, он тоже выдуман. Поэтому в стартовую картинку кладут то, что будет участвовать в движении.

«Можно попросить модель написать название магазина». Буквы в видео плывут кадр за кадром. Надпись вшивают в картинку или кладут слоем в редакторе.

«Пустой промпт — самый безопасный». Пустое поле студия заменит нейтральным «оживи аккуратно», и модель выберет движение сама. Иногда это красиво, но повторить такой результат специально не получится.

Проверьте себя перед тем, как нажать «Создать»

Прежде чем платить за видео, полезно за десять секунд пройтись по списку — это быстрее, чем разбирать испорченный дубль. Все пункты ниже проверяются до генерации и ничего не стоят, а каждый пропущенный пункт обычно обходится в ещё один платный дубль.

Отметьте то, что у вас уже сделано; у каждого пункта есть «почему», а вердикт внизу обновляется сразу.

Что вы, скорее всего, заметили. Половина пунктов вообще не про видео: формат, состав кадра, текст — всё это решается на картинке. А последний пункт про деньги, а не про качество: черновик дешевле финала, и смотреть на движение можно в низком разрешении.

Что сделать на этой неделе

1. Возьмите одну фотографию товара или героя, которую уже используете, и откройте раздел «Видео» в AI-Cup.
2. Загрузите её как стартовый кадр, выберите Seedance 2 Fast в 720p на 5 секунд и напишите промпт на 8–20 слов: одно движение героя и одно движение камеры.
3. Сделайте тот же ролик без картинки, промптом-описанием, и сравните первый и последний кадр обоих вариантов, как в игре выше.
4. Если в ролике нужен текст, добавьте его в «Видеомонтаже» кнопкой «Текст», а не в промпт.
5. Перед следующим роликом посчитайте бюджет с учётом дублей — подробнее в разборе о цене видео.

Источники

• Seedance 2 — документация kie.ai — параметры first_frame_url и last_frame_url, длительность и разрешения.
• Kling 2.6 Image to Video — документация kie.ai — вход image-to-video и длительности 5 и 10 секунд.
• Grok Imagine Image to Video — документация kie.ai — картинки на входе и режимы.
• Veo 3.1: генерация видео — документация kie.ai — отдельный API Veo и параметр imageUrls.
• Gemini Omni Video — документация kie.ai — картинки и видео на входе.
• Цены kie.ai — актуальный прайс; в студии встроен его снимок.