Озвучка и музыка для ролика нейросетью: три числа, на которых держится звук

Илья монтирует рилсы для барбершопа «Борода». Заказчик прислал сценарий на 82 слова и попросил ролик на 30 секунд. Илья вставил текст в озвучку, получил 38 секунд голоса, выкрутил скорость на максимум — и всё равно не влез. Голос звучал как аукционист. Потом он положил под речь бодрый трек, послушал на телефоне — слов не разобрать. Склейки ставил на глаз, и ролик дёргался, хотя каждый кадр был хорош.

Вечером Илья всё починил, и ни одна починка не была про «нейросеть получше». Звук ролика держат три числа: сколько слов в секунду звучит голос, на сколько децибел музыка приседает под ним и попадает ли склейка в долю бита. Ниже вы потрогаете каждое: сожмёте сценарий под хронометраж, включите дакинг на двух дорожках и сыграете в «склейку в долю».

Сколько слов влезает в 30 секунд ролика?

Около 50–55 слов, если текст читает синтезированный голос. AI-Cup оценивает русскую речь ElevenLabs в 14 знаков в секунду, это примерно два слова. Тридцать секунд вмещают 420 знаков без единой паузы, а с запасом на вдохи и паузу перед призывом — около 360. Считать надёжнее в знаках: длинные слова съедают время.

Слова в секунду — первое число, и оно упрямое. Нейросеть не сокращает текст под ваш хронометраж: она прочитает всё, что дали. Ускорить можно, но в разделе «Звук» ползунок «Скорость» ходит от 0,7 до 1,2 — это предел самой модели в схеме kie. Если сценарию нужна скорость 1,5, его придётся резать. Для говорящего аватара есть ещё одно ограничение: Kling Avatar и InfiniteTalk принимают до 15 секунд голоса за клип, поэтому AI-Cup режет длинный текст по предложениям и склеивает клипы.

В лаборатории ниже три версии сценария Ильи: «Первый вариант», «После правки» и «Одна фраза». Текст можно править прямо в поле. Двигайте «Длительность ролика» и «Скорость» озвучки: полоса речи растёт или сжимается относительно рамки ролика, пунктир отмечает 85% хронометража, а плитки показывают вердикт, слова в секунду и цену озвучки для модели из переключателя внизу.

Что вы, скорее всего, заметили. «Первый вариант» не спасает даже скорость ×1.20: нужна ×1.49, а модель так не умеет — вырезать придётся около 27 слов, треть текста. «После правки» на тех же 30 секундах влезает с запасом, но поставьте ему ×1.20 — и вердикт сменится на «тянет»: ускоренный короткий текст оставляет в ролике пустоту. И третье: цена озвучки при любом раскладе — центы, так что экономить тут не на чем, а терять время на перепрослушку не стоит.

В жизни это значит: пишите сценарий сразу под секундомер. Тридцать секунд — 360 знаков, пятнадцать — 180. Если в раскадровке у каждого шота стоят секунды, текст под шот считается так же: 14 знаков на секунду кадра.

Из каких шагов собирается звук ролика?

Из шести: сценарий под хронометраж, озвучка, музыка, дакинг, субтитры, экспорт. Платных шагов два — голос и музыка. Остальное делает монтаж бесплатно, и именно эти шаги решают, будет ли голос слышно. Порядок важен: музыку подбирают под готовый голос, а не наоборот, иначе дакинг и склейки придётся переделывать.

На схеме — тот же конвейер, каким он устроен в AI-Cup. Нажмите «▶ Прогнать»: импульс пройдёт по шагам, а клик по любому шагу откроет подробности — где этот шаг живёт в студии и что в нём крутить.

Главное на этой схеме — не порядок, а цвета: «платно» стоит только у голоса и музыки, и это самые дешёвые строки сметы (ниже это будет видно в цифрах). А провалы, которые Илья слышал на телефоне, живут в бесплатных шагах — их просто пропускают, потому что они ничего не стоят.

Почему музыка глушит голос и что такое дакинг?

Дакинг — автоматическое приглушение музыки, пока звучит голос. Без него музыка, поставленная «на слух» в наушниках, на телефоне идёт почти вровень с речью и съедает согласные. Рабочая глубина — 10–14 дБ: в Pro-монтаже AI-Cup кнопка «Даккинг» по умолчанию опускает музыку на 14 дБ и возвращает её в паузах длиннее 0,6 секунды.

Второе число статьи — глубина приглушения. Важная деталь реализации: монтаж знает будущее. Компрессор в живом эфире реагирует на голос, когда тот уже зазвучал, а кейфреймы в монтаже ставятся заранее, поэтому музыка начинает уходить вниз за четверть секунды до первого слова. Первый слог не тонет.

Ниже две дорожки: «Голос» — четыре фразы Ильи, «Музыка» — волна, жёлтая линия — её громкость. Линию строит та же функция, что кнопка «Даккинг» в Pro-монтаже. Нажмите «▶ Проиграть» или тащите «Позицию»: под дорожками видно, какая фраза звучит, а шкала «Слышимость голоса» показывает запас голоса над музыкой. Включите тумблер «Дакинг», потом крутите «Глубину», «Атаку» и «Отпускание».

Что вы, скорее всего, заметили. Без дакинга шкала красная на каждой фразе: запас всего 4 дБ. На −14 дБ голос чистый от первого до последнего слова, а на −6 дБ его уже слышно, но приходится вслушиваться. Неожиданное — «Атака» и «Отпускание» на слышимость не влияют вовсе: они решают, заметна ли сама «яма». Резкий возврат за 0,1 секунды звучит как рывок громкости, плавный — как будто музыка сама уступила место. И ещё: между «держит форму» и «три недели» пауза 0,3 секунды, и музыка не подпрыгивает — короткие вдохи дакинг пропускает.

В жизни: ставьте глубину −12…−14 дБ, отпускание делайте длиннее атаки и слушайте финал на телефонном динамике.

Где взять музыку для видео нейросетью и сколько стоит звук?

Музыку генерирует Suno через kie.ai: в AI-Cup трек заказывает ИИ-режиссёр Pro-монтажа, по умолчанию без вокала. Цены Suno в снимке прайса приложения нет, поэтому здесь её не называем — сверяйтесь со страницей цен kie. Голос стоит центы: 30 секунд Multilingual v2 — около $0.025 по снимку прайса kie в AI-Cup на октябрь 2026.

Для фоновой музыки под голос просите инструментал и описывайте темп и настроение: «спокойный лоу-фай, около 100 BPM, без вокала, без резких соло». Темп в промпте — подсказка модели, а не гарантия, поэтому ниже вы будете резать по фактическим долям. Дорогим ролик со звуком делает не звук. На полосах ниже — смета звуковых строк и того, что обычно стоит рядом с ними: говорящего аватара и сгенерированного видео. Переключите «30 секунд» и «60 секунд».

Полоса озвучки едва видна рядом с аватаром и видео. Отсюда практический вывод: голос итерируйте свободно — меняйте голос, «Стабильность» и «Выразительность», переписывайте фразы. А картинку для видео из картинки утверждайте до генерации, потому что генерация видео стоит секунды × ставку, и каждый дубль оплачивается заново.

Как резать в бит, если вы не музыкант?

Ставить склейку на долю бита: при 120 BPM доля длится полсекунды, при 90 — две трети. Склейка мимо доли воспринимается как спотыкание, даже если зритель не может объяснить, что не так. В AI-Cup раздел «Промо» сам находит доли в загруженной музыке и двигает стыки шотов на ближайшие.

Третье число — отклонение склейки от доли в миллисекундах. Ориентир для монтажа: при 30 кадрах в секунду один кадр длится 33 мс, и на практике смещение на пару кадров уже ощущается как «мимо». Детектор «Промо» ищет в треке всплески энергии — удары — и считает их долями. Потом он подгоняет длительности шотов так, чтобы каждый стык лёг на ближайшую долю, а общая длина ролика не изменилась ни на кадр.

Проверьте свои руки. Выберите «Темп трека, BPM», при желании включите «Щелчок метронома» (по умолчанию звук выключен) и нажмите «▶ Старт». Доли едут справа к жёлтой линии; первые четыре — отсчёт. Дальше жмите «✂ Склейка», пробел или Enter, когда метка касается линии. Нужно десять склеек. В конце появится полоса всего трека: ваши склейки цветными точками и кружки «автомат» — куда их поставила бы студия.

Что вы, скорее всего, заметили. Часть склеек ушла в «рядом», и ошибка не совсем случайная: виджет показывает смещение — вы стабильно спешите или опаздываете на несколько десятков миллисекунд. На 128 BPM держать доли труднее, чем на 90: доля короче, а палец тот же. А автомат двигает склейки на величины, которые глазом на таймлайне не видны, но именно они отличают «в долю» от «рядом».

В жизни: не режьте на слух в реальном времени. Поставьте маркеры долей и клейте по ним или отдайте трек «Промо» — пусть стыки подвинет алгоритм, а вы решаете, какой кадр куда.

Субтитры: блоком или по два слова?

Зависит от ролика. Блоки до 42 знаков подходят для спокойной речи и объяснений, «караоке» по одному-два слова — для быстрых рилсов, где важен ритм. Оба варианта AI-Cup собирает из распознавания речи с таймингом каждого слова, поэтому субтитры совпадают с голосом, а не с оценкой его скорости.

Субтитры дублируют голос для тех, кто смотрит без звука, и подстраховывают, если дакинг вышел мельче, чем нужно. Переключите варианты ниже: в каждом — как студия режет текст и где он работает.

Заметьте, что оба режима зависят от одного: точных таймингов слов. Поэтому сначала финальная озвучка, потом субтитры — после любой переозвучки их придётся пересобрать.

Как проверить звук перед публикацией за две минуты?

Пройдите шесть пунктов: речь занимает не больше 85% хронометража, скорость озвучки не выше 1,1, музыка под голосом опущена на 10–14 дБ, склейки стоят на долях, субтитры собраны по финальной озвучке, а финал прослушан на динамике телефона. Каждый пункт закрывает одну из ошибок Ильи. Отметьте, что у вас уже сделано.

Если галочек меньше четырёх, начните с хронометража, дакинга и долей: это и есть три числа статьи. Остальное — гигиена, которая занимает минуты.

Мифы и возражения

«Нейросеть сама подгонит текст под длину». Не подгонит: модель озвучки читает весь текст, а скорость ограничена диапазоном 0,7–1,2. Подгонка — это редактура сценария до озвучки.

«Достаточно сделать музыку тише целиком». Тогда в паузах между фразами ролик проваливается в тишину. Дакинг опускает музыку только под голосом и возвращает энергию в паузах.

«Бит — это для музыкальных клипов». Ритм есть у любого ролика с музыкой, даже у говорящей головы с тремя сменами плана. Склейка мимо доли заметна и там.

«Синтетический голос всё равно звучит как робот». Чаще звучит как человек, который торопится: роботом его делает скорость 1,2 и текст без пауз. Прослушайте голос кнопкой в списке, поднимите «Выразительность» и оставьте тексту воздух.

Что сделать на этой неделе

1. Перепишите сценарий ближайшего ролика под секундомер: 14 знаков на секунду, запас 15%. Проверьте его в лаборатории темпа выше.
2. Озвучьте текст в разделе «Звук» AI-Cup: сравните два-три голоса кнопкой прослушки, скорость оставьте на 1,0–1,1.
3. Соберите ролик в Pro-монтаже, подложите музыку и нажмите «Даккинг». Послушайте результат на телефоне.
4. Если ролик из скриншотов или слайдов, загрузите трек в «Промо» и посмотрите, как студия разложит стыки по долям.
5. Соберите субтитры после финальной озвучки и выберите режим под темп ролика.

Источники

• ElevenLabs Multilingual v2 на kie.ai — параметры озвучки: лимит 5000 знаков, скорость 0,7–1,2, стабильность и выразительность.
• ElevenLabs Text-to-Dialogue v3 на kie.ai — диалог нескольких голосов и допустимые значения стабильности.
• Suno Generate Music на kie.ai — генерация музыки, режим инструментала и модели.
• ElevenLabs API: Create speech — первичное описание параметров голоса, в том числе скорости.