2–3 секунды наложения реплик в эмоциональном споре — это главный кошмар разработчиков речевого искусственного интеллекта. Когда собеседники начинают говорить одновременно, автоматические алгоритмы распознавания путаются, приписывая слова клиента оператору или объединяя фразы в нечитаемый монолог.
Чтобы обучить нейросети различать участников беседы, привлекают удаленных разметчиков. Этот процесс в индустрии машинного обучения называется диаризацией («кто сказал что и когда»). Ниже разобран пошаговый маршрут разметчика диалогов: от первого знакомства со шкалой до обработки сложных наложений голосов.
Что понадобится для работы на дому
Для диаризации не требуется мощный процессор или дорогой микрофон: 1. Компьютер или ноутбук с экраном от 14 дюймов. Со смартфона работать со спектрограммой невозможно — вы физически не попадете пальцем в нужную миллисекунду. 2. Проводная мышь с плавным колесом прокрутки. Колесо мыши используется для мгновенного зумирования (масштабирования) временной шкалы от общих минут до отдельных звуков. 3. Наушники с ровной передачей средних частот. Чтобы точно различать похожие по тембру голоса (например, двух мужчин одного возраста), нужен чистый стереозвук без искусственного завышения басов.
Если вы хотите слушать аудиодорожки и получать за это деньги, но не готовы часами двигать границы меток на шкале времени, есть более простой формат. На платформе Secret Music вам платят за оценку музыкальных новинок: вы слушаете композицию в наушниках и заполняете анкету своими впечатлениями. За каждую принятую анкету начисляют 6 ₽, а вывод доступен уже от 50 ₽.
Шаг 1. Первичное сквозное прослушивание диалога (2–3 минуты)
Не пытайтесь размечать запись с первой секунды:
- Прослушайте 1–2 минуты файла на обычной скорости, чтобы привыкнуть к тембрам участников.
- Мысленно закрепите роли: например, «Спикер 1 — звонкий женский голос, клиентка», «Спикер 2 — глуховатый мужской голос, специалист банка».
- Обратите внимание на наличие третьих лиц (шум детей на фоне, случайные реплики прохожих) — инструкции большинства заказчиков требуют маркировать их отдельным тегом [Speaker_Other] или [Noise].
Шаг 2. Нарезка базовых границ реплик без наложений (10 минут)
На участках, где собеседники говорят по очереди с паузами, разметка выполняется по стандартному правилу:
1. Выделите блок звучания голоса левой кнопкой мыши.
2. Отступ в начале: левая граница блока должна отступать назад на 20–30 миллисекунд от начала звуковой волны, чтобы не обрезать дыхание или начальную глухую согласную («Т», «К»).
3. Отступ в конце: правая граница захватывает естественный затухающий звон гласной буквы плюс 30–50 миллисекунд тишины.
4. Присвойте созданному блоку идентификатор спикера (горячие клавиши 1 или 2).
Шаг 3. Обработка спорных зон: перебивания и наложение голосов (15 минут)
Наложение двух голосов друг на друга — самый ответственный этап разметки. Существуют три строгих правила работы с перебиваниями:
- Создание двух параллельных слоев. Если Спикер 1 начал говорить фразу, а на середине его реплики Спикер 2 вставил «Да-да, конечно», границу блока Спикера 1 нельзя прерывать. В современных редакторах разметки создается второй вертикальный трек, и блок Спикера 2 накладывается параллельно первому.
- Маркировка тегом пересечения. Если интерфейс биржи однослойный (не поддерживает многоканальную разметку), спорный кусок выделяется в отдельный самостоятельный отрезок и помечается специальным статусом
[Overlap](одновременная речь). - Учет коротких поддакиваний. Звуки «угу», «да», «ага», произнесенные слушателем параллельно монологу собеседника, не размечаются как полноценная реплика, если их длительность меньше 0,3 секунды, а маркируются служебным тегом обратной связи
[Feedback].
Шаг 4. Проверка и заполнение неречевых шумов (5 минут)
После расстановки речевых блоков вернитесь к паузам между ними:
- Вздохи, кашель или громкий смех, звучащие изолированно от слов, помечаются тегами [Laughter], [Cough].
- Музыка на удержании телефонной линии выделяется блоком с пометкой [Music].
- Щелчки клавиатуры, если они звучат во время паузы оператора, не размечаются как голос, а остаются в фоновом слое тишины.
Шаг 5. Контрольная сверка и валидация проекта (5 минут)
Перед нажатием кнопки «Отправить задание»: - Запустите воспроизведение на скорости 1.25x со включенной подсветкой активного блока. - Проверьте, чтобы ни один фрагмент речи не остался в серой «неразмеченной» зоне. - Убедитесь, что метки не перепутаны местами (чтобы реплики клиента по ошибке не оказались в профиле сотрудника поддержки).
Что может пойти не так
Голоса спикеров звучат абсолютно одинаково (два молодых мужчины в одинаковых наушниках). Почему: Низкое качество телефонного кодека сжимает частотный диапазон голоса до 300–3400 Гц, сглаживая тембральные отличия. Что делать: Ориентируйтесь на контекст беседы и спектрограмму. Обычно один спикер задает вопросы, а второй отвечает. На спектрограмме следите за характерным рисунком основного тона (формантами).
На записи фоном громко работает телевизор.
Почему: В обучающий датасет попадает речь телеведущего, которую алгоритм принимает за третьего спикера.
Что делать: Сверьтесь с инструкцией заказчика. В 90% проектов телевизор на фоне классифицируется как фоновый шум [Background_Speech] и не размечается по ролям.
Спикер замолчал на 1 секунду посреди фразы — делить ли блок на две части? Почему: Пауза длиннее 0,5–0,7 секунды считается алгоритмами разрывом реплики. Что делать: Если пауза превышает 500 миллисекунд (полсекунды), блок обязательно делится на два отдельных сегмента. Держать пустую секунду тишины внутри одного блока спикера запрещено регламентом.
Сводная таблица правил диаризации диалогов
| Ситуация в аудио | Как оформлять на таймлайне | Чего делать нельзя |
|---|---|---|
| Спикер говорит один, делает паузу 0,2 сек | Единый непрерывный блок с захватом паузы | Дробить слова на мелкие кусочки |
| Спикер делает паузу более 0,5 сек | Разделение на два изолированных блока | Объединять тишину в единый блок |
| Собеседники говорят одновременно | Параллельные блоки на разных дорожках или тег Overlap | Приписывать чужие слова одному участнику |
| Короткое «угу» во время чужого рассказа | Короткий тег Feedback или игнорирование (по ТЗ) | Обрывать основную реплику рассказчика |
| Смех, кашель, чихание | Изолированный блок с тегом эмоции/звука | Размечать как обычную речь спикера |
Вопросы начинающих разметчиков
Сколько времени занимает разметка 5-минутного диалога? У новичка на качественную диаризацию 5 минут сложного диалога со спорами и перебиваниями уходит от 25 до 40 минут. По мере наработки горячих клавиш и привыкания к спектрограмме скорость вырастает: опытный разметчик обрабатывает дорожку за время, превышающее хронометраж всего в 2–3 раза.
Как платформы проверяют точность границ спикеров? В проекты вшиты контрольные дорожки, эталонно размеченные ведущими экспертами сервиса. Если ваше отклонение по таймлайну превышает допустимый предел (обычно 50–100 мс) или перепутаны идентификаторы спикеров, система снижает внутренний рейтинг точности.
Можно ли использовать автоматические программы для черновой диаризации? Многие платформы сами прогоняют аудио через черновой алгоритм перед выдачей исполнителю. Ваша задача как раз и заключается в том, чтобы исправить ошибки автоматики. Использование сторонних неавторизованных скриптов для накрутки запрещено правилами и ведет к немедленной блокировке.
Что делать, если один из собеседников переходит на шепот?
Шепот размечается по тем же правилам, что и громкая речь: блок растягивается по видимым колебаниям шума на спектрограмме с легким запасом по краям. В некоторых проектах для шепота предусмотрен дополнительный классификатор [Whisper].