Кратко

Размечать текст на английском достаточно сложно. Поручите эту задачу тайской команде, и это уже совсем другая работа. То же самое касается китайского или японского. Границы слов находятся в других местах. Письменности ведут себя иначе. Некоторые граничные случаи из английского не существуют в новом языке, а другие выглядят совсем не так, как в оригинале.

В этом и заключается настоящая проблема многоязычной разметки данных для азиатских языков. Работа не становится сложнее в каком-то абстрактном смысле. Она менее универсальна. Скопируйте английский гайдлайн, и он незаметно потерпит неудачу. Никто не заметит, пока не упадут показатели согласованности. Или пока модель не начнет ошибочно размечать один язык гораздо сильнее остальных.

Вот что сюда входит: разметка текста на разных языках, гайдлайн для каждого языка, пулы рецензентов, оценка качества по каждому языку и пилотный проект. Запись или сбор речи выходит за рамки этого материала, и наш кейс по сбору датасетов речи охватывает эту сторону вопроса. Столкнулись с этим впервые? Начните с того, что такое разметка данных. Здесь также затрагивается малазийская специфика, поскольку Jawi, Rumi и манглиш в конечном итоге оказываются на столах у разметчиков.

Что такое многоязычная разметка данных?

Многоязычная аннотация данных — это разметка текста на нескольких языках, чтобы модель могла освоить каждый из них. Набор меток обычно общий, например одни и то же классы сущностей или категории намерений для каждого языка. То, что окружает метки, общим не является. Каждый язык получает свой раздел инструкций, своих рецензентов, читающих на родном языке, и собственный показатель качества. Пропустите этот шаг — и вы совершите классическую ошибку. Возьмите одну английскую инструкцию, распространенную на китайский, японский и тайский языки. На бумаге метки выглядят согласованными. Но где начинаются и заканчиваются слова и сущности? Согласованности нет. Честный тест: зафиксируйте показатель согласованности по каждому языку, а затем объясните все расхождения между ними. Сможете? По состоянию на 2026 год это применимо только к тексту. Думайте о тегировании сущностей, классификации намерений и тональности, а не о разметке речи, аудио или изображений. Это отдельные задачи.

Так сколько же общего должно быть у языков? Это вопрос, с которым любой проект сталкивается на раннем этапе. Оставите слишком мало общего — получите несколько несвязанных проектов, результаты которых невозможно сравнить. Сделаете слишком много общего — логика одного языка будет насильно навязана другому.

Universal Dependencies демонстрирует привычный компромисс. Его цель — кросс-лингвистически согласованные древовидные банки. Проект охватывает почти 200 человеческих языков, предлагая древовидные банки и инструкции разного объема и качества. Категории и инструкции универсальны. При необходимости добавляются расширения для конкретного языка, и каждая языковая команда ведет собственную документацию (Universal Dependencies). Тот же подход работает и в небольшом коммерческом проекте, и именно на эту структуру опирается остальная часть данного руководства.

Почему одна инструкция не может охватить все языки?

Одна инструкция не может подходить для всех языков, поскольку языки обозначают слова, письменность и грамматику по-разному. Самый наглядный пример — само слово. В китайском и японском языках между словами нет пробелов, то же самое касается тайского и лаосского. Поэтому аннотатору приходится решать, где начинается и заканчивается слово или сущность. Это решение влияет на метку. Зафиксируйте это письменно.

В статье Википедии о сегментации текста это подробно описано. В китайском и японском языках предложения ограничены знаками, а слова — нет. В тайском и лаосском языках ограничены фразы и предложения, а слова — нет. Там же приводится пример китайской строки с двумя возможными вариантами разбора и двумя значениями: «США не согласятся» или «Конгресс США не согласен» (Википедия, Сегментация текста). Символы те же, сущность другая.

Вьетнамский язык кажется более простым, но это не так. В нем используются пробелы, однако, согласно статье Википедии о разделителях слов, практически все слоги разделены пробелами независимо от того, образуют ли они границы слов (Википедия, Разделитель слов). Пробел указывает на то, где заканчивается слог. Он не говорит о том, где заканчивается слово. Аннотатор, который воспринимает каждый пробел как границу, будет разделять сложные слова, а второй аннотатор, который этого не делает, будет спорить с ним весь день.

Почему это важно для аннотации? Возьмем разметку диапазонов (спан-разметку), например имен людей или названий продуктов. Если в инструкции не указано, как обрабатывать границы в языках без четких пробелов между словами, два аннотатора выделят два разных фрагмента. Согласованность упадет, и квалификация специалистов здесь ни при чем. Проблемой была сама инструкция.

Как письменность меняет характер работы?

Письменность меняет характер работы потому, что один и тот же язык может использовать более одной письменности, и размеченный датасет должен указывать, какая именно используется. Согласно спецификации W3C, подтег письменности добавляется к тегу языка, когда он несет полезную информацию. Русский текст, записанный латиницей (ru-Latn), — это пример самого W3C (W3C, языковые теги). С самого начала помечайте каждый элемент его языком и письменностью. Это позволит в дальнейшем без труда выполнять фильтрацию, выборку и подготовку отчетов по каждому языку.

Малайзия служит хорошим локальным примером. Малайский язык сегодня пишется в основном латиницей, известной как руми, однако алфавит джави все еще используется. Джави основан на арабском письме и включает 31 оригинальную арабскую букву, а также дополнительные буквы, созданные для передачи звуков, свойственных малайскому языку. До XX века это была стандартная письменность малайского языка. Сегодня это один из двух официальных алфавитов в Брунее, а в Малайзии его статус защищен Разделом 9 Закона о национальном языке 1963/67 годов, поскольку он сохраняет определенный уровень официального использования в религиозных и культурных контекстах (Википедия, Письменность джави).

Что это значит для проекта? Если ваши данные на малайском могут включать джави, заранее определите, входит ли это в область применения, и пометьте их. Если латинизированный текст входит в область применения для какого-либо языка, укажите это в руководстве. Элемент вне зоны охвата все равно должен иметь правило, даже если оно звучит как «пропустить и пометить». Оставьте это без уточнений, и каждый аннотатор придумает собственный ответ.

Что входит в руководство для каждого языка?

Начните с одного общего базового руководства. Затем добавьте краткий раздел для каждого языка, охватывающий пограничные правила, работу с письменностью, смешанный текст и практические примеры. Пишите эти примеры на самом языке. Они важнее переведенных правил, поэтому заложите на них время в плане.

Вот структура, которую следует использовать для каждого языкового раздела:

РазделЧто он определяетВопрос, на который он отвечает
ГраницыГде помеченный фрагмент начинается и заканчиваетсяПри отсутствии пробелов в тексте кто решает, что считается словом?
Письменность и орфографияКакую письменность вы ожидаете и как обрабатывается транслитерацияВходит ли латинизированный текст в область применения или нет?
Тег языка и письменностиКак тегируется каждый элементТег записывается для каждого элемента или для каждого файла?
Пограничные случаиЭлементы, которые не подходят ни под одну метку или подходят под двеЧто происходит с именами, заимствованиями и аббревиатурами?
Практические примерыРеальный элемент, его правильная метка и обоснованиеЕсть ли у каждой метки очевидный случай и сложный случай?
Смешанный текстОдно предложение, содержащее два языкаЭлемент размечается один раз или разделяется?

Держите общий базовый текст коротким. Каждый аннотатор читает всего несколько страниц. Каждая языковая команда также читает только свой собственный раздел, и никто другой. Это проще поддерживать, чем один длинный документ. Когда решение меняется, обновите базовую часть или языковой раздел, зафиксируйте дату и сообщите об этом команде. Руководство, последнюю версию которого никто не может найти, хуже короткого.

Планируете многоязычный проект и не уверены, сколько языковых разделов вам понадобится? Обсуждение задач быстро прояснит это. Вы можете обсудить ваши языки и типы задач с командой SummitNext перед утверждением схемы.

Как формировать пулы рецензентов для каждого языка?

Для каждого языка создается собственный пул рецензентов, состоящий из носителей языка с высоким уровнем владения (тех, кто заметит сдвиг смысла, который сгладил перевод), а также пары запасных участников, чтобы один больничный не застопорил работу по языку.

Рецензенты должны работать с оригинальным языком, а не с переводом. Назначьте для каждого языка ведущего рецензента, который разрешает спорные вопросы и вносит решение в соответствующий раздел языка в тот же день. Проведите калибровку дважды: один раз со всеми языками вместе, чтобы общие метки означали одно и то же везде, а затем по одному разу для каждого языка для локальных правил.

Покрывает ли все перевод? Только не для оригинального текста. Возьмем MASSIVE: проект начинался как SLURP, англоязычный набор данных, затем профессиональные переводчики локализовали его еще на 50 языков, всего на 51 (arXiv, MASSIVE), что подходит для некоторых задач. Пост, написанный на тайском языке, не имеет английского аналога, поэтому разметку и проверку выполняют носители тайского. Происхождение ваших данных тоже имеет значение, поскольку переведенные и нативные наборы ведут себя по-разному, и их незаметное смешивание искажает каждую оценку, которую вы публикуете.

Как измерить качество для каждого языка?

Используйте одну и ту же статистику для каждого языка и отчитывайтесь по оценкам параллельно, никогда не сводя их к среднему значению, которое может выглядеть приемлемо, пока один язык рассыпается. Этот разрыв — и есть самое главное. Когда он проявляется, выясните причину (часто дело в размытом пограничном правиле).

Согласно Википедии, межэкспертная надежность — это степень согласия между независимыми наблюдателями, которые оценивают, кодируют или анализируют одно и то же явление; в статье в качестве вариантов приводятся каппа Коэна, каппа Фляйса и альфа Криппендорфа (Википедия: межэкспертная надежность). Что бы вы ни выбрали, используйте один и тот же метод для каждого языка. Относительно общего процесса см. как измеряется качество аннотации.

Вот вымышленный пример, не относящийся к данным клиентов: три языка, по 100 дважды размеченных элементов в каждом, и исходный процент совпадений 82%, 80% и 58%. Среднее значение составляет 73%, что звучит неплохо, но на деле это не так. Откройте 42 элемента, в оценках которых разметчики третьего языка разошлись. Пропущено ли правило разграничения? Были ли примеры в руководстве переведены с английского, поэтому они совсем не похожи на настоящий текст? Что бы ни обнаружилось, исправление вносится в раздел для этого языка, и никому не требуется повторное обучение.

Для каждой партии и для каждого языка сделайте двойную разметку выборки и оцените её отдельно. Затем разберите расхождения со старшим рецензентом, классифицируя каждое как пробел в руководстве или ошибку разметчика, и зафиксируйте решение письменно. Если показатель какого-то языка продолжает падать от партии к партии, эту команду нужно откалибровать заново.

Низкий уровень согласованности не всегда означает слабых разметчиков. Сначала проверьте руководство.

Как быть с текстом, в котором смешиваются разные языки?

Заранее решите, входит ли текст на смешанных языках в область видимости проекта, и зафиксируйте это письменно. Переключение кодов, когда люди переходят с одного языка или диалекта на другой в зависимости от социального контекста, встречается везде, где данные носят неформальный характер (Wikipedia, Переключение кодов). Посты. Чаты. Письма.

Малайзия — очевидный пример. «Мэнглиш» — это неформальная форма малайзийского английского, находящаяся под сильным влиянием малайского, тамильского и различных китайских диалектов, которая не является ни одним из официальных языков страны (Wikipedia, Manglish). Одно сообщение может смешивать английский, малайский и какой-либо из китайских диалектов. К какому же языку относится этот элемент? Удачи вам в принятии решения прямо посреди обработки партии.

Чтобы разметить текст на смешанных языках, сначала определите, входит ли он в область видимости, затем выберите одно правило и применяйте его к каждому элементу. Распространены два подхода. Первый размечает весь элемент целиком и присваивает ему тег смешанного языка, что сохраняет элемент в исходном виде и подходит для таких задач, как классификация намерений. Второй разделяет элемент и размечает каждый языковой отрезок по отдельности, что подходит для выделения сущностей, когда имя может находиться внутри предложения на другом языке. Оба варианта работают, если каждый разметчик применяет их одинаково. Ни один не работает, если разметчики выбирают подход на свое усмотрение. Поэтому внесите правило в руководство, приложите разобранный пример из реального текста и спросите старшего рецензента по каждому языку, соответствует ли это правилу письменной речи на данном языке. Это применимо к неформальным текстам, таким как посты в соцсетях, чаты и электронная почта, по состоянию на 2026 год.

Выберите правило. Добавьте пример в руководство. Большинство команд пропускают этот шаг.

Где ошибаются проекты многоязычной разметки?

В основном там, где это можно заметить еще до начала разметки. Английское руководство переводят, поэтому в нем сохраняются пограничные случаи, которых нет в новом языке, и упускаются те, которые в нем есть. Согласованность усредняется, и один слабый язык растворяется в среднем показателе. Рецензенты работают с переводами, поэтому одобряются метки, которые нормально выглядят на английском и неверно — на оригинальном. Границы отдаются на откуп разметчикам, и каждый проводит свои собственные отрезки. О письменности и тегах забывают, и спустя месяцы никто не может выполнить фильтрацию по письменности. Текст на смешанных языках списывают со счетов как шум, однако реальные пользователи постоянно переключаются между языками, поэтому модель, обученная на аккуратных одноязычных данных, сталкивается с сюрпризом в продакшене.

Никакой специальный инструментарий не исправит эти проблемы. Письменное решение, принятое до начала разметки — исправит.

Что должен проверять пилотный пакет?

Руководство, а не разметчиков. Запустите небольшую партию по каждому языку, сделайте двойную разметку каждого элемента, а затем изучите расхождения. Вы ищете пробелы в инструкциях, и пилотный проект — это самое дешевое место для их поиска.

Нагрузите его сложными случаями: именами, заимствованиями, предложениями на смешанных языках, элементами на нескольких письменности. Простые элементы ничего не доказывают. Спросите каждую команду, что вызвало у них затруднения, превратите ответы в примеры в языковом разделе и запустите меньшую партию повторно.

Договоритесь о том, что считать успехом, до того как появятся результаты. Целевой показатель для каждого языка или правило, согласно которому каждое расхождение прослеживается до причины. Любой вариант работает, если он установлен заблаговременно, чтобы потом никто не спорил о цифрах. Если какой-то язык не справился, придержите его. Остальные могут идти дальше.

Как следует оценивать провайдера многоязычной разметки?

Не считайте языки в списке провайдера. Спросите, как именно организуется работа по каждому из них. Длинный список говорит лишь о презентации отдела продаж. О качестве работы говорят следующие вопросы:

Самостоятельное выполнение — тоже вполне реальный вариант. Если вы взвешиваете собственные операции против привлечения подрядчиков охватывает соотношение затрат и рисков в общих чертах, а что касается конкретно аннотирования текста, наша страница Аутсорсинг аннотирования данных ИИ для американских ИИ- и SaaS-компаний объясняет, как организован этот процесс.

Как SummitNext подходит к многоязычной аннотации текста?

SummitNext выполняет аннотирование данных как проект с четким объемом работ. Сначала пилотная партия. Подтверждение качества на вашей схеме. Масштабирование, когда точность достигает необходимого уровня. Минимальных обязательств нет, а ответственность распределена четко: SummitNext подбирает, обучает и курирует команду аннотаторов и качество ее работы, в то время как вы определяете схему, стандарты и итоговый набор данных. Доставка осуществляется из центров в Индии и на Филиппинах. Все это представлено на нашей странице услуг по аннотированию данных, а более широкое предложение находится в разделе Подготовка данных для ИИ.

Для многоязычной работы с текстом расскажите, какие языки и типы задач вы имеете в виду. Разметка сущностей на одном языке и классификация намерений на пяти — это разные проекты, поэтому объем работ вытекает из этого. Результаты клиентов от партнерства с SummitNext показывают, как проходят проекты, а искусственный интеллект страница показывает, где именно применяется аннотирование.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Что такое многоязычная разметка данных?

Разметка текста на нескольких языках, чтобы модель могла изучить каждый из них. Это и есть многоязычная аннотация данных. Метки часто являются общими, в то время как руководства, рецензенты и проверки качества настраиваются для каждого языка отдельно. Границы слов, письменность и краевые случаи отличаются от одного языка к другому, поэтому одно руководство редко подходит для всех них сразу.

Почему разметка азиатских языков отличается от английского?

Потому что в ряде азиатских языков, в числе которых китайский, японский, тайский и лаосский, слова не разделяются пробелами. Аннотаторам приходится решать, где начинается и заканчивается слово или диапазон, а письменность и транслитерация добавляют вариативности. Руководство, написанное для английского языка, оставляет все это открытым, поэтому аннотаторы по-разному заполняют пробелы, и степень согласия падает.

Нужен ли отдельный гайдлайн для каждого языка?

В некотором роде да: общая база плюс один короткий раздел для каждого языка. База определяет метки. Языковые разделы охватывают границы, письменность, краевые случаи и примеры, написанные на этом языке. Проект Universal Dependencies следует аналогичному шаблону с общими категориями и специфичными для языка расширениями, добавляемыми при необходимости.

Как измерять качество разметки для разных языков?

Выберите одну статистику согласованности, например альфа Криппендорфа или каппа Коэна, и примените ее к каждому языку. Сообщайте о каждом показателе отдельно, так как усредненное значение может скрыть слабый язык. Затем рассмотрите случаи разногласий со старшим рецензентом, который владеет этим языком, и обновите руководство, чтобы пробел не повторился.

Достаточно ли просто перевести данные для многоязычной разметки?

Иногда. Набор MASSIVE был создан путем локализации английского набора на другие языки с помощью профессиональных переводчиков. Текст, изначально написанный на каждом языке, нельзя обработать таким образом, поскольку нет англоязычного оригинала для локализации. Вам нужны аннотаторы и рецензенты, которые работают непосредственно на каждом языке, используя руководства с реальными примерами на нем.

Как размечать текст на смешанных языках?

Выберите одно правило и применяйте его к каждому элементу. Либо разметьте весь элемент один раз с помощью тега смешанного языка, либо разделите его и разметьте каждый языковой отрезок по отдельности. Оба варианта работают, если все аннотаторы делают одно и то же. Запишите правило в руководство с разобранным примером из реального текста и обсудите его со старшим рецензентом каждого языка.

Нужно ли помечать каждый элемент тегом письменности?

Да, с самого начала. W3C рекомендует использовать подтег письменности, когда он несет полезную информацию, например для русского языка, написанного латиницей. Для малайского языка это означает различение письменности руми и джави. Ранняя тегизация упрощает фильтрацию, выборку и отчетность по каждому языку в дальнейшем.

Заключение

Многоязычная аннотация терпит неудачу, когда предположения одного языка переносятся на другой. Решение заключается в короткой общей базе, разделе руководства для каждого языка, родных для языка рецензентах и одном показателе согласованности для каждого языка вместо усредненного. Заранее решите, как обрабатывать границы, письменность и смешанный текст, и зафиксируйте каждое решение. Затем проведите пилотный проект, изучите разногласия, исправьте руководство и только после этого масштабируйте. Поначалу это медленнее. К третьему языку это обходится значительно дешевле, потому что каждый устраненный пробел остается устраненным.

Планируете многоязычный проект аннотирования? Запишитесь на консультацию в SummitNext и расскажите нам о своих языках, типах задач и сроках.

ru_RUРусский