Кратко
- Аннотирование данных — это добавление меток к сырым изображениям, тексту, аудио, видео или данным датчиков, чтобы модель машинного обучения могла на них обучаться.
- Работа проходит путь от набора меток и инструкции через небольшой пилотный проект до масштабного аннотирования и проверки.
- Качество проверяется по степени согласованности между разметчиками и путем выборочной проверки по эталонному набору. Низкая согласованность часто указывает на нечеткие инструкции.
Модель, получившая «сырое» фото или голое предложение, не извлекает из них никаких знаний. По крайней мере, в обучении с учителем. Обучение начинается тогда, когда кто-то уже указал, что именно показано в данных. Это и есть этап разметки. Со стороны может показаться, что это пустяк. Тем не менее именно он определяет предельные возможности модели. Нечеткий набор меток незаметно порождает противоречивые данные, и последующее дополнительное обучение уже не исправит это. В Snorkel AI отмечают, что качество таких данных влияет на эффективность работы моделей (Snorkel AI, аннотирование данных).
Выбираете между созданием собственной команды по разметке и ее наймом? Сначала ознакомьтесь с разделами о качестве и стоимости.
Что такое аннотирование данных?
Разметка данных — это процесс добавления меток к необработанным данным (таким как изображения, текст, аудио, видео или показания датчиков), чтобы модель машинного обучения с учителем могла обучаться на них. Специалист отмечает, что содержится в каждом объекте. Это могут быть объекты на фотографии, имена в предложении или слова в аудиозаписи. Размеченный результат представляет собой обучающий датасет. В Snorkel AI определяют это аналогичным образом — как категоризацию и маркировку данных для создания обучающих наборов для машинного обучения. На практике понятия «разметка данных» и «маркировка данных» означают практически одно и то же. Некоторые команды используют термин «разметка» для более детальной разметки (например, сегментации или выделения сущностей), а «маркировка» — для простой классификации. Качество результата зависит от трех факторов: набора меток, письменного руководства для каждой метки и проверки качества выполненной работы. Все это относится к обучению с учителем. Модели, обучаемые без меток, пропускают этот шаг.
В Snorkel AI также подчеркивают важность четких инструкций, которые помогают разобраться в неоднозначных ситуациях.
Некоторые термины часто путают. Метка — это тег для одного элемента. Разметчик применяет его (иногда с помощью инструмента). Инструкция — это письменный свод правил. В нем объясняется каждая метка. Если случай сложный, в инструкции указано, что делать. При ухудшении качества в первую очередь проверьте инструкцию.
То же самое, что и маркировка данных? В основном да. Большинство провайдеров, включая SummitNext, используют эти два термина как синонимы (Страница услуг по аннотированию данных SummitNext’s). Интересует рабочий процесс разметки? См. страница услуг по разметке данных.
Каковы основные типы аннотирования данных?
Что определяет тип? Формат данных. Вы работаете с изображениями, видео, текстом, аудио и данными датчиков. У каждого формата свои метки. На изображениях используются рамки и маски. В тексте — сущности и намерения. В аудио — транскрипты и теги спикеров. В одном проекте можно комбинировать несколько форматов.
| Формат данных | Типичные метки | Чему учится модель | Пример использования |
|---|---|---|---|
| Изображение | Ограничивающие рамки, полигоны, ключевые точки | Для поиска, классификации и обводки объектов | Восприятие в беспилотных авто, распознавание лиц |
| Видео | Объекты, отслеживаемые по кадрам вручную или с помощью автоматизации | Для отслеживания объектов, распознавания активности и движения | Спортивная аналитика, робототехника |
| Текст | Именованные сущности, тональность, намерение, ключевые фразы | Для понимания смысла, тона и того, о чем просит пользователь | Чат-боты, анализ тональности (сантимент-анализ) |
| Аудио | Транскрипции, теги фонового шума, метки спикеров | Для распознавания речи и выделения голосов среди других звуков | Голосовые помощники, преобразование речи в текст |
| Датчики (лидар, радар) | Метки непосредственно на показаниях датчиков | Для перемещения в пространстве и объезда препятствий | Беспилотные автомобили, устройства умного дома |
| Семантическая сегментация | Класс для каждого пикселя изображения или видео | Точные контуры на уровне пикселей | Медицинская визуализация, картография |
| Трехмерное облако точек | Объекты, отмеченные в трехмерном пространстве | Для работы в 3D | Навигация дронов, дополненная и виртуальная реальность (AR и VR) |
Строки выше соответствуют списку из руководства Snorkel AI с измененной формулировкой и перегруппировкой (Snorkel AI, аннотирование данных).
Аннотирование изображений и видео
Возьмем ограничивающие рамки. Это прямоугольники, очерчивающие объекты. Полигон точнее повторяет контур. Ключевые точки фиксируют отдельные места, например суставы в позе. Видео добавляет измерение времени. Вы отслеживаете один и тот же объект по кадрам, и его метка должна оставаться неизменной при движении.
Аннотирование текста
Работа с текстом подразумевает разметку именованных сущностей (людей, мест, организаций), тональности, намерений и ключевых фраз. Если текст написан более чем на одном языке, в руководство необходимо включить отдельные примечания для каждого языка. Правило, которое работает для английского, может не сработать для малайского или китайского.
Аннотирование аудио, датчиков и 3D-данных
Большая часть работы с аудио включает транскрипцию, определение шумов и разметку спикеров. Аннотирование датчиков и 3D-данных охватывает лидары, радары и облака точек. И то, и другое требует более узкой специализации. Для этого обычно нужны специализированные инструменты. Хотите узнать, как собираются аудиоданные для голосовых моделей? См. наш кейс по сбору датасетов речи.
Разметка для больших языковых моделей
Языковые модели создали новую работу. Аннотаторы сравнивают два ответа и выбирают лучший. Или ранжируют несколько. Они также размечают инструкции, используемые для обучения и выравнивания модели. На странице услуг SummitNext эта работа названа требующей высокой степени экспертной оценки. Именно поэтому для нее нужны четкие руководства и сильные аннотаторы. Это одно из направлений ИИ-услуг SummitNext.
Как выглядят размеченные данные?
Проще понять на примере. Данный пример вымышлен, это не данные клиентов.
Возьмем сообщение «Забронируй мне билет на самолет в Пенанг на пятницу». Аннотатор может разметять его так:
| Уровень | Метка |
|---|---|
| Намерение | book_flight |
| Место | Пенанг |
| Дата | Пятница |
Три метки. И уже два решения для руководства по разметке. Пенанг — это малайзийский штат, но это название также используют для острова. Одна метка PLACE для любой локации? Или отдельные метки для города, штата и острова? И остается ли «пятница» в исходном виде или преобразуется в календарную дату?
Оставьте это на усмотрение исполнителей, и один аннотатор отметит Пенанг как город. Другой — как регион. Модель увидит два ответа на один вопрос. Руководство разрешает этот вопрос единожды в письменной форме.
Как работает процесс аннотирования данных?
Сначала вы определяете задачу и пишете руководство. Затем вы тестируете его на небольшой выборке, размечаете данные в большом объеме и проверяете результат. Цикл между тестированием и правкой руководства имеет важнейшее значение. Рассчитывайте на то, что руководство придется переписать несколько раз до начала масштабной работы. Заложите это в свой план.
- Определите задачу и набор меток. Исходите из того, чему должна научиться модель. Затем перечислите метки. Длинные списки провоцируют разногласия, поэтому сокращайте набор настолько, насколько это позволяет задача.
- Напишите руководство. Компания Snorkel AI отмечает, что руководство может содержать определения классов, примеры и правила пропуска элементов. Она также советует учитывать бэкграунд и опыт аннотаторов (Snorkel AI).
- Проведите пилотный проект на небольшой выборке. Опытные аннотаторы размечают несколько десятков примеров. Затем команда вместе разбирает разногласия и пробелы. Snorkel AI также рекомендует заранее проводить тестирование на малых выборках. Это позволяет выявить неоднозначности.
- Масштабируйте разметку. Подождите, пока руководство не пройдет проверку в ходе пилота. В процессе работы фиксируйте все непонятные моменты. Затем внесите каждое принятое решение обратно в руководство.
- Проверьте и сдайте результат. Возьмите выборку из готовой работы. Измерьте уровень согласованности. Исправьте ошибки. Затем передайте датасет вместе с финальной версией руководства.
Разметка данных выполняется вручную, с помощью ПО или обоими способами?
Команды выполняют разметку вручную, с программной поддержкой или сочетают оба подхода. Какая степень экспертной оценки требуется для каждой метки? Это и определяет выбор метода.
Работа вручную означает, что аннотаторы проставляют каждую метку самостоятельно. Это подходит для задач, требующих глубокой экспертной оценки. Например, для ранжирования двух ответов модели. Или для определения тональности в саркастичном тексте. Правила здесь не заменят человека.
При программной поддержке модель или набор правил предварительно размечают данные. Затем люди выполняют исправление. В Snorkel AI описывают кодирование руководств в виде правил и их тестирование на данных, размеченных вручную, что показывает, в каких случаях руководство оставило ситуацию неясной. В работе с видео также используется автоматическое отслеживание для переноса метки между кадрами. Для более широкого контекста прочтите как автоматизация меняет аутсорсинговые операции.
В любом случае человек проверяет выборку.
Как измеряется качество разметки данных?
Качество разметки данных измеряется двумя способами: согласованность между аннотаторами и точность относительно эталонного набора. Согласованность проверяет, ставят ли независимые аннотаторы одинаковые метки для одного и того же объекта. Такие статистические показатели, как каппа Коэна (для двух оценщиков) и каппа Фляйса (для фиксированного числа оценщиков), переводят это в числовую форму и учитывают согласованность, возникающую случайно. Точность проверяет выборку меток по эталонному набору, который уже проверен экспертами. На странице услуг SummitNext добавляется этап проверки старшими специалистами перед отправкой данных, а также контрсвязь (feedback loop), отправляющая сложные случаи обратно в схему разметки. Согласованность — более быстрая проверка. Эталонный набор выявляет ошибки, общие для обоих аннотаторов. Согласованность низкая? Сначала исправьте руководство. Затем переразметьте то, на что оно повлияло. Такие проверки подходят для проектов с четко определенными категориями. Открытые задачи, такие как ранжирование ответов моделей, сильнее зависят от экспертной оценки проверяющего.
В Википедии это называется межэкспертной надежностью (inter-rater reliability): степень согласия независимых наблюдателей при оценке, кодировании или анализе одного и того же объекта (Википедия: межэкспертная надежность). Чаще всего используются три статистических показателя:
- Каппа Коэна: два оценщика, категории и поправка на случайность.
- Каппа Фляйса: та же идея, но для фиксированной группы оценщиков.
- Альфа Криппендорфа: поддерживает любое количество оценщиков, различные типы данных и пропущенные значения. Она используется как в контент-анализе, так и в вычислительной лингвистике.
Зачем вообще делать поправку на случайность? Возьмем небольшой вымышленный пример. Два аннотатора распределяют десять сообщений на позитивные или негативные.
| Аннотатор Б: позитивное | Аннотатор Б: негативное | |
|---|---|---|
| Аннотатор А: позитивное | 5 | 1 |
| Аннотатор А: негативное | 1 | 3 |
Они сходятся в 8 случаях из 10. Звучит отлично — 80%. За исключением того, что каждый из них назвал 6 сообщений позитивными и 4 негативными, и два человека, угадывающих с такими привычками, все равно совпадали бы примерно в 52% случаев (0,6 × 0,6 плюс 0,4 × 0,4). Так насколько они превзошли простое угадывание? Берем 0,80 минус 0,52, делим на 1 минус 0,52, и каппа оказывается около 0,58. Неплохо, но не блестяще. Исходные 80% их приукрашивают.
Чек-лист качества от SummitNext
Страница услуг SummitNext описывает свои этапы контроля качества. Скопируйте это, если пригодится.
- Начните с четкой схемы меток. Расплывчатая схема приведет к несогласованным разметкам, какими бы опытными ни были аннотаторы.
- Используйте обученных аннотаторов.
- Сначала запустите пилотную партию. Подтвердите качество по своей схеме, прежде чем масштабироваться.
- Оценивайте аннотаторов по эталонному набору.
- Отслеживайте согласованность действий аннотаторов.
- Добавьте этап проверки старшими специалистами перед отправкой данных.
- Отправляйте сложные случаи обратно в схему. Одна и та же сложность не должна возникать дважды.
- Выражайте точность в виде числа. Обещание — не число.
Высокая согласованность все еще может быть ошибочной. Допустим, само руководство неверно. В этом случае два аннотатора могут прийти к согласию и оба ошибиться. Поэтому команды сочетают согласованность с эталонным набором и проверкой старшим специалистом.
Какие инструменты нужны для разметки данных?
Что должен уметь делать инструмент для аннотации? Три вещи. Показывать каждый элемент в нужном интерфейсе разметки. Фиксировать, кто и что разметил. Позволять проверяющим сравнивать и исправлять. Хороший инструмент позволяет разметчикам пометить сомнительный элемент, а не угадывать. Он также должен возвращать разметку в том формате, с которым работает ваш пайплайн обучения.
Бренд инструмента варьируется меньше, чем вы думаете. Четкие инструкции важнее. Работаете с конфиденциальными данными? Повышайте уровень контроля доступа и уточняйте место хранения уже при первом разговоре. Именно эти ограничения определяют, какие инструменты и какие люди смогут с ними работать.
Чем занимается специалист по разметке данных?
Специалист по разметке данных наносит метки в соответствии с письменным регламентом и отмечает элементы, которые регламент не охватывает. В типичном проекте роли разделены на три направления. Разметчики ставят метки. Проверяющие или старшие разметчики проверяют выборки. Один человек отвечает за регламент и принимает решения по спорным вопросам.
Специализированные данные повышают планку. Медицинский, юридический или финансовый текст требует разметчиков, обученных в этой сфере, как отмечается на странице услуг SummitNext. Таким образом, роль варьируется от общей разметки до экспертной проверки.
Сколько стоит разметка данных?
Разметка данных обычно оценивается за единицу размеченных данных, за час или в рамках выделенной ежемесячной команды, причем сложные метки стоят дороже простых. На странице услуг SummitNext отмечается, что простая классификация изображений находится в нижней ценовой категории. Детальная сегментация, специализированные домены и многоэтажное ранжирование языков стоят дороже, поскольку каждый элемент требует больше квалификации и времени.
Прежде чем сравнивать расценки, определите реальное соотношение простых и сложных элементов. Усредненная ставка скрывает, что именно бьет по бюджету. Закладывайте в бюджет расходы и сверх стоимости единицы. Разработка схемы, обучение разметчиков под ваш домен и контроль качества — всё это увеличивает стоимость. Низкая ставка на плохо размеченных данных в итоге обойдется дороже, если учесть затраты на повторное обучение.
Хотите узнать точную цифру? Запросить оценку проекта. SummitNext рассчитает стоимость с учетом вашей схемы, типов данных и требований к качеству.
Что следует подготовить до начала разметки?
Сначала нужно сделать две вещи: подготовить образец данных и список меток. Добавьте письменные определения с примерами. Предусмотрите и краевые случаи. Кто утверждает изменения в регламенте? Определитесь с этим. Как будут обрабатываться конфиденциальные данные? Согласуйте и это. Тогда пилотный проект пройдет быстрее, а результаты будет проще проверить.
Перед началом пилота соберите следующее.
- Репрезентативная выборка реальных данных. Включите в нее сложные и запутанные случаи.
- Для каждой метки приводится однострочное определение и хотя бы один пример.
- Правило для элементов, которые не подходят ни под одну метку или подходят сразу под несколько.
- Конкретное ответственное лицо, принимающее решения по спорным вопросам.
- Целевой показатель качества датасета. А также способ его измерения.
- Любые ограничения доступа или конфиденциальности. Согласуйте их с владельцем данных.
Создать своими силами или купить? Это отдельное решение. Дошли до этого этапа? В обзоре подготовки данных для ИИ показано, какое место занимает разметки в более широком конвейере.
ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Что такое аннотирование данных простыми словами?
Это и есть разметка. Поступают сырые данные, и человек отмечает, что содержит каждый элемент: объекты на фото, имена в тексте, слова в аудиозаписи. Обучаемая с учителем модель машинного обучения нуждается в этом для обучения. Как только метки проставлены, массив данных превращается в обучающий набор.
Какие существуют типы аннотирования данных?
Данные изображений, видео, текста, аудио и датчиков, поскольку тип следует за форматом. На изображениях появляются ограничивающие рамки и полигоны. Текст получает именованные сущности и намерения. Аудио преобразуется в транскрипцию. Датчики получают разметку лидара или радара. Во многих проектах форматы смешиваются, а работа с языковыми моделями дополняется ранжированием ответов.
Аннотирование данных и разметка данных — это одно и то же?
В основном да. Оба понятия означают простановку меток на данные для обучения модели. Некоторые команды проводят различие: annotation используется для более сложной разметки, такой как сегментация или выделение сущностей, а labeling — для простой классификации. Не стоит переживать по этому поводу, так как процесс и проверки качества выглядят одинаково, какое бы слово ни выбрал вендор.
Как проверить качество аннотирования данных?
Начните с оценки согласованности между разметчиками и выразите ее числом с помощью каппы Коэна или альфы Криппендорфа. Затем возьмите выборку готовой работы и сравните ее с эталонным набором. Согласованность низкая? Изучите регламент, прежде чем обвинять людей, так как нечеткие формулировки — частая причина проблем. Переразметьте всё, чего это коснулось.
Почему важны инструкции по аннотированию?
Это объясняет каждому разметчику, что означает та или иная метка. Оставьте формулировку расплывчатой — и люди будут размечать один и тот же объект по-разному, а модель в итоге унаследует эту путаницу. Протестируйте руководство на небольшой выборке перед началом массовой работы и добавляйте в него каждый нестандартный случай, с которым столкнетесь. Это предотвратит множество проблем с качеством до того, как они попадут в датасет.
Сколько стоит разметка данных?
Обычно цена устанавливается за размеченный элемент, за час или в рамках фиксированной ежемесячной оплаты команды. Сложность влияет на стоимость: сегментация стоит дороже простой классификации изображений, а специализированные предметные области — еще дороже. Прежде чем сравнивать расценки, подсчитайте, сколько у вас простых объектов, а сколько сложных. Усредненный тариф скрывает, какая именно группа формирует основные расходы.
Каков пример разметки данных?
Представьте фразу «Забронируй мне билет на самолет до Пенанга на пятницу». Один разметчик отмечает намерение как бронирование рейса, Пенанг — как место, а пятницу — как дату. Затем в регламенте должен быть прописан спорный момент, например, является ли Пенанг городом или штатом, чтобы каждый разметчик давал одинаковый ответ.
Заключение
Необработанные данные ничего не дают модели, пока кто-то их не разметит, а от регламента зависит качество этих меток. Поэтому сформулируйте задачу, напишите свод правил, протестируйте его на небольшой выборке, а затем масштабируйте и проверяйте. Хотите узнать, работает ли ваша схема? Запустите пилотную партию. Это самый дешевый способ узнать ответ.
Выбираете между созданием своими силами и покупкой? Посмотрите результаты клиентов, полученные в партнёрстве с SummitNext, чтобы узнать, как проходят такие проекты. Чтобы оценить ваши собственные типы данных, схему и требования к качеству, свяжитесь с командой расскажите о своем проекте.
