Кратко

Обучающие данные для ИИ — это набор примеров, на которых учится модель: изображения, голосовые записи, текст и видео, а также метки, которые объясняют модели значение каждого элемента. Проблемы, которые кажутся сбоями модели, часто начинаются здесь: с недостаточного покрытия определенных сценариев или противоречащих друг другу меток. Иногда файлы вообще никогда не проверялись на предмет правомерности использования.

Для коммерческой стороны ИИ-проекта набор данных — это также область, где решаются вопросы затрат и юридических рисков. Специалист по данным запрашивает несколько сотен часов речи или десятки тысяч изображений, и кто-то должен оценить, жизнеспособен ли такой план.

Большинство наборов данных опираются на один или несколько из пяти источников. Их качество определяется семью свойствами, каждое из которых можно проверить с помощью выборки и экспертной оценки. Работа с персональными данными налагает юридические обязательства с самой первой записи. Масштабный сбор данных — это задача для персонала и процессов, где партнер по аутсорсингу может либо доказать свою ценность, либо подвести.

Что считается данными для обучения ИИ?

Данные для обучения ИИ — это любые наборы примеров, используемые для обучения модели, от сырых записей до полностью размеченных изображений. Исходные данные — это входной сигнал: фотография или фрагмент речи. Разметка — это то, что человек или процесс добавляет позже: на этой фотографии поврежденная посылка, в этом фрагменте смешаны два языка. Метаданные фиксируют, кто предоставил объект, когда, на каких условиях и с каким согласием.

После получения данных разметка превращает их в то, на чем модель может учиться. Этому посвящены отдельные страницы: решения SummitNext по поддержке аннотирования для моделей, работающих с изображениями, аудио или текстом и ее услуги по разметке существующих наборов данных. В этой статье мы сосредоточимся на базовых процессах и самих данных.

Откуда берутся данные для обучения ИИ?

Данные для обучения ИИ поступают из пяти источников: ваши собственные системы, лицензированные наборы данных, открытые данные, синтетическая генерация и заказной сбор. Выбор зависит от того, насколько жесткий контроль вам необходим и сколько усилий вы готовы потратить.

Данные первой стороны. Записи, которые уже есть у вашего бизнеса, например стенограммы обращений в поддержку и записи звонков. Вы их контролируете, и они соответствуют вашему реальному сценарию использования. При этом они отражают только вашу текущую клиентскую базу, а согласия на их сбор могли изначально не предусматривать обучение моделей. Перед повторным использованием проверьте, на что именно давали согласие пользователи.

Лицензированные данные. Наборы данных, купленные или арендованные у третьей стороны, поступают быстрее, чем любые созданные вами. Внимательно читайте условия лицензии: разрешено ли обучение, коммерческое использование, каковы сроки и территория. Спросите продавца, как собирались данные и давали ли участники свое согласие.

Открытые данные с проверкой лицензий. Общедоступные наборы данных ничего не стоят при скачивании, но общедоступный не значит свободный для любых целей. Лицензии бывают разными: одни ограничивают коммерческое использование, другие требуют указания авторства или применения тех же условий к любым разработкам на базе этих данных. Фиксируйте тип лицензии и версию рядом с данными и проверяйте их на наличие персональной информации.

Синтетические данные. Сгенерированные с помощью симуляции или другой модели данные заполняют пробелы, такие как редкие сценарии. Они также позволяют командам тестировать конвейеры без использования реальных персональных данных. Они наследуют «слепые зоны» того, что их произвело, поэтому их необходимо сверять с реальными примерами.

Заказной сбор. Новые данные, собранные по вашему техническому заданию специально нанятыми для этого участниками. Это подходящий вариант, когда нужных вам данных еще не существует, например, в случае специфического языкового микса или целевой аудитории, которую не охватывают ваши собственные архивы. Вы задаете требования и условия соглашения с самого начала и берете на себя управление проектом. Именно из-за этой рабочей нагрузки многие команды передают данный этап стороннему исполнителю.

Заказной сбор — это процесс получения новых данных для обучения ИИ по вашему техническому заданию от специально нанятых участников вместо повторного использования уже имеющихся у вас записей. Он подходит для проектов, где нужные вам данные еще не существуют, например, для определенного сочетания языков или условий съемки. Два проекта SummitNext демонстрируют масштабы такой работы. Для модели распознавания многоязычной речи в рамках проекта использовалось 400 сопоставленных пар и 70-пунктный контрольный список контроля качества, было предоставлено более 520 часов речи с переключением кодов и достигнут уровень приемки 95%, после чего клиент продлил контракт еще на пять рынков Юго-Восточной Азии. Для генеративной модели визуального контента 5 000 участников предоставили по 6 изображений каждый в течение 6 месяцев, создав более 30 000 визуальных материалов, оценивавшихся по более чем 70 критериям качества при двойной экспертной проверке, с уровнем приемки 85% и соблюдением требований 96%. Эти результаты относятся исключительно к тем двум проектам и зависят от технических требований каждого конкретного клиента.

Что делает данные для обучения ИИ качественными?

Качественные обучающие данные охватывают ситуации, с которыми столкнется ваша модель, и содержат точные разметки, которые применяются одинаково при каждом прохождении. Они также сопровождаются историей происхождения и информацией о том, кто дал согласие на их использование. Стоит протестировать семь свойств:

Зафиксируйте целевые показатели до начала сбора. Это превратит «хорошие данные» в нечто, на что можно сослаться в контракте.

Планируете набор данных и хотите получить оценку с учетом масштаба? Получите индивидуальный расчет для работ по сбору или подготовке либо ознакомьтесь с результаты клиентов, полученные в партнёрстве с SummitNext, .

Как проводить проверки качества данных для обучения ИИ?

Составьте критерии приемки до начала сбора, а затем проверяйте каждую партию путем выборочного контроля. Два рецензента оценивают одну и ту же выборку независимо друг от друга, и вы измеряете частоту их совпадений. Партии, не прошедшие порог, отправляются на доработку.

Критерии приемки и контрольные списки. Критерий — это проверка на прохождение или сбой, которой должен соответствовать элемент: аудио без клиппинга, диктор, соответствующий записи о согласии, изображение с объектом в кадре, метка из утвержденного списка. Объедините их в контрольный список, который каждый рецензент применяет одинаково. В проекте датасета речи с переключением кодов использовался 70-пунктный контрольный список контроля качества, а в проекте визуальных данных — более 70 критериев качества.

Выборочный контроль (семплирование). Проверка каждого элемента редко имеет смысл при больших масштабах. Извлеките случайную выборку из каждой партии и проверьте ее полностью, а затем добавьте целевую выборку из зоны риска, например с участием новых участников или языка, добавленного на этой неделе. Установите правило для партии заранее, чтобы партия считалась пройденной, когда выборка достигает порогового значения.

Двойная проверка и согласованность. Поручите двум рецензентам оценить одни и те же элементы, не показывая им вердикт друг друга. Там, где они согласны, элемент переходит дальше. Там, где их мнения расходятся, решение принимает старший рецензент. Уровень согласованности говорит вам больше, чем любой отдельный элемент: низкая согласованность указывает на двусмысленные инструкции, а не на небрежность рецензентов. Команды, которым нужна точная цифра, используют меру с поправкой на случайность, такую как каппа Коэна. В спринт по сбору визуальных данных для ИИ проекте проводилась двойная проверка силами людей и были зафиксированы показатели приемки 85% и соблюдения требований 96%.

Доработка. Назначьте отклоненным материалам ответственного за их доработку и второго рецензента для повторной проверки. Отслеживайте причины отклонений. Скопление одинаковых дефектов указывает на то, что инструкцию по сбору данных нужно переписать.

Как законы о конфиденциальности применяются к обучающим данным для ИИ?

Когда набор данных содержит информацию, позволяющую идентифицировать человека, это персональные данные. Законодательство о защите данных применяется с момента их сбора. Аудиозаписи и фотографии лиц подпадают под эту категорию, так как позволяют определить говорящего или изображенного человека, поэтому относитесь к ним соответствующим образом с самого первого пилотного проекта.

В Малайзии Закон о защите персональных данных (с поправками) 2024 года, известный как закон A1727, поэтапно вводился в течение 2025 года, как указано в анализе поправок юридической фирмой.

Аудиозаписи и фотографии лиц являются персональными данными всегда, когда они позволяют идентифицировать говорящего или изображенного человека, поэтому набор данных, сформированный из них, подпадает под действие закона о защите данных с первой же записи. В Малайзии Закон о защите персональных данных (с поправками) 2024 года, известный как Закон A1727, вводился поэтапно. Он признает биометрические данные особым типом чувствительных персональных данных. С 1 апреля 2025 года на обработчиков возлагаются прямые обязанности, изменились правила трансграничной передачи, а максимальные штрафы выросли до 1 000 000 ринггитов и/или трех лет лишения свободы. С 1 июня 2025 года организации обязаны уведомлять Комиссара и пострадавших лиц о нарушениях безопасности данных и назначать сотрудника по защите данных. На практике сохраняйте доступные для проверки записи о согласии каждого участника, указывайте, что цель включает обучение моделей, и ограничивайте круг лиц, имеющих доступ к исходным файлам. Эта сводка отражает поправки по состоянию на начало 2025 года, поэтому уточните порядок их применения к вашему набору данных у юрисконсульта.

Провайдер, осуществляющий сбор от вашего имени, может выступать в роли вашего обработчика, а в Малайзии обработчики теперь несут собственные обязанности, поэтому в контракте должно быть четко прописано, кто и за что отвечает. Определите сроки хранения и место размещения данных до того, как будет записан первый файл. Работы SummitNext по конфиденциальности данных и соблюдению нормативов при аутсорсинге бизнес-процессов в Малайзии дают более широкое представление об операционном контексте. Данный раздел не является юридической консультацией.

Когда стоит отдавать сбор обучающих данных для ИИ на аутсорсинг?

Передавайте сбор на аутсорсинг, когда необходимые вам данные отсутствуют в ваших собственных системах, а их сбор требует большего числа участников, языков или рецензентов, чем ваша команда может привлечь и координировать в срок. Оставляйте работы внутри компании, если данные получены из собственных источников, объем невелик, а условия соглашения уже покрывают обучение.

Признаки того, что вам нужен провайдер:

Более широкий спектр моделей аутсорсинга описан в руководстве по аутсорсингу бизнес-процессов (BPO), а работы с наборами данных сосредоточены в разделе Сервис подготовки данных для ИИ SummitNext.

О чем спросить провайдера:

Сотрудники SummitNext могут работать на вашей территории, поэтому конфиденциальные материалы могут обрабатываться без выхода за пределы вашей среды. Минимальная численность персонала не установлена, поэтому пилотным проектом может заниматься небольшая команда на небольшой партии. Ответственность четко разделена: SummitNext отвечает за подбор, обучение и соблюдение норм трудового законодательства для команды, а вы определяете спецификацию данных и принимаете решение об их приемке.

Как определяется объем задач по сбору данных?

Проект по сбору данных планируется на основе письменной спецификации данных и критериев приемки, а затем тестируется на пилотной партии перед масштабированием. Этапы выглядят следующим образом:

Языки, рынки, объем контрибьюторов, глубина проверки и настройки безопасности определяют масштаб. Они также влияют на стоимость, поэтому для составления сметы необходим четко определенный объем.

Часто задаваемые вопросы

Что такое данные для обучения ИИ?

Данные для обучения ИИ — это набор примеров, на которых учится модель, таких как изображения, аудио, текст или видео, обычно сопровождаемых разметкой, описывающей каждый пример. Они также включают метаданные о происхождении и согласии. Качество этих данных определяет предел производительности обученной модели.

Где найти данные для обучения модели ИИ?

Начните с собственных архивов, затем рассмотрите лицензированные наборы данных, открытые наборы данных, синтетическую генерацию и заказной сбор. Каждый источник имеет разные условия согласия и лицензирования, поэтому фиксируйте происхождение каждого файла. Заказной сбор подходит для случаев, когда необходимые вам языки, условия или контрибьюторы отсутствуют везде.

Как проверить качество набора данных для обучения ИИ?

Сначала напишите критерии приемки, а затем проверьте по ним случайную выборку из каждой партии. Поручите двум рецензентам независимо оценить одни и те же элементы и отслеживайте частоту их совпадений. Возвращайте забракованные элементы на доработку и регистрируйте причины отклонения, поскольку повторяющиеся дефекты обычно указывают на нечеткие инструкции по сбору.

Могу ли я использовать открытые наборы данных для обучения коммерческой модели?

Только если это разрешено лицензией. Открытый не означает неограниченный: некоторые лицензии запрещают коммерческое использование, требуют указания авторства или требуют, чтобы производные работы распространялись на тех же условиях. Зафиксируйте лицензию и версию каждого набора данных и проверьте, содержатся ли в нем персональные данные, прежде чем он попадет в ваш конвейер обучения.

Могут ли синтетические данные заменить реальные обучающие данные?

Редко полностью. Синтетические данные заполняют пробелы, такие как редкие случаи, и позволяют командам тестировать конвейеры без персональных данных, но они наследуют «слепые зоны» того, что их сгенерировало. Проверяйте их на реальных примерах и сохраняйте отдельный реальный тестовый набор для измерения поведения модели за пределами симуляции.

Насколько маленьким может быть пилотный проект по сбору данных?

Достаточно маленьким для быстрого запуска и достаточно большим для проверки спецификации, процесса получения согласия и критериев приемки. SummitNext не устанавливает минимального размера команды, поэтому пилот может начаться с небольшой группы и небольшой партии. Масштабируйте только после того, как пилотная партия пройдет ваш порог приемки.

Заключение

Обучающие данные определяют возможности модели, а решения, формирующие их, принимаются на ранних этапах — в спецификации, разработке согласия и критериях приемки. Это в такой же степени бизнес-решения, как и технические, и исправить их до сбора данных дешевле, чем после. Зафиксируйте цели и проверяйте каждую партию. Сохраняйте записи о согласии, к которым можно получить доступ, и относитесь к голосовым и биометрическим данным лиц как к персональным с первого дня. Если ваша команда не может нанимать нужных контрибьюторов и управлять ими, провайдер может взять эту нагрузку на себя, в то время как за вами останется спецификация и окончательное слово при приемке. Чтобы оценить масштабы пилота или обсудить интересующий вас набор данных, поговорите с нашей командой и запросите индивидуальный расчет.

ru_RUРусский