重點摘要

AI 訓練資料是模型學習所依據的範例集合:圖片、語音錄音、文字和影片,再加上告訴模型每個範例代表什麼意思的標籤。看似模型故障的問題,通常都源自於此,例如某些情況的覆蓋率不足或彼此矛盾的標籤。有時候,這些檔案根本未獲得使用授權。

就 AI 專案的商業層面而言,資料集也是決定成本與法律風險的關鍵。資料科學主管要求數百小時的語音或數萬張圖片,而必須有人來評估這項計畫是否可行。

大多數的資料集都取材自五大來源中的一個或多個。七項屬性決定了其品質,您可以透過抽樣和審查來測試每一項。個人資料從第一筆錄音開始就會帶來法律義務。大規模蒐集則是人力配置與流程的問題,這正是委外合作夥伴展現價值或失敗之處。

什麼是 AI 訓練資料?

AI 訓練資料是用來教導模型的任何範例集合,從原始錄音到完全標記的圖片皆包含在內。原始資料是輸入內容:一張照片或一段語音短片。標籤是個人或流程事後添加的內容:這張照片顯示受損的包裹,這段短片混合了兩種語言。元資料(Metadata)則記錄了誰貢獻了該項目、何時貢獻、在什麼條件下以及在獲得什麼同意的情況下貢獻。

一旦您掌握了資料,標註就能將其轉化為模型可以學習的內容。這項工作有其專屬頁面:SummitNext 的 針對讀取圖片、音訊或文字之模型的標註支援服務 以及其 針對現有資料集的標註服務。本文則專注於前端,探討資料本身。

AI 訓練資料來自哪裡?

AI 訓練資料來自五個來源:您自身的系統、授權資料集、開放資料、合成生成以及委託蒐集。您的選擇取決於您需要多少控制權以及能投入多少心力。

第一方資料。 您的企業已經擁有的記錄,例如客服轉錄文字與通話錄音。您掌握這些資料,且它們符合您的實際使用情境。但它們也僅能反映您既有的客戶,且背后的同意事項可能從未考慮過模型訓練。在重複使用之前,請先確認人們同意了什麼。

授權資料。 向第三方購買或租用的資料集,其到手速度比您自己建立的任何資料都快。請詳讀授權許可的範圍:訓練用途、商業部署、期限與地區。詢問賣家資料是如何蒐集的,以及貢獻者是否同意。

經過授權檢查的開放資料。 下載公開資料集不需任何費用,但公開並不等於可作任何用途的免費。授權條款不盡相同:有些限制商業使用,其他則要求署名或對任何基於該資料建構的內容套用相同條款。請在資料旁記錄授權與版本,並檢查內部是否包含個人資料。

合成資料。 透過模擬或另一個模型生成,用以填補罕見案例等空白。它也讓團隊能在沒有真實個人資料的情況下測試管線。它繼承瞭生成它的產物的盲點,因此請使用真實範例來對照檢查。

委託蒐集。 根據您的規格,由特別招募的參與者所收集的新資料。當您需要的資料目前尚不存在時,這就是一條途徑,例如特定的語言組合或您自身記錄未涵蓋的人口群體。您從一開始就設定規格和同意條款,並承擔專案管理的負擔。這份負擔正是許多團隊將這部分交給服務提供者的原因。

委託收集是根據您的規格,由特別招募的參與者收集新的 AI 訓練資料的過程,而不是重複使用您現有的記錄。它適用於您需要的資料尚不存在的專案,例如特定的語言組合或擷取條件。兩個 SummitNext 合作案例展現了其規模。對於一個多語言語音辨識模型,該合作案使用了 400 對配對樣本與 70 項品管檢查清單,交付了超過 520 小時的語碼轉換(code-switched)語音,接受率達到 95%,且客戶將合約延長至東南亞另外五個市場。對於一個生成式視覺模型,5,000 名參與者在 6 個月內每人提供 6 張圖片,產生了 30,000 多張視覺影像,並在雙重人工審查下根據 70 多項品質標準進行評估,接受率達 85%,合規率達 96%。這些成果屬於這兩個合作案例,並取決於每個客戶自身的規格。

是什麼讓 AI 訓練資料變得優秀?

優秀的訓練資料涵蓋了您的模型將會遇到的情境,並帶有準確且每次都以相同方式套用的標籤。它還附帶了資料來源以及誰同意其使用的記錄。以下七個特性值得進行測試:

在收集開始之前寫下目標。這會將「優質資料」轉化為合約可以參照的對象。

正在規劃資料集並想要一個範圍評估? 取得客製化報價 進行收集或準備工作,或閱讀 SummitNext 合作案例的客戶成果 。

您如何對 AI 訓練資料進行品質檢查?

在收集開始前寫下接受標準,然後透過抽樣檢查每個批次。兩位審查員獨立評估同一個樣本,並測量他們的意見一致頻率。低於門檻的批次將送回重工。

接受標準與檢查清單。 標準是項目必須通過或失敗的測試:音訊無雜訊裁切、講者符合同意記錄、影像主體在畫格內、標籤取自核准清單。將它們組合成檢查清單,讓每位審查員以相同方式套用。 程式碼切換語音資料集專案 使用了 70 項品管檢查清單,而視覺資料合作案則使用了 70 多項品質標準。

抽樣。 在大規模下,審查每個項目通常沒有意義。從每個批次中隨機抽取一個樣本並進行全面審查,然後從風險較高的區域(例如新參與者或本週新增的語言)加入針對性樣本。預先設定批次規則,當樣本達到門檻時,該批次即通過。

雙重審查與一致性。 讓兩位審查員在看不到彼此判定結果的情況下評估相同的項目。如果他們的意見一致,項目就會通過。如果意見分歧,則由資深審查員決定。一致率比任何單一項目更能告訴您狀況:低一致性指向模糊的指導方針,而不是粗心的審查員。想要數字的團隊會使用機會校正的測量方法,例如 Cohen's kappa。 AI 視覺資料蒐集衝刺計畫 執行了雙重人工審查,並記錄了 85% 的接受率和 96% 的合規率。

重工。 為被拒絕的项目指定負責修復的擁有人以及進行複核的第二審查員。追蹤拒絕原因。同一缺陷的叢集指向需要重寫的收集說明。

隱私法如何適用於 AI 訓練資料?

當資料集包含可識別個人身份的資訊時,即為個人資料。資料保護法自收集之時起即適用。語音錄音和人臉影像符合資格,因為它們可以識別說話者或照片中的人物,因此請從你的第一個試點開始就以這種方式對待它們。

在馬來西亞,《2024年個人資料保護(修正)法》(稱為 A1727 法案)於 2025 年分階段實施,如以下內容所述: 一家法律事務所對修正案的分析.

語音錄音和人臉影像只要能識別說話者或照片中的人物,即屬個人資料,因此由其建構的資料集自首次錄製起即受資料保護法規範。在馬來西亞,《2024年個人資料保護(修正)法》(稱為 A1727 法案)分階段推出。它承認生物識別資料是一種敏感個人資料。自 2025 年 4 月 1 日起,處理者面臨直接義務,跨境傳輸規則變更,最高罰款增至 1,000,000 馬幣及/或三年監禁。自 2025 年 6 月 1 日起,組織必須將資料外洩事件通知專員和受影響的個人,並任命資料保護官。在實務上,為每位貢獻者保留可檢索的同意記錄,聲明其目的包括模型訓練,並限制誰能開啟原始檔案。本摘要反映了 2025 年初報導的修正案內容,因此請與法律顧問確認其如何適用於你的資料集。

代表你進行收集的供應商可能會擔任你的處理者,而在馬來西亞,處理者現在承擔其自身的義務,因此合約應明確規定誰負責什麼。在擷取第一個檔案之前,請決定保留期限和儲存位置。SummitNext 的 馬來西亞 BPO 營運中的資料隱私與合規工作 提供了更廣泛的營運背景。本節不構成法律建議。

何時應該將 AI 訓練資料收集外包?

當你需要的資料不存在於你自己的系統中,且收集該資料所需的貢獻者、語言或審查員超過你的團隊能夠及時招募和管理者時,即可進行外包。當資料為第一方資料、數量不大且同意條款已涵蓋訓練時,請維持內部處理。

指向供應商的訊號:

外包模型的更廣泛領域記載於 BPO 指南中,而 SummitNext 的 人工智能數據準備服務 則是資料集工作所在的位置。

向供應商詢問的問題:

SummitNext 員工可以在你的場地工作,因此敏感材料可以在不離開你自身環境的情況下進行處理。沒有最低人數限制,因此試點可以是在小批次上的一小支團隊。責任劃分清晰:SummitNext 負責團隊的招募、培訓和 HR 合規,而你則負責資料規格和驗收決定。

資料收集專案的範圍是如何界定的?

資料蒐集專案的範圍根據書面資料規格與驗收標準而定,並在擴大規模前透過先導批次進行驗證。各階段流程如下:

語言、市場、貢獻者數量、審查深度和安全性設定決定了專案範圍。這些也決定了成本,因此報價背後需要有明確的專案範圍。

常見問題

什麼是 AI 訓練資料?

AI 訓練資料是模型學習的一系列範例,例如影像、音訊、文字或影片,通常會搭配描述每個範例的標籤。它還包含有關來源和同意書的中繼資料。這些資料的品質決定了訓練後模型效能的上限。

去哪裡可以找到用於訓練 AI 模型的資料?

從您自己的記錄開始,然後考慮授權資料集、公開資料集、合成資料生成以及委託蒐集。每個來源的同意書和授權條款都不同,因此請記錄每個檔案的來源。當您所需的語言、條件或貢獻者在其他地方都找不到時,委託蒐集是最適合的方式。

如何檢查 AI 訓練資料集的品質?

先寫出驗收標準,然後針對標準審查每個批次的隨機樣本。讓兩位審查者獨立評估相同的項目,並追蹤他們的意見一致頻率。將未通過的項目退回重工並記錄退件原因,因為重複出現的缺陷通常指向不明確的蒐集指示。

我可以使用公開資料集來訓練商業模型嗎?

只有在授權允許的情況下才可以。公開並不代表不受限制:有些授權禁止商業用途、要求署名,或要求衍生作品必須採用相同的條款。請記錄每個資料集的授權與版本,並在它進入您的訓練管線之前,檢查其中是否包含個人資料。

合成資料可以取代真實的訓練資料嗎?

幾乎無法完全取代。合成資料可以填補空白(例如罕見案例),並讓團隊在沒有個人資料的情況下測試管線,但它會繼承生成該資料之工具的盲點。請用真實範例來驗證它,並保留一組真實的保留測試集,以衡量模型在模擬環境之外的表現。

資料蒐集先導測試可以有多小?

規模小到能快速執行,大到足以測試您的規格、同意書流程與驗收標準。SummitNext 沒有最低人數限制,因此先導測試可以從小型團隊和小批量開始。只有在先導批次通過您的驗收門檻後,才能擴大規模。

總結

訓練資料決定了模型能做什麼、不能做什麼,而形塑它的抉擇在早期(即規格制定、同意書設計和驗收標準)就已做出。這些既是商業決策,也是技術決策,在蒐集前把事情做對所花費的成本,低於蒐集之後。將目標寫下來並對每個批次進行抽樣。妥善保存可檢索的同意書記錄,並從第一天起將語音和臉部資料視為個人資料。如果您的團隊無法招募和管理所需的貢獻者,供應商可以幫您扛起這個重擔,而您則保有規格制定權和最終驗收權。若要評估先導測試的範圍或討論您心儀的資料集, 請與我們的團隊洽談 並索取客製化報價。

zh_TW繁體中文