重點摘要
- 資料標註是在原始圖片、文字、音訊、影片或感測器資料上新增標籤,讓機器學習模型能夠從中學習。
- 工作流程從標籤集與指導方針開始,經過小規模試行,到大規模標註與審查。
- 品質檢查是透過標註人員之間的共識,以及將樣本與參考基準集進行對照審查來完成。共識度低通常指向指導方針不夠明確。
交給模型的如果只是一張原始照片或是一個單純的句子,它是無法從中學到任何東西的。監督式學習確實如此。學習始於有人已經指出資料代表了什麼。這就是標註步驟。從外部看來似乎很容易輕忽,但它仍然為模型的表現設定了上限。模糊的標籤集會悄悄產生不一致的資料,後續的額外訓練也無法修復它。Snorkel AI 表示,資料的品質會影響模型的效能表現(Snorkel AI,資料標註).
正在抉擇要建立標註團隊還是外包?請先閱讀品質與成本章節。
什麼是資料標語?
資料標註是將標籤新增至原始資料(例如影像、文字、音訊、視訊或感測器讀數)的過程,以便監督式學習模型能夠從中學習。有人會標記每個項目包含的內容,這可能是照片中的物件、句子中的名稱或錄音中的字詞。標註後的結果就是訓練資料集。Snorkel AI 將其描述為分類和標記資料,以建構用於機器學習的訓練資料集。日常生活中,「資料標註」(data annotation) 與「資料標記」(data labeling) 的意思幾乎相同。有些團隊使用「標註」來進行更豐富的標記(如分割或實體標記),並使用「標籤」來進行簡單的類別指派。決定結果好壞的三個因素是:標籤集、每個標籤背後的書面指導方針,以及檢查工作的審查機制。所有這些都描述了監督式學習。沒有標籤就進行訓練的模型則會跳過這個步驟。
Snorkel AI 也強調明確的指導方針,這有助於釐清不明確的情況。
有幾個術語容易混淆。標籤(Label)是單一項目上的標記。標註人員會套用它,有時工具也會。指導方針(Guideline)則是書面規則手冊,用來解釋每個標籤。當情況不明確時,它會說明該怎麼做。當品質下滑時,請先檢查指導方針。
這與資料標記相同嗎?大致上是。大多數供應商(包括 SummitNext)都交替使用這兩個詞(SummitNext 的資料標註服務頁面)。想要了解標註的協同作業與工作流程?請參閱 資料標註服務頁面.
資料標註的主要類型有哪些?
決定類型的因素是什麼?是資料格式。涵蓋圖片、影片、文字、音訊與感測器工作。每種格式都有其專屬標籤。圖片使用方框與遮罩;文字使用實體與意圖;音訊使用逐字稿與說話者標籤。單一專案可以混用多種格式。
| 資料格式 | 典型標籤 | 模型學習的內容 | 應用範例 |
|---|---|---|---|
| 圖片 | 邊界框、多邊形、關鍵點 | 用於尋找、分類和描繪物件輪廓 | 自動駕駛感知、人臉識別 |
| 影片 | 透過人工或自動輔助,逐影格追蹤物件 | 用於追蹤物件並識別活動與動作 | 運動分析、機器人技術 |
| 文字 | 命名實體、情感、意圖、關鍵詞組 | 用於讀取語意、語氣以及使用者的需求 | 聊天機器人、情感分析 |
| 音訊 | 逐字稿、背景噪音標籤、發言者標籤 | 用於識別語音並將人聲與其他聲音區分開來 | 語音助理、語音轉文字 |
| 感測器(光達、雷達) | 感測器讀數本身的標籤 | 用於移動及避開障礙物 | 自動駕駛車輛、智慧家庭裝置 |
| 語意分割 | 影像或影片中每個像素的類別 | 像素級的精確形狀 | 醫療影像、製圖 |
| 3D 點雲 | 標記於三維空間中的物件 | 用於 3D 空間作業 | 無人機導航、AR 與 VR |
上表遵循 Snorkel AI 指南中的清單,經重新改寫與分組(Snorkel AI,資料標註).
圖片與影片標註
以邊界框為例,它們是圍繞物件繪製的矩形。多邊形則能更貼切地描繪輪廓。關鍵點能精確定位單一位置,像是姿態中的關節。影片則增加了時間維度,你必須跨影格追蹤同一個物件,且其標籤在移動時必須保持一致。
文字標註
文字工作意指標記命名實體(人物、地點、組織)、情感、意圖和關鍵詞組。如果文字跨越多種語言,指南就需要針對每種語言提供獨立的說明。適用於英語的規則可能不適用於馬來語或中文。
音訊、感測器與 3D 標註
大多數的音訊工作為語音轉錄、噪音識別與說話者標記。感測器與 3D 標註則涵蓋光達、雷達與點雲資料。兩者都更具專業性,且通常需要專屬工具。對語音模型的音訊資料如何收集感到好奇?請參閱我們的 語音資料集收集案例.
大型語言模型的標註
語言模型帶來了一項較新的人工任務。標註人員會比較兩個回覆並挑選較佳的一個,或者對多個回覆進行排序。他們也負責標記用於訓練和對齊模型的指令。SummitNext 的服務頁面將這類工作稱為高度依賴判斷力。這就是為什麼它需要嚴謹的指南和優秀的標註人員。它是 SummitNext 的 AI 服務.
已標註的資料長什麼樣子?
看一個實際範例會很有幫助。這是建構出來的資料,而非客戶資料。
以「週五幫我訂一張去檳城的機票」這則訊息為例。標註人員可能會這樣標記:
| 層級 | 標籤 |
|---|---|
| 意圖 | book_flight |
| 地點 | 檳城 |
| 日期 | 星期五 |
三個標籤。指南已經面臨兩個抉擇。檳城是馬來西亞的一個州,但人們也用這個名稱來指稱檳榔嶼。任何地點都用同一個「地點」標籤嗎?還是為城市、州和島嶼分別設定標籤?此外,「星期五」應該保留原樣,還是轉換為日曆日期?
如果將這些問題懸而不決,一個標註人員可能會把檳城標記為城市,另一個則標記為地區。模型就會對同一個問題得到兩種答案。一份完善的指南會透過書面形式一次解決這個問題。
資料標註流程是如何運作的?
你首先定義任務並撰寫指導方針。接著在小樣本上進行測試、進行大規模標註,並審查輸出結果。測試與指導方針修改之間的循環最為重要。預期在開始大量工作之前,需要多次修訂指導方針,並將其納入計畫中。
- 定義任務與標籤集。 從模型必須學習的內容開始,接著列出標籤。過長的清單容易引起分歧,因此請在任務允許的範圍內儘可能精簡標籤集。
- 撰寫指導方針。 Snorkel AI 表示,指導方針可以包含類別定義、範例以及何時略過項目的規則。它還建議考慮標註人員的背景與經驗(Snorkel AI).
- 以小樣本進行先導測試。 經驗豐富的標註人員標註數十個範例,然後團隊一起檢視分歧與落差。Snorkel AI 也建議儘早對小樣本進行測試,這有助於浮現模稜兩可之處。
- 規模化標註。 直到指導方針通過先導測試的考驗再進行。在進行過程中,記錄任何令人困惑的事項,然後將每個決策寫回指導方針中。
- 審查與交付。 抽樣檢查完成的工作、衡量一致性、修正錯誤,然後交付資料集以及最終版本的指導方針。
資料標註是由人工、軟體,還是兩者兼具來完成?
團隊可以透過人工、軟體輔助或兩者結合來進行標記。每個標籤需要多少判斷力?這決定了兩者的搭配比例。
人工標註是指由標註人員親自套用每一個標籤。這適合需要高度判斷力的工作,例如對模型的兩個回覆進行排序,或判讀諷刺文字中的情感。在這種情況下,規則無法取代真人。
在軟體輔助下,模型或一組規則會先對資料進行預先標記,然後由人工進行修正。Snorkel AI 描述了將指南編碼為規則並針對人工標註的資料進行測試的過程,這能找出指南在哪些情況下交代不清。影片處理工作也使用自動追蹤來將標籤跨影格傳遞。若要了解更廣泛的背景,請閱讀 自動化如何重塑外包營運.
無論如何,仍然需要由真人來審查樣本。
如何衡量資料標註品質?
資料標註品質通常透過兩種方式來衡量:標註人員之間的一致性,以及相對於參考集的準確性。一致性指的是獨立標註人員是否對相同的項目給予相同的標籤。統計量如用於兩位評分者的 Cohen’s kappa,以及用於固定數量評分者的 Fleiss’ kappa,能將其量化,並排除隨機猜測所造成的一致。準確性則是將樣本標籤與專家已驗證過的黃金標準集進行核對。SummitNext’s service page 在資料送出前增設了資深審查層,並建立回饋機制,將邊界案例(edge cases)送回標籤綱要(schema)中。一致性是較快的檢查方式;參考集則能捕捉到兩位標註人員共同犯下的錯誤。一致性偏低嗎?請先修正指導方針,然後重新標註受其影響的資料。這些檢查適用於具備明確類別的專案;而如排序模型回應等開放式工作,則更依賴審查人員的判斷。
維基百科稱之為評分者間信度(inter-rater reliability):獨立觀察員在評分、編碼或評估同一事物時的一致程度(維基百科,評分者間信度)。最常出現的三種統計數據為:
- 科恩卡方係數 (Cohen’s kappa): 兩位評分者、類別,以及針對隨機猜測的校正。
- 弗萊斯卡方係數 (Fleiss’ kappa): 概念相同,但適用於固定的一群評分者。
- 克里本多夫阿爾法係數 (Krippendorff’s alpha): 適用於任意數量的評分者、多種資料類型以及遺失值。內容分析和計算語言學都會使用它。
為什麼要對隨機猜測進行校正?我們來看一個小型虛構案例。兩位標註人員將十則訊息分類為正面或負面。
| 標註人員 B:正面 | 標註人員 B:負面 | |
|---|---|---|
| 標註人員 A:正面 | 5 | 1 |
| 標註人員 A:負面 | 1 | 3 |
他們在 10 個項目中有 8 個相符,80% 的準確率聽起來很棒。然而,他們兩人各自將 6 則訊息標為正面、4 則標為負面,如果兩個人憑著這種習慣隨機猜測,大約仍有 52% 的機率會吻合(0.6 × 0.6 加上 0.4 × 0.4)。那麼他們超越猜測的水準有多少?以 0.80 減去 0.52,再除以 1 減去 0.52,kappa 值大約落在 0.58。表現尚可,稱不上亮眼。原始的 80% 數據高估了他們的表現。
SummitNext 的品質檢查清單
SummitNext 的服務頁面 列出了其品質步驟。如果對您有幫助,歡迎參考。
- 從精確的標籤綱要開始。無論標註人員多麼熟練,模糊的綱要只會得到不一致的標籤。
- 使用經過訓練的標註人員。
- 先執行先導批次。在擴大規模之前,先證明您的綱要品質。
- 根據黃金標準集對標註人員進行評分。
- 追蹤標註人員之間的一致性。
- 在資料出貨前新增資深審查層級。
- 將邊界案例送回綱要中。同一個問題不應該絆倒您兩次。
- 將準確性量化為數值。承諾並不是一個數值。
高一致性不代表一定正確。假設指導方針本身有誤,兩位標註人員可能會達成一致,但兩人都錯了。因此,團隊會將一致性與參考集及資深人員的審查結合使用。
資料標註需要哪些工具?
標註工具需要發揮什麼作用?三大任務。在正確的標註介面中顯示每個項目。記錄誰標註了什麼。讓審查人員能夠進行比對與修正。一款優秀的工具能讓標註人員標記模糊不清的項目,而不是靠猜測。它還應該以您的訓練管線所能讀取的任何格式來回傳標籤。
工具的品牌不如想像中重要,清晰的指令才關鍵。正在處理敏感資料嗎?請在初次對話中提出存取控制與儲存位置的要求。這些限制決定了哪些工具以及哪些人員可以接觸這些資料。
資料標註人員在做什麼?
資料標註人員遵循書面指導方針來套用標籤,並標記指導方針未涵蓋的項目。在典型專案中,角色分為三個部分:標註人員負責標註;審查人員或資深標註人員負責檢查樣本;由專人負責指導方針並對有爭議的案例進行裁決。
專業資料提高了門檻。正如 SummitNext’s service page 所指出,醫療、法律或財務文字需要具備該領域訓練的標註人員。因此,相關職責涵蓋了從一般標註到專家審查的範圍。
資料標註的成本是多少?
資料標註通常按標註單位、按小時或以專屬月度團隊的方式計價,複雜標籤的成本高於簡單標籤。SummitNext’s service page 指出,簡單的影像分類成本較低,而詳細的分割、專業領域與多步驟語言排序則成本較高,因為每個項目需要更多的專業技能與時間。
在比較報價之前,請先計算您真實的簡單與複雜項目比例。綜合費率會掩蓋真正推高帳單的因素。預算考量也應超出單位費率本身。綱要設計、針對您領域的標註人員培訓以及品質層級都會增加成本。將重新訓練的成本納入考量後,品質低落資料的便宜費率反而更加昂貴。
想要具體的數字嗎? 請求範圍化報價。SummitNext 根據您的綱要、資料類型和品質標準進行定價。
標註開始前應該準備什麼?
有兩件事必須優先準備:資料樣本與標籤清單。加入附帶範例的書面定義。同時為邊界案例預作規劃。誰來批准指導方針的變更?請決定這一點。敏感資料將如何處理?這點也必須達成共識。這樣一來,試點專案就能進行得更快,結果也更容易檢驗。
在先導測試之前,請收集以下內容。
- 真實資料的具代表性樣本,包含雜亂的案例。
- 每個標籤都有一行定義和至少一個範例。
- 針對不符合任何標籤或符合多個標籤的項目的規則。
- 負責裁決爭議案例的指定人員。
- 資料集的品質目標,以及您將如何衡量它。
- 任何存取或隱私限制。這些請與資料所有者自行解決。
自建還是外購?這是個獨立的決定。到了這個階段? AI 資料準備概覽 顯示了標註在更廣泛流程中的位置。
常見問答
用簡單的詞彙來說,什麼是資料標註?
這就是標註。原始資料輸入後,由人工為每個項目的內容加上標籤:例如照片中的物件、文字中的名稱、片段中的單字。監督式機器學習模型需要這些資料來進行學習。一旦加上標籤,這堆資料就成為了訓練集。
資料標註有哪些類型?
包含圖片、影片、文字、音訊和感測器資料,因為類型取決於格式。圖片會加上邊界框與多邊形;文字會加上命名實體與意圖;音訊會進行轉錄;感測器則會加上光達(lidar)或雷達標籤。許多專案會混合多種格式,而語言模型的工作則會在上方額外加上回應排序。
資料標註和資料標籤是一樣的東西嗎?
大致如此。兩者都代表為資料加上標籤以供模型訓練。有些團隊會劃分界線:將更豐富的標記(例如分割或實體標註)稱為 annotation(標註),而將單純的類別指派稱為 labeling(標籤)。不用為此過於糾結,因為無論供應商選擇哪個詞,其流程與品質檢查都是一樣的。
如何檢查資料標註的品質?
從標註者之間的共識開始,並使用科恩氏卡帕係數(Cohen’s kappa)或克里芬多夫阿爾法係數(Krippendorff’s alpha)將其量化。接著,抽取一份已完成工作的樣本,並將其與參考集進行比較。共識度偏低?在怪罪人員之前先檢視指導方針,因為模糊的用詞通常是罪魁禍首。請重新標註受其影響的所有內容。
為什麼標註指導方針很重要?
它能告訴每位標註者某個標籤代表的意義。如果指導方針用詞模糊,大家標註同一項目的方式就會不同,模型就會接收到混亂的資料。在大規模作業開始之前,先用小樣本測試指導方針,並將遇到的每一個邊緣案例(edge case)都記錄進去。這能在問題進入資料集之前,預先排除許多品質問題。
資料標註的成本是多少?
通常按標註單元計費、按小時計費,或是以每月的託管團隊形式計費。複雜度會影響價格:語意分割的費用高於簡單的影像分類,而專家領域的費用又更高。在比較報價之前,請先清點您的項目中有多少是簡單的、多少是困難的。混合費率會掩蓋到底是哪一類群組在推高帳單金額。
資料標註的範例是什麼?
想像這則訊息:「週五幫我訂一張去檳城的機票。」一位標註者將意圖標註為預訂機票、檳城標註為地點,而週五標註為日期。接著,指導方針必須對棘手的部分做出規範(例如檳城是城市還是州),好讓每位標註者都給出相同的答案。
總結
在有人進行標註之前,原始資料無法教導模型任何事情,而指導方針決定了這些標註的品質好壞。因此,請定義任務、撰寫規則手冊、在小樣本上進行測試,然後擴大規模並進行審查。想知道您的結構描述是否可行?先執行一小批試點。這是找出答案最便宜的方法。
正在權衡自行建構還是外購?請參閱 SummitNext 合作案例的客戶成果 以了解這些合作專案的運作方式。若要評估您自己的資料類型、結構描述與品質標準,請 與團隊聯繫 關於您的專案。
