重點摘要

標註英文文本已經夠難了。如果把任務交給泰國團隊,那就是完全不同的工作。中文或日文也是如此。字詞邊界落在不同的位置。文字系統的運作方式也各不相同。某些英文中的極端案例在新語言中根本不存在,而其他案例出現時則與原貌完全不同。

這正是亞洲語言多語資料標註的真正問題所在。這項工作並非在某種模糊的意義上變得更困難,而是它不那麼容易移植。直接把英文規範複製過去,只會默默失效。直到一致性分數下降,或者模型開始在某個語言中出現遠高於其他語言的標註錯誤時,才會有人發現。

以下是涵蓋的內容:跨語言的文本標註、各語言專屬的規範、審查人員團隊、逐一語言評分的品質,以及先導測試。語音的錄製或收集不在範圍內,而我們的 語音資料集收集案例 涵蓋了這部分。初次接觸?請從 什麼是資料標註開始。這裡也包含馬來西亞的面向,因為爪夷文(Jawi)、羅馬馬來文(Rumi)和馬來式英語(Manglish)都會出現在標註人員的桌上。

什麼是多語資料標註?

多語資料標註是針對一種以上語言的文本進行標註,以便模型能夠學習每種語言。標籤集通常是共用的,例如每種語言都使用相同的實體類別或意圖類別。然而,環繞著標籤的內容則不共享。每個語言都有自己的規範章節、母語等級的審查人員以及專屬的品質分數。如果跳過這點,就會犯下典型錯誤:將一份英文規範套用到中文、日文和泰文上。這些標籤在紙面上看起來很一致,但字詞與實體的起端和末端在哪裡?它們無法達成共識。一個公平的測試是:回報各語言的一致性,然後解釋它們之間的所有差距。你辦得到嗎?截至 2026 年,這僅指純文本。請想像實體標記、意圖分類與情感分析,而非語音、音訊或圖像標註。那是不同的工作。

那麼,這些語言應該共用多少內容?這是每個專案早期都會遇到的問題。共用太少,就會變成好幾個無法比較結果的獨立專案;共用太多,則會把某一語言的邏輯強加到另一語言上。

Universal Dependencies 展示了常見的折衷辦法。其目標是建立跨語言一致的樹庫(treebanks)。它涵蓋近 200 種人類語言,並擁有不同規模與品質的樹庫和規範。類別與規範是通用的。必要時會加入特定語言的擴充功能,且每個語言團隊都保有自己的規範(Universal Dependencies)。這種分工方式在較小的商業專案中同樣適用,這也是本指南其餘部分所假設的架構。

為什麼一份規範無法涵蓋所有語言?

一份規範無法適用於所有語言,因為語言標記字詞、文字系統和文法的方式各不相同。最明顯的例子就是「詞」本身。中文和日文在字與字之間不加空格,泰文和寮文也是如此。因此,標註人員必須自行決定字詞或實體的起點與終點。這種判定會改變標籤。請把它寫下來。

維基百科關於文本分割的文章詳細說明了這一點。在中文和日文中,句子有界線但字詞沒有。在泰文和寮文中,片語和句子有界線但字詞沒有。它還展示了一個具有兩種有效分割方式與兩種意義的中文句子:「美國會不同意」或「美國國會不同意」(Wikipedia, Text segmentation)。相同的字元,不同的實體。

越南文看起來比較簡單,其實不然。它雖然使用空格,但根據維基百科關於單字分隔符號的文章,幾乎所有的音節都用空格隔開,無論它們是否構成單字邊界(維基百科,單字分隔符號)。空格告訴你音節在哪裡結束,但它不會告訴你單字在哪裡結束。把每個空格都當作邊界的標註者會將複合詞拆開,而另一個不這麼做的標註者會整天跟他們意見分歧。

為什麼這對標註很重要?以片段標註(span labelling)為例,例如人名或產品術語。如果準則沒有說明在沒有清楚單字空格的語言中該如何處理邊界,兩位標註者就會畫出兩個不同的片段。一致性會下降,而這與技巧毫無關係,問題出在準則上。

書寫系統如何改變這項工作?

書寫系統會改變這項工作,是因為同一種語言可能以多種書寫系統呈現,而帶標籤的資料集必須指明它包含哪一種。根據 W3C 的說法,當書寫系統子標籤能增加有用的資訊時,就應該加入語言標籤中。轉寫為拉丁字母的俄文(ru-Latn)就是 W3C 自己的例子(W3C,語言標籤)。從一開始,就為每個項目標上其語言和書寫系統。這樣一來,後續的篩選、抽樣和各語言報告才能順利進行。

馬來西亞提供了一個很好的本地例子。馬來語現今大多使用拉丁字母書寫(稱為 Rumi),但爪夷文(Jawi)依然存在。爪夷文是以阿拉伯字母為基礎,擁有 31 個原始阿拉伯字母,再加上為適應馬來語原生發音而建立的額外字母。直到 20 世紀,它一直是馬來語的標準書寫系統。如今它是汶萊兩個官方書寫系統之一,在馬來西亞,其地位受 1963/67 年《國家語言法》第 9 條保護,在宗教和文化脈絡中仍保留一定程度的官方使用(維基百科,爪夷文).

這對專案代表什麼意思?如果你的馬來語資料可能包含爪夷文,請在前期決定是否將其納入範圍,並進行標記。如果任何語言的羅馬化文字在範圍內,請在準則中說明。超出範圍的項目仍應有一條規則,即使該規則是「略過並標記」。如果不加說明,每位標註者就會發明自己的答案。

每種語言的準則應該包含什麼?

從一份共用的核心準則開始。然後為每種語言新增一個簡短的章節,涵蓋邊界規則、書寫系統處理、混合語言文字以及實作範例。這些範例請直接用該語言撰寫。它們比翻譯過後的規則更重要,因此請在計畫中為其預留時間。

以下是應提供給每個語言章節的結構:

章節解決了什麼問題它所解答的問題
邊界標註片段的起點與終點當文字中沒有空格時,誰來決定什麼算是一個單字?
書寫系統與拼寫你預期的書寫系統,以及如何處理音譯羅馬化文字是否在範圍之內?
語言與書寫系統標籤如何標記每個項目標籤是按項目記錄還是按檔案記錄?
邊緣案例不符合任何標籤、或符合兩個標籤的項目人名、外來語和縮寫該如何處理?
實作範例真實項目、其正確標籤及原因每個標籤是否都有清楚的案例與困難的案例?
混合語言文字包含兩種語言的單一句子該項目是要被標註一次,還是要分割?

保持共用核心的簡短。每位標註者只需閱讀幾頁。每個語言團隊也只需閱讀自己的章節,其他人都不用。這比維護一份長篇文件更容易維護。當決策改變時,請更新核心或語言章節、記錄日期,並告知團隊。找不到最新版本的準則,比一份短版準則還要糟糕。

正在規劃多語言專案,但不確定需要多少個語言章節?一次範圍界定對話能迅速解決這個問題。你可以在確認結構之前, 與 SummitNext 團隊討論你的語言和任務類型 。

你應該如何為每種語言建立審查人員池?

每種語言都有專屬的審閱團隊,成員皆為母語級讀者(能揪出被翻譯抹平的語意轉折那種),並配有一到兩位備用人員,才不會因為有人請病假就讓該語言的進度停擺。

審閱人員應該從原始語言著手,而不是根據翻譯。為每個語言指派一位資深審閱人員,負責裁決有爭議的項目,並在當天將裁決結果寫入該語言的專屬章節中。同時進行兩次校準:第一次是所有語言齊聚一室,確保共享標籤在所有地方代表相同的意義;第二次則是針對個別語言的在地規則進行校準。

翻譯能涵蓋一切嗎?對於原創文字而言並不能。以 MASSIVE 為例:它最初是英語資料集 SLURP,隨後專業譯者將其在地化為另外 50 種語言,總計 51 種(arXiv, MASSIVE),這適合某些任務。泰語撰寫的貼文並沒有對應的英語版本,因此由泰語讀者負責標註與審閱。資料的來源也很重要,因為經過翻譯的資料集與原生資料集表現不同,若悄悄將兩者混用,會使你報告的每個分數都變得模糊不清。

你如何衡量每種語言的品質?

對所有語言使用同一種統計數據,並並排呈報分數,絕對不要取平均值;平均值看起來可能沒問題,但實際上某個語言可能已經崩潰。這個落差正是關鍵所在。當落差出現時,請探究原因(通常是模糊的界線規則)。

根據維基百科,評分者間信度是指獨立觀察者對相同現象進行評分、編碼或評估時的一致程度,該條目列出了科恩氏卡方係數(Cohen’s kappa)、弗萊斯卡方係數(Fleiss’ kappa)以及克里普芬多夫阿爾法係數(Krippendorff’s alpha)等選項(維基百科,評分者間信度)。無論您選擇哪一種,每種語言都請使用同一個。若要了解更廣泛的流程,請參閱 如何衡量標註品質.

以下是一個虛構的範例,而非客戶資料:三種語言,每種語言各有 100 個雙重標註項目,原始一致率分別為 82%、80% 和 58%。平均值是 73%,聽起來不錯,但其實不然。打開第三種語言的標註人員意見分歧的那 42 個項目。是否漏掉了邊界規則?指南中的範例是否從英文翻譯而來,導致看起來完全不像真實文字?無論找出什麼問題,修正方案都應納入該語言的區段中,且不需要重新培訓人員。

每個批次、每種語言,都對一個樣本進行雙重標註並單獨評分。然後與資深審閱者一起檢視意見分歧之處,將每一處歸類為指南漏洞或標註失誤,並將決策記錄下來。如果某個語言的分數在不同批次間持續下滑,該團隊就需要重新校準。

一致率低並不一定代表標註人員能力不足。請先檢查指南。

混合多種語言的文字該怎麼處理?

請及早決定混合語言文字是否在專案範圍內,並將其記錄下來。語碼轉換(code-switching)是指人們根據社會情境從一種語言或方言切換到另一種,這會出現在所有非正式的資料中(Wikipedia, Code-switching). Posts. Chats. Emails.

Malaysia’s the obvious case. Manglish is an informal form of Malaysian English, heavily influenced by Malay, Tamil and varieties of Chinese, and not one of the country’s official languages (Wikipedia, Manglish). One message can mix English, Malay and a variety of Chinese. So which language is the item? Good luck deciding mid-batch.

To label mixed-language text, first decide whether it is in scope, then pick one rule and apply it to every item. Two rules are common. One labels the whole item once and gives it a mixed-language tag, which keeps the item intact and suits tasks like intent classification. The other splits the item and labels each language span on its own, which suits entity tagging, where a name may sit inside a sentence in another language. Either works when every annotator applies it the same way. Neither works when annotators choose for themselves. So write the rule into the guideline, attach a worked example from real text, and ask the senior reviewer for each language whether the rule fits how that language is written. This applies to informal text such as social posts, chat and email, as of 2026.

Pick a rule. Add an example to the guideline. Most teams skip that part.

Where do multilingual annotation projects go wrong?

大多發生在你開始標註之前就能發現的地方。英文指引被翻譯後,會保留該新語言中不存在的邊界情況,同時漏掉真正存在的邊界情況。共識被平均化,一個較弱的語言在平均值中消失。審閱者根據翻譯進行審閱,因此在英文中讀起來沒問題、但在原文中錯誤的標註獲得了批准。邊界留給標註人員去判定,每個人都會畫出自己的範圍。語系和標籤被遺忘,幾個月後沒有人能夠按語系過濾。混合語言文本被當作雜訊駁回,然而真實用戶隨時都在切換語言,因此一個在整潔的單一語言資料上訓練的模型在正式環境中會遇到意料之外的情況。

任何特殊的工具都無法解決這些問題。但在標註開始前做出的一項書面決定可以。

先導批次(pilot batch)應該測試什麼?

是指導方針,而不是標註人員。每個語言執行一小批次,對每個項目進行雙重標註,然後閱讀分歧之處。你在尋找說明中的漏洞,而先導測試是發現漏洞成本最低的地方。

加入困難案例:姓名、外來語、混合語言句子、包含多種語系的項目。簡單的項目證明不了什麼。詢問每個團隊是什麼讓他們感到困惑,將答案轉化為語言部分中的範例,然後重新執行較小的批次。

在結果出爐前,先達成對「及格」定義的共識。每個語言設定一個目標分數,或規定每一個分歧都必須追溯到根本原因。只要提早設定,這兩種方法都行得通,這樣就不會有人事後爭論數字。如果某個語言失敗了,就將其暫留。其餘的可以通行。

你應該如何評估多語言標註服務商?

不要數服務商清單上的語言數量。詢問每一種語言是如何執行的。長長的清單只能告訴你他們的銷售簡報。以下這些問題能告訴你實際的工作情況:

自己動手做也是一個實際的選項。如果你正在權衡, 內部營運與外包營運 以一般性術語涵蓋了成本和風險的權衡,而針對文本標註,我們的頁面 面向美國 AI 與 SaaS 公司的 AI 資料標註外包服務 說明瞭該設置是如何運作的。

SummitNext 如何處理多語言文本標註?

SummitNext 將資料標註作為一項具體範圍的服務來執行。先導批次先行。在你的綱要上證明品質。一旦準確性達到你需要的水平,便可擴展規模。沒有最低承諾限制,責任劃分清晰:SummitNext 負責招募、培訓和管理標註團隊及其品質,而你則擁有綱要、標準和最終資料集。交付作業透過分佈在印度和菲律賓的中心進行。所有這些都來自我們的 資料標註服務頁面,更廣泛的服務則位於 人工智能數據準備.

針對多語言文本工作,請告訴我們您心目中的語言和任務類型。一種語言的實體標註和五種語言的意圖分類是不同的專案,因此專案範圍由此衍生。 來自 SummitNext 合作夥伴關係的客戶成果 展示瞭專案合作的運作方式,而 人工智慧 頁面則顯示了標註適用的位置。

常見問答

什麼是多語資料標註?

以多種語言標註文本,以便模型能夠學習每種語言。這就是多語言資料標註。標籤通常是共用的,而指導方針、審閱者和品質檢查則是按語言設定的。單字邊界、語系和邊界情況因語言而異,因此單一指導方針很少能適用於所有語言。

為什麼標註亞洲語言與英語不同?

因為幾個亞洲語言(包括中文、日文、泰文和寮文)在單字之間不使用空格。標註人員必須決定單字或範圍的起點和終點,而語系和音譯增加了更多選擇。為英語編寫的指導方針將所有這些都保持開放,因此標註人員對空白處的填寫方式各有不同,進而導致共識度下降。

我需要為每種語言準備一份單獨的指導方針嗎?

某種程度上是的:一個共用核心加上每種語言一小段。核心定義標籤。語言專屬區段涵蓋該語言的邊界、文字系統、極端案例和範例。Universal Dependencies 遵循類似的模式,具有共用類別,並在必要時加入語言專屬的擴充功能。

您如何跨語言衡量標註品質?

選擇一項一致性統計量(例如 Krippendorff’s alpha 或 Cohen’s kappa),並對每種語言進行計算。請單獨回報每個分數,因為混合平均值可能會掩蓋表現較弱的語言。接著與精通該語言的高級審閱者一起檢視分歧之處,並更新指引,以免問題再次發生。

翻譯資料足以進行多語言標註嗎?

有時候可以。MASSIVE 是透過專業譯者將英文資料集在地化為其他語言而建構的。原本就以各該語言撰寫的文字無法以這種方式處理,因為沒有可供在地化的英文原文。您需要直接使用該語言工作、且參考真實語言範例指引的標註人員與審閱者。

混合語言文字應該如何標註?

選擇一條規則並套用到所有項目。您可以選擇用混合語言標籤為整個項目貼上一次標籤,或者將其分割並分別標註各個語言片段。只要所有標註人員都採用相同做法,這兩種方法都可行。將此規則寫入指引中,並附上真實文字的操作範例,然後與各語言的高級審閱者一起檢閱。

是否每個項目都應該標上其文字系統(script)?

是的,從一開始就要。W3C 建議在文字系統攜帶有用資訊時(例如以拉丁字母書寫的俄文),使用文字系統子標籤。對於馬來語而言,這意味著區分羅馬字(Rumi)與爪哇字(Jawi)。及早進行標註,有助於日後進行篩選、抽樣和各語言的報表製作。

總結

當把某一語言的假設套用到另一語言時,多語言標註就會失敗。解決之道是:簡短的共用核心、每個語言一節的指引、以母語讀懂該語言的審閱者,以及針對每種語言提供一個一致性分數,而非綜合平均。及早決定如何處理邊界、文字系統和混合語言文字,並將每項決策記錄下來。然後進行試點、閱讀分歧處、修正指引,最後才進行規模化。一開始速度較慢,但到了第三種語言就會便宜很多,因為您每解決一次漏洞,它就會持續保持解決狀態。

正在規劃多語言標註專案? 预定的磋商与SummitNext 並告訴我們您的語言、任務類型和時間表。

zh_TW繁體中文