資料標註案例分享：搜尋結果相關性匹配標註專案丨曼孚科技

搜尋結果相關性匹配標註有助於最佳化搜尋模型，更好地匹配使用者需求。

以下內容節選於某搜尋結果相關性匹配標註專案。

一.標註需求說明

閱讀資訊內容並隨意進行提問，頁面會反饋答案內容，需要對答案內容進行標註評分。

總計有4種標註結果：十分相關、一般相關、略微相關、不相關。

☆十分相關：問題中的名詞、動詞在回答內容中都有提及，且回答內容較為完整全面。(能夠精準回答問題的答案，使用者會更加感興趣。)

☆一般相關：問題中的名詞、動詞基本在回答內容中都有提及，但回答內容並不夠完整與全面。(描述了相關的事實，使用者有可能感興趣。)

☆略微相關：問題中的名詞在回答內容中有提及，但是內容基本與問題無關。(大的主題相關，但是細節相差較大。不能回答問題，使用者基本不感興趣。)

☆不相關：問題中的名詞沒有在回答內容中提及，且與問題內容毫不相干。(完全無關，使用者完全不感興趣。)

二.實際標註範例

1.問題：巨鯨和谷歌什麼時候停止合作?

1)回答內容樣例一：

巨鯨音樂網創始人兼CEO 陳戈表示，歷史上，巨鯨音樂網獲得四大及音樂工業全球歷史上第一個MP3免費搜尋下載視聽授權，從2009年3月谷歌音樂搜尋上線到2012年6月，巨鯨服務谷歌上億使用者60億次下載視聽，產生PV150億左右，廣告存量4億元左右;但谷歌從2010年退出中國後一直混亂，谷歌音樂廣告銷售幾乎停止，同時多次拒絕巨鯨來賣廣告的申請，導致在巨大流量下，谷歌負責的廣告銷售極少。兩者的合作幾乎停止。

標註結果：

十分相關，提及巨鯨和谷歌的合作，提到谷歌從2010年退出中國。

2)回答內容樣例二：

巨鯨音樂CEO陳戈透露，巨鯨音樂已於上月獲得來自谷歌與姚明的新一筆投資，金額在數百萬美元級別。陳戈同時強調，谷歌退出中國不影響巨鯨的發展，巨鯨音樂將推出音樂雲服務，甚至還會計劃推出獨立音樂搜尋。巨鯨音樂網由陳戈於2005年創辦，啟動資金是體育明星姚明以及其經紀人章明基共同投資的300萬美元。2008年，谷歌中國斥資700萬美元，與巨鯨音樂網合作推出谷歌音樂產品。2009年3月30日，雙方正式面向大陸使用者推出正版音樂搜尋。而這也是谷歌在全球第一次嘗試音樂搜尋服務。

標註結果：

一般相關，提及巨鯨和谷歌的合作，但未提及中止合作的事情，不能回答問題。

3)回答內容樣例三:

“谷歌音樂搜尋沒有給谷歌帶來過多的利潤是其被關閉的主要原因。”飛象網CEO、知名電信專家項立剛在接受《國際金融報》記者採訪時表示，谷歌音樂搜尋涉及到智慧財產權等方面的因素，近年來的利潤收入沒有達到預期的目標，加上百度等有力競爭者對其“虎視眈眈”。

標註結果：

略微相關，提及谷歌的一些資訊，不能回答問題。

4)回答內容樣例四:

據法新社及日本共同社最新報導，日本宣佈退出國際捕鯨委員會，將在2019年7月重新開啟商業捕鯨活動。早在2018年的9月10日，在巴西召開的國際捕鯨委員會大會上，日方就曾提出要恢復商業捕鯨。但國際捕鯨委員會以41票反對、27票贊成的投票結果，否決了日方的提案。有專家分析，正是由於支援捕鯨與反對捕鯨的國家無法達成一致，日本擔心影響自己的商業捕鯨活動，索性“退群”了之。此前，日本就有試探性動作，表達過退群的意願，當時即遭到了多國的抗議。澳大利亞海洋保護協會執行長達倫.金德利塞茲表示，日本“退群”意味著“背棄國際社會”，“會給其他國際條約或公約開一個非常危險的先例”。紐西蘭鯨類和海豚信託基金代表利茨.斯洛滕說，如果日本退出，可能在國際捕鯨委員會引發嚴重後果：一些國家或許會效仿，這一國際組織可能分裂。

標註結果：不相關，問題和內容完全不相關。

2.問題：哪隻戰隊是英雄聯盟s8世界賽冠軍?

1)回答內容樣例一:

11月3日，英雄聯盟S8世界賽總決賽在韓國仁川開打，最終IG3:0擊潰FNC拿下冠軍寶座。為了慶祝勝利，IG背後的老闆王思聰11月6日透過微博釋出冠軍之月慶祝抽獎活動，在轉發/評論/點贊中抽取113個人每個人一萬元現金。

標註結果：

十分相關，提及英雄聯盟、S8、冠軍，能夠回答問題。

2)回答內容樣例二:

全球總決賽(簡稱S8)在韓國火熱開戰，比賽將從10月1日持續到11月3日，為今年最長的國際賽事賽程，24支世界最頂級的LOL隊伍將爭奪2018年最高的榮譽S8召喚師英雄獎盃。LPL賽區的三支隊伍RNG、EDG、IG戰隊作為中國代表隊赴韓征戰，目前IG戰隊已順利挺進決賽，這是LPL時隔四年再一次挺進全球總決賽的決賽舞臺。

標註結果：

一般相關，提及英雄聯盟、S8，不能夠回答問題。

3)回答內容樣例三:

5月22日，《英雄聯盟》2017年季中冠軍賽在巴西里約熱內盧落下帷幕，韓國戰隊SKT以3：1的比分擊敗歐洲黑馬戰隊G2，蟬聯季中賽冠軍，戰隊成員Faker從傳奇足球明星羅納爾多手中接過獎盃。

標註結果：

略微相關，提及英雄聯盟，不能夠回答問題。

4)回答內容樣例四:

DOTA2領域中國戰隊實力強勁中國的電子競技戰隊在世界賽場上一直保持著很強的競爭力，而在DOTA2領域，甚至有著統治級的表現。

標註結果：

不相關，問題和內容完全不相關。