網易易盾以更創(chuàng)新的人機協(xié)作方式,為小米“小愛同學”問答語料提供了一站式內容安全解決方案,在過濾不良有害內容的基礎上,挑選出優(yōu)質科普問答,助力小愛同學用睿智征服用戶。

借助于API動態(tài)賦能,小米的問答語料審核效率成功提升5倍,憑借更少的投入創(chuàng)造更多效益,成功節(jié)省大量人力成本,從而釋放新的價值。

01 生活中的AI助理

“我在。”設備里飄出一種親切爽朗的聲音。

誕生于2017年的"小愛同學"是基于人工智能技術打造的有趣靈魂,它出現(xiàn)在音響、手機、電視、手表中,其形貌與動漫中科技感十足的機甲戰(zhàn)士一模一樣,紅發(fā)藍眼,隨時等待主人的指令,宛如一位“真人”生活助理。

用戶只要喊出“小愛同學",就能喚醒它,需要做什么事,也只管吩咐“小愛同學”。除了與主人進行實時語言對話,“小愛同學”還能控制智能家居設備,翻譯多國語言,掃描識別各類信息,并擁有解答主人問題的本領。

截止2020年6月30日,搭載“小愛同學”的設備累計激活數(shù)量已經超過2.28億臺,“小愛同學”被喚醒次數(shù)已經超過617億次,它的月活躍用戶數(shù)已經超過7840萬,其魅力可見一斑。

02 小愛同學的安全訓練

面對用戶無窮的好奇心,小愛同學持續(xù)進化,連"世界之最"、"十萬個為什么"中的不少冷門知識也能不假思索地回答。在知識問答環(huán)節(jié),小愛同學上知天文、下知地理,自然人文、物理科學。你能想到的問題,小愛同學都能接。

讓“小愛同學”更好地完成問答,需要利用大量高質量的場景問答(Q&A)作為語料進行訓練。工程師們?yōu)?ldquo;小愛同學”網羅了來自網絡的豐富問答語料文本。通過APP中的“小愛訓練計劃”,用戶也能參與“小愛同學”的教育與培養(yǎng)。

梳理問答語料是“小愛同學”訓練前的重中之重。在這一過程中,小米不僅要平衡量、速度與精準度,還需要應對變化帶來的挑戰(zhàn)。

首先,隨著“小愛同學”快速聚集人氣,擺在小米面前的是龐大的問答語料庫,光是上述內容就達到千萬量級,依靠傳統(tǒng)人工審核方式來排除不良有害內容,對知識進行事實核準,不僅是因為人力成本問題,而且工作量巨大,無法快速回應“小米同學”強烈的求知欲。

一直以來,小米的自有審核團隊使用內部審核后臺進行審核,假設單人每日審核上千條,必須預留較長時間以消化千萬量級的問答語料。由于問答語料更新速度遠快于審核速度,導致了歷史數(shù)據的存留。

與此同時,不良有害內容跟隨時事熱點發(fā)生變形。最近發(fā)生了哪些重大輿情事件?如何迎接動態(tài)的內容安全挑戰(zhàn)?如何及時適應政府監(jiān)管政策的更新?

基于這些疑問,小米深知內容安全風險無法一勞永逸地避免,只能動態(tài)管理,為用戶創(chuàng)造一種安全、可靠的問答體驗。

入選知識庫的問答語料將會成為“小愛同學”的觀點,且做知識科普之用,必須不偏不倚、全面客觀。問答語料的審核不只局限于避免“犯錯”,更在于讓小愛同學身藏“智慧”,用睿智的解答留住用戶。

03 人機融合開啟內容審核的新紀元

成功收集問答語料之后,小米即刻行動,計劃尋求一套標準化的數(shù)字內容風控機制,要求高效審核、應變即時、成本可控、排除問答語料中的色情、低俗、廣告、涉政、暴恐、謾罵、灌水等不良有害內容,挑選出優(yōu)質科普問答,并對通過的內容標注標識。

為了達成這一目標,網易易盾為小米提供了人機協(xié)作的一站式內容安全解決方案,人工審核團隊對機審后的問答語料文本進行二次標注與質量檢測在過濾不良有害內容的同時,挑選出優(yōu)質科普問答,推動審核效率提升5倍,節(jié)省大量人力成本。

AI機器審核,輔助審核員工作

借助于易盾的智能機器審核系統(tǒng),小米成功讓機器替代一部分審核工作,自動化將問答語料文本按違規(guī)類型進行標紅與分類的預處理,讓不良有害內容自動現(xiàn)行。智能機器審核系統(tǒng),基于深度學習及大規(guī)模樣本訓練,對文本進行語義分析,包括色情、低俗、廣告、涉政、暴恐、謾罵、灌水等大類。

易盾定期對模型進行優(yōu)化迭代,通過收集誤漏判樣本,重新訓練模型。平均每個模型1到2個月更新一次。融合敏感詞庫、文本語義分析模型、垃圾內容特征庫、輿論監(jiān)控、最新監(jiān)管政策跟蹤、前端的排查等多個管理環(huán)節(jié),一套機制下來,計算機既能“察言”,又能“觀意”,讓機器學習現(xiàn)有變形詞案例,進而總結規(guī)律,舉一反三。

專業(yè)人審團隊,滿足特殊審核需求

一條條問答語料文本經過機器審核后,交由人工審核團隊進行二次標記,在機器無法進行決策時進行干預,并糾正決策,進一步滿足小米對問答語料的定制化審核需求:

○ 特殊策略:小米提出了甄別涉政內容的正負面與法律法規(guī)合規(guī)的需求。以《廣告法》合規(guī)為例,易盾助力小米遵守相關法規(guī)要求,在有關醫(yī)療、保健、養(yǎng)生的知識問答中,剔除帶有“推薦”嫌疑的問答。

○ 所見即所得:通過“問答組合過檢”機制,人工審核團隊助力小米排除答非所問、缺乏依據的低質科普語料,讓“小愛同學”的科普更客觀真實、更 “人性化”。

○ 質檢管理:為了進一步查漏補缺,小米團隊在易盾自研的“審核平臺”按比例設置“內容抽檢”,排查人機審核后的每一條問題數(shù)據,及時糾正誤判,反哺人工審核標準。

在人機協(xié)作機制大規(guī)模部署過程中,易盾持續(xù)在人員培訓和技能提升項目上的投入,搭建了一支經驗豐富的審核團隊,緊跟輿情熱點,為業(yè)務線提供更多切實可行的建議。

易盾審核平臺,高度協(xié)作的審核流程

在合作中,小米通過API接入易盾“審核平臺”系統(tǒng),得以多線處理海量數(shù)字內容,動態(tài)開展審核數(shù)據查詢、質檢任務下發(fā)等操作,借力系統(tǒng)實時獲取對審核效果的全面洞察。

相比于采用傳統(tǒng)的審核平臺,“易盾審核平臺”致力于為AI和審核員分配任務,在實操中不斷與客戶需求進行磨合,設計了過去難以實現(xiàn)的審核交互操作。例如,“自動跳審”、“高量詞工具”、“鍵盤快捷鍵”、“全屏審核”、“多人審核”等交互設計,助力審核員擺脫繁復的操作,成功提升人效。

04 使用效果

雖只歷時數(shù)月,人機通力合作將堆積的歷史數(shù)據陸續(xù)消化。在全新的人機協(xié)作方案下,問答語料過審核的平均準確率在99.8%以上,審核員單人每日的文本審核量預計超過5000條,是全量人審的5倍多。

 

關鍵詞：