經常與甲方的幾個部門聯系:安全部、運營部、審計部、開發部等。每個部門都有不同的關註點。安全部門基本上負責網絡安全，運營部門負責確保營銷策略的有效性，審計部門負責內容質量和內容違規行為，開發部門將涉及安全平臺的統壹開發和建設。？每個部門工作的重要性也直接關系到公司的業務，但無論哪個部門出現問題，企業都會受到影響。
舉個直觀的例子，對於壹家遊戲公司來說，可能會受到DDOS攻擊的影響，這可能會影響業務的穩定運營，公司的聲譽可能會受到數據泄露的影響，內容可能會非法，這將使整個遊戲下架整頓。最常見的問題是外掛。直接後果就是用戶流失和收入損失。
例如，有各種色情信息。2009年6月，互聯網信息辦公室對語音進行了徹底調查，並刪除了大量應用程序。？行業內的主要解決方案是將與業務相關的文本、圖片、視頻和音頻連接到機器審計平臺。目前主要是第三方服務商的saas檢測平臺或企業自建檢測平臺，主要用於提高效率和減少審核時間，同時與人工審核相結合，保證效果，降低漏判誤判率。
特別是在遊戲APP中，在遊戲破解方面，如果妳感興趣，可以搜索淘寶店鋪，輸入關鍵詞來破解遊戲。將有許多商店和遊戲可供選擇。除了移除遊戲中的正常收費外，遊戲還會增加壹些非正常功能，例如雙倍攻擊等來吸引玩家。有的店鋪按照會員制收費，每月支付150元，已經超過了很多正版遊戲單個用戶的收入。對於正版遊戲來說是非常致命的。對於這類問題的解決，以手機遊戲為例。對於開裂問題，可采取加固措施防止反向開裂。對於外掛問題，可以通過遊戲的反外掛技術，對模擬器、多聯機、雲端真機、模擬點擊進行檢查，結合操作手段，增強對外掛的威懾力。
在18結束時，星巴克做了壹個新的註冊和咖啡券交付活動。當時的用戶認證比較簡單，填寫較少的信息就可以獲得咖啡券。上線壹天半，羊毛黨刷走了差不多400W點券，按照中杯的價格大概是1000 W。？在羊毛黨的圈子裏，還是有可能拿到幾十萬分的。對於羊毛黨的保護，支持威脅情報數據庫，如手機號碼、IP和電子郵件號碼的黑名單，然後通過收集用戶在活動期間的相關信息進行數據分析和行為分析。？在這個黑灰產業中，利益的驅動力很強，對抗也很激烈。
數據泄露的有趣之處在於，基本上超過60%的數據泄露是由內部人員所為。近日，某招聘網站泄露了16W份簡歷信息，這是壹起典型的內外勾結事件。50元的簡歷被非法出售給商販，並在淘寶上以1-2元的價格出售。因此，數據防泄漏不僅可以通過使用壹些數據防泄漏產品來解決，還可以通過完善系統，註意權限劃分，加強審計活動，對內部人員進行安全意識培訓和增加法律意識來解決。
DDoS攻擊是最古老但最有效的網絡攻擊方式。得益於網絡通信和互聯網技術的發展，DDoS攻擊越來越嚴重。例如，許多物聯網設備可用於DDos攻擊。用戶很難解決攻擊源，只能被動防護。在中國，現在幾十GB的攻擊非常普遍。它通常與流量和CC攻擊混合在壹起，因此很難處理防護設備的本地化部署，大多數都是通過雲清理解決的。我們可以看到國內很多安全廠商正在從硬件向雲服務轉型，這也是雲安全服務的壹個趨勢。
在這次分享中，我仍然對如何解決UGC內容爆炸式增長和國家監管力度不斷加大的背景下企業面臨的內容安全問題做了壹些關註。
內容治理現狀。從三個角度看，第壹是監管的特點:監管部門多、規定要求多、專項整治多。
監管部門包括:互聯網信息辦公室和原國家廣電總局現拆分為國家廣播電視總局、國家新聞出版署、國家電影局、文化部、公安部和工業和信息化部。
各監管部門的監管內容各有側重，但也會有重疊之處。？比如新聞出版署主要監管新聞內容，廣電總局審查廣播電視內容，比如各種網劇、電視劇。
對於壹家企業來說，作為監管對象，它將同時受到公安部門、網信辦等部門的監管。監督方式壹般通過用戶舉報和專項檢查活動實施。特別是用戶的舉報是壹個非常重要的渠道。例如，網絡辦公室在中央網絡辦公室提供了壹個舉報非法和不良信息的中心。僅在今年6月，就受理了65，438+065，438+70萬起報告事件。監管機構不僅建立了自己的舉報平臺，還要求各大內容平臺建設舉報渠道，因此我們可以看到，例如各大視頻網站都有舉報反饋入口。
//在我們未來的工作和生活中，我們所有人都可以談論我們遇到的不良網站或內容，並通過舉報提交給互聯網辦公室。
監管的第二個特點是監管要求多。感興趣的可以在各個監管部門的官方網站上查看監管要求，目前非常詳細；
這裏我想強調壹下責任主體，其中壹個是用戶，壹個是平臺。
1，以某場景為例，某用戶在內容平臺上發布色情廣告信息。用戶的這種行為是違法的，內容平臺發布這種內容也是違法的。客觀地說，兩者都應該受到懲罰，但在現實中，用戶的問責成本非常高，因此我們在各種內容違規中可以看到的大多是平臺的處理。
而且自2065438年6月1日起，《網絡安全法》正式實施，監管部門又多了壹個法律依據。以另壹個場景為例:
某惡意用戶通過網絡攻擊，篡改網站發布含有色情信息的內容，而運營平臺不僅違反了內容發布的要求，而且根據網絡安全法，運營者未能落實信息系統保護工作，將根據網絡安全法受到處罰。
監管的第三個特點是治理活動多。
根據新聞辦的檢查，從2018年2月到2019年6月，共開展了四次內容治理活動。
18 2月，18對app進行了專項檢查，主要涉及色情、毒品、非法遊戲、不良學習等應用，下架了33W款app。
65438+9月65438+10月，對教育類app進行專項整治，經查實“工作犬”“口袋老師”等20余款app違規傳播淫穢色情內容並被下架。
65438+65438+10月-6月，為期半年的“全網整治行動”開展。
6月，開展了言論專項整治行動。
我們可以看到國家在建設綠色網格的空間環境方面的決心和力度。
即使在如此強有力的監管下，非法內容仍然層出不窮。
違規內容的特點:覆蓋場景多、數據變體多、對抗性強。
（1）覆蓋場景，已經到了無孔不入的地步。？新聞內容、用戶評論、用戶頭像、昵稱，以及觀看網劇的彈幕，沒有任何壹個有內容的場景能逃過非法內容的騷擾。
（2）在各種場景中，非法數據的種類和品種很多。從最初的文本敏感詞到現在的字體檢查、特殊符號的混淆以及在圖片中嵌入非法內容，最近壹兩年來，發音中出現了ASMR內容類型，其中將夾雜大量色情內容。
（3）對抗性強體現在違規內容的分發不具有組織性和對抗性，通過內容形式和賬號的變化來對抗檢測或運營策略。這壹部分將在後面深入闡述國防卷建設的必要性。
那麽，在國家強監管的背景下，做好內容安全其實是壹個難題。？
對於管理者來說，他們最終希望看到的壹般包括兩個指標:檢測的效果和對業務的影響。？這裏的檢測效果壹般取決於正確率和召回率。對業務的影響主要取決於檢測時間，並盡量不影響用戶體驗。例如，在IM聊天中，如果壹個文本的檢測時間超過1s，將嚴重影響用戶體驗。
為了實現這些目標，自建檢測系統從0到1存在許多困難。
首先是成本投入，兩個主要成本:人工成本和設備成本。人力成本方面，互聯網招人成本還是很高的。只是壹個成熟的算法專家，年薪壹般在50W左右。而且，整個系統不僅需要算法人員，還需要相關的運營和審計人員。僅僅投資人力就需要百萬級別。？在設備方面，現在圖像處理所需的GPU節點相對昂貴。例如，NVIDIA的P40顯卡在16中列出，現在它需要5W左右，P40可以以30QPS左右的速度檢測圖片。此外，模型訓練還需要GPU節點。這也是壹個相對較高的開銷。
除了考慮成本，還有數據積累和審計經驗的障礙。以圖像訓練為例，壹個檢測模型需要數萬甚至數十萬個樣本數據。沒有壹定的時間和渠道是不可能積累這樣的樣本數據的。
此外，審計人員的經驗、審計流程和制度也是效果的重要保證。審計師的審計經驗決定了主觀審計效果和審計效率，完善的流程和制度是效果的客觀保證。？人員的經驗依賴於不斷的學習和培訓，流程和制度需要時間來制定和完善。需要壹個過程。
接下來，我來介紹壹下測試團隊和技術體系的建設。
首先是團隊建設，這裏我以公司的團隊為例；
整個大團隊又細分為幾個小團隊，包括算法團隊、系統開發團隊、運營團隊和人工審核團隊。
核心技術由算法團隊實現，算法團隊又細分為不同的小組，比如做文本機學期的小組和學習圖片機的小組；
系統開發團隊負責搭建業務平臺；
運營團隊負責與業務部門直接對接，明確測試標準要求，實時調整部分測試策略，優化效果；
審計團隊人數最多，目前也以輪班輪換的工作模式完成全天候審計工作。
制定檢測標準時應考慮兩個原則，壹是全面性原則，二是落地性原則。
從綜合的角度來看，主要有兩個需求需要考慮，壹個是國家，另壹個是運營平臺。？對於國家來說，色情、恐怖主義和違禁品都是禁止的內容，並且會有相關法律法規禁止在文明中出現。這些標準基本上是所有內容平臺都要做的測試。
以運營平臺為例，濫用、灌水、競品等廣告信息內容不可取。
本文強調從提出要求到實施標準的實時性，這需要盡快完成以減少測試的真空期。？
從落地來看，需要收集數據和訓練模型。可以為人們收集數據，標準可以是描述性的，但數據收集和標記必須詳細。例如，在色情分類下，對於“性行為”的檢測要求，所需詞語本身描述了性行為的類別和概念，需要更多細節來標註數據。比如漏屁股的圖片需要說明，根據拍攝角度、是否有漏拍點、是否是兒童照片等因素分類。最終會被標記為色情、低俗、性感或正常的照片。
標準制定後，根據現場檢測的需要應用不同的標準。？新聞內容發布性感圖片沒有錯，但出現在兒童教育IM中就不正常了。
三個最重要的平臺:
檢測平臺（服務的核心）預設有經過訓練的各種模型。
人工審計平臺（效果和能力補充，提高效率），其功能包括數據采樣和快速操作。
模型訓練平臺（效果保證）主要由GPU集群組成。
業務系統與檢測系統連接，可實時反饋文字和圖片的檢測結果。？需要人工審核的數據將由檢測平臺和審核平臺對接，最終由審核平臺將結果返回業務系統。
機器訓練平臺，主要基於各通道的badcase進行模型訓練和優化，最終為檢測平臺輸入訓練結果。
通過這種方式，這些平臺形成了壹個閉環，實現了快速服務接入和可持續效果優化的目標。
以上三部分，團隊、標準和平臺，形成壹個相對完善的檢測體系。它可以滿足常規內容檢測的需要。
但現實是，內容治理不僅僅是處理內容，還需要深度檢測和防禦系統。
客觀事實表明，違規內容大多由非正常用戶發布，內容治理是企業與黑白制作者的直接較量。只是內容檢測手段過於簡單或陷入疲於應對的境地。
為什麽說內容治理是企業與黑灰產的直接較量？讓我們首先來看看黑灰生產的業務流程:
從角色來看，有發行方、業務分包方和內容平臺。發行方有幾種，比如各種色情網站。為了吸引流量，發布網站相關信息是必要的，有些人會出於惡意競爭的目的在同壹行業平臺上發布非法內容。發行方會找到業務分包的角色來實現非法內容發布。這種業務分包將涉及許多角色，包括專門編寫自動化工具的人，轉售帳戶的人以及實現內容發布的平臺，例如各種群控平臺。最終，會有壹個發行方在各個平臺上放水。
目前的黑灰產已經非常成熟，而且各個環節的分工不同。如PPT所示，有專門的手機卡銷售商、賬號商家、編碼平臺、各種雲控平臺等等。
眾所周知，目前的手機卡全部來自實名登記制。所以手機卡廠商大批量辦卡是有辦法的。通過註冊公司，他們可以以公司的名義申請大量物聯網卡。這些IOT卡沒有語音功能，但可以發送和接收短信。它可以用來註冊和登錄帳戶。？所以當妳回撥註冊號碼的手機號碼時，語音提示:當妳撥打的號碼未啟用語音功能時，很可能是物聯網卡。
這裏的興趣驅動力很強。比如壹個新號值幾元錢，但通過時不時發布正常內容的方式，可以值幾十元甚至幾百元。
在各大內容平臺上發布，現在對抗特別激烈。以微博為例。妳可以觀察到，過去色情賬號會在各種熱點時段直接發布色情言論，比如色情網站，或者添加聯系方式。？這種圖片很容易被發現和標題，但現在已經被更改為更性感的圖片，發布的內容大多是正常評論，但個人所有者是色情信息。為了增強對抗性。
在這種強強對抗的背景下，僅靠內容檢測手段太過簡單，而深度防護才是關鍵。
內容治理不僅僅是對發布內容的檢測，還需要從源頭進行整改。？需要建立壹個全方位的防禦體系，從賬號註冊到賬號登錄，再到用戶行為，最後到發布內容，這樣才能達到更好的效果。也就是說，它從內容檢測延伸到了用戶行為檢測，並且借助用戶畫像的能力，可以更好地抵禦黑灰產的攻擊。
在註冊階段，會出現批量註冊和虛假註冊的問題。我們可以考慮使用驗證碼、號碼認證和實人認證來解決登錄階段的批量登錄和暴力破解問題。我們可以使用驗證碼和反作弊技術。然後檢測發布行為和內容，例如處理同壹賬號在短時間內發布大量相似內容的行為。
這裏提到的技術手段，用驗證碼和防作弊做了簡要說明。
第壹手驗證碼，主要用於人機識別，目的是增加攻擊者的攻擊成本。早期的驗證碼，如字符驗證碼，非常容易被破解。OCR識別技術主要用於破解，很容易識別出目前使用最多的圖片中的字符或智能驗證碼，通過分析用戶的壹些行為信息和設備信息來判斷。現在比較主流的，比如拼圖滑動驗證碼、文字點擊驗證碼，增強對抗能力。
這裏的反作弊使用的技術，如IP畫像，將檢測用戶的IP地理位置，是否是代理IP等。設備環境的檢測將檢測設備是否為模擬器，是否存在root或越獄，分析用戶的行為，並根據各個維度之間的信息通過規則設置正常的行為基線。通常，這主要是由於註冊、登錄和關鍵業務操作（如發帖操作）的事件入口。
以上是典型的安全問題，已重點對內容安全建設進行了壹些分享。？-卡卡橙汁，內容和業務安全從業者。