爬行動物的情況
Web安全形勢不容樂觀。根據global dots 2065 438+08的機器人報告，爬蟲類占網頁流量的42%左右。
為什麽要倒著爬？
防止過度消耗資源
大量的機器人訪問網站。想象壹下，妳的網站有42%的流量是沒有真人訪問的。其中相當壹部分還會在後臺占用大量的網絡帶寬、服務器計算和存儲資源。
黃牛黨
航空公司占座:黃牛利用惡意爬蟲遍歷低價機票，同時批量發起機器請求占座，導致航班座位資源不斷被占用和浪費，最終導致航班空置率居高不下，給航空公司造成業務損失，損害正常用戶利益。
反薅羊毛黨
在電商活動中，黃牛批量發起機器請求，模擬正常交易，比如限時秒殺、高價值商品的優惠活動，然後轉售商品和資源賺取差價，導致電商企業的營銷資源達不到正常用戶，被黃牛牟取暴利。
反黑客
核心接口被刷:登錄、註冊、短信等業務環節是業務中的關鍵節點，相關接口往往被黑客利用，為後續詐騙做準備。
私信菜鳥007可以獲得幾十套PDF！
為什麽需要日誌分析？
找到隱藏得更深的機器人。
爬蟲和反爬蟲是壹個攻防的過程。根據前述報告，高級機器人占74%(其余為相對簡單的機器人)，而根據fileye M-Trends 2018的報告，壹般企業的攻擊需要多達101天才能被發現，其中亞太地區的問題更嚴重，發現壹般的網絡攻擊。有了日誌，我們可以更好地找出隱藏的壞機器人。
理解機器人，區別對待。
爬蟲也分好壞，搜索引擎可以查詢，從而達到SEO效果，帶來更多有價值的訪問。日誌可以幫助管理員更好的分辨哪些機器人好，並根據它們做出更合適的防爬配置。
保留舉報證據
發現非法攻擊的機器人可以保留攻擊者的信息和路徑，作為報警的重要證據。
提高運營和維護效率
根據日誌，我們可以發現異常，並迅速發出警報和采取行動。
更多附加功能
依靠日誌服務的其他功能，可以在日誌中發揮更大的作用。
阿裏雲防爬管理——實時日誌分析概述
阿裏雲防攀爬管理
雲盾反Bot服務是壹款網絡應用安全防護產品，專門檢測高級爬蟲，降低爬蟲和自動化工具對網站的業務影響。產品提供了從Web、App到API接口的壹整套惡意Bot防護解決方案，避免某個環節防護不力導致的安全短板。
阿裏雲日誌服務
阿裏雲的日誌服務是針對日誌數據的壹站式服務，無需開發即可快速完成海量日誌數據的采集、消費、交付、查詢和分析，提高運維效率。日誌服務主要包括實時采集和消費、數據交付、查詢和實時分析，適用於從實時監控到數據倉庫的各類開發、運維、運營和安全場景:
目前，阿裏雲中的WAF與日誌服務相連，開發Web訪問和攻擊日誌。提供網站特定日誌的近實時自動采集和存儲，提供基於日誌服務的查詢分析、報告報警、下遊計算對接和交付能力。
發布區域
適用客戶
功能優勢
反爬取日誌實時查詢和分析服務具有以下功能優勢:
開放前提
限制聲明
防爬管理中存儲的日誌庫屬於獨占日誌庫，有以下限制:
使用場景
1.跟蹤機器人的爬行和阻塞日誌，追蹤安全威脅；
查看Top 100的爬行機器人列表:
2.實時正常的可信Web請求活動，洞察狀態和趨勢:
用於查看PV/UV訪問趨勢的SQL:
3.快速了解安全操作的效率並給出即時反饋:
用於查看有效請求和攔截率趨勢的SQL:
4.將安全網絡日誌輸出到自建數據和計算中心。
進壹步參考
我們將陸續發布WAF安全日誌分析的最佳時間。請參考相關用戶手冊了解更多信息: