簡單來說，爬蟲就是探測機器。它的基本操作就是模擬人的行為，去各種網站，點擊按鈕，查數據，或者把看到的信息背出來。就像壹只不知疲倦地在大樓裏爬來爬去的蟲子。我們日常使用的百度，其實就是利用了這種爬蟲技術。
我每天都把無數的爬蟲發布到各個網站，把它們的信息拿回來，然後化上淡妝，排隊等妳找回。再比如搶票軟件，相當於拋出了無數個分身，每個分身都在幫妳不斷刷新12306網站上的火車票。壹旦妳找到票。
我馬上拍，然後對妳喊:土豪快來付錢。妳對「爬行動物」了解多少？爬蟲也有善惡爬蟲之分:和搜索引擎的爬蟲壹樣，被爬取的網站獲得免費的曝光機會，為網站帶來流量，被爬取的壹方也願意並樂於數據被發現。
所以這個爬蟲用心良苦，嚴格按照Robots協議抓取web數據(比如URL)。