因為python的腳本特性，python易於配置，對字符的處理也非常靈活，加上python有豐富的網絡抓取模塊，所以python被叫做爬蟲。
Python爬蟲開發工程師,從網站某壹個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下壹個網頁，這樣壹直循環下去，直到把這個網站所有的網頁都抓取完為止。
如果把整個互聯網當成壹個網站，那麽網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
爬蟲，即網絡爬蟲，大家可以理解為在網絡上爬行的壹只蜘蛛，互聯網就比作壹張大網，而爬蟲便是在這張網上爬來爬去的蜘蛛，如果它遇到自己的獵物（所需要的資源），那麽它就會將其抓取下來。
比如它在抓取壹個網頁，在這個網中他發現了壹條道路，其實就是指向網頁的超鏈接，那麽它就可以爬到另壹張網上來獲取數據。
擴展資料：
python的發展歷程
自從20世紀90年代初Python語言誕生至今，它已被逐漸廣泛應用於系統管理任務的處理和Web編程。
Python的創始人為荷蘭人吉多·範羅蘇姆 （Guido van Rossum）。1989年聖誕節期間，在阿姆斯特丹，Guido為了打發聖誕節的無趣，決心開發壹個新的腳本解釋程序，作為ABC 語言的壹種繼承。
之所以選中Python（大蟒蛇的意思）作為該編程語言的名字，是取自英國20世紀70年代首播的電視喜劇《蒙提.派森幹的飛行馬戲團》（Monty Python's Flying Circus）。
就這樣，Python在Guido手中誕生了。可以說，Python是從ABC發展起來，主要受到了Modula-3（另壹種相當優美且強大的語言，為小型團體所設計的）的影響，並且結合了Unix shell和C的習慣。
Python 已經成為最受歡迎的程序設計語言之壹，自從2004年以後，python的使用率呈線性增長。Python 2於2000年10月16日發布，穩定版本是Python 2.7，Python 3於2008年12月3日發布，不完全兼容Python 2。?
由於Python語言的簡潔性、易讀性以及可擴展性，在國外用Python做科學計算的研究機構日益增多，壹些知名大學已經采用Python來教授程序設計課程。
例如卡耐基梅隆大學的編程基礎、麻省理工學院的計算機科學及編程導論就使用Python語言講授。眾多開源的科學計算軟件包都提供了Python的調用接口，例如著名的計算機視覺庫OpenCV、三維可視化庫VTK、醫學圖像處理庫ITK。
百度百科—python