聚焦網(wǎng)絡(luò)爬蟲:  又稱為主題網(wǎng)絡(luò)爬蟲：是指選擇性地爬行那些與預(yù)先定義好的主題相關(guān)的頁面，和通用爬蟲相比，聚焦爬蟲只需要爬行與主題相關(guān)的頁面，極大地節(jié)省了硬件和網(wǎng)絡(luò)資源，保存的頁面也由于數(shù)量少而更新快，可以很好地滿足一些特定人群對(duì)特定領(lǐng)域信息的需求。

 

　　增量網(wǎng)絡(luò)爬蟲：對(duì)已下載網(wǎng)頁采取增量式更新和只爬行新產(chǎn)生的或者已經(jīng)發(fā)生變化網(wǎng)頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面，歷史已經(jīng)采集過的頁面不重復(fù)采集。增量網(wǎng)絡(luò)爬蟲避免了重復(fù)采集數(shù)據(jù)，可以減小時(shí)間和空間上的耗費(fèi)。通常在設(shè)計(jì)網(wǎng)絡(luò)爬蟲時(shí)，需要在數(shù)據(jù)庫中，加入時(shí)間戳，基于時(shí)間戳上的先后，判斷程序是否繼續(xù)執(zhí)行。 常見的案例有：論壇帖子評(píng)論數(shù)據(jù)的采集（如論壇的帖子，它包含400多頁，每次啟動(dòng)爬蟲時(shí)，只需爬取最近幾天用戶所發(fā)的帖子)；天氣數(shù)據(jù)的采集；新聞數(shù)據(jù)的采集；股票數(shù)據(jù)的采集等。

 

　　Deep Web 爬蟲：指大部分內(nèi)容不能通過靜態(tài)鏈接獲取，只有用戶提交一些表單信息才能獲取的 Web 頁面。例如，需要模擬登陸的網(wǎng)絡(luò)爬蟲便屬于這類網(wǎng)絡(luò)爬蟲。另外，還有一些需要用戶提交關(guān)鍵詞才能獲取的內(nèi)容，如京東淘寶提交關(guān)鍵字、價(jià)格區(qū)間獲取產(chǎn)品的相關(guān)信息。