要想做反爬蟲(chóng)，我們首先需要知道如何寫(xiě)個(gè)簡(jiǎn)單的爬蟲(chóng)。

　　通常編寫(xiě)爬蟲(chóng)需要經(jīng)過(guò)這么幾個(gè)過(guò)程：

　　• 分析頁(yè)面請(qǐng)求格式

　　• 創(chuàng)建合適的http請(qǐng)求

　　• 批量發(fā)送http請(qǐng)求，獲取數(shù)據(jù)

　　舉個(gè)例子，直接查看攜程生產(chǎn)url。在詳情頁(yè)點(diǎn)擊“確定”按鈕，會(huì)加載價(jià)格。假設(shè)價(jià)格是你想要的，那么抓出網(wǎng)絡(luò)請(qǐng)求之后，哪個(gè)請(qǐng)求才是你想要的結(jié)果呢? 你只需要用根據(jù)網(wǎng)絡(luò)傳輸數(shù)據(jù)量進(jìn)行倒序排列即可。因?yàn)槠渌拿曰笮缘膗rl再多再?gòu)?fù)雜，開(kāi)發(fā)人員也不會(huì)舍得加數(shù)據(jù)量給他。

　　代碼：

　　import requests

　　def download_page(url):

　　headers={

　　'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'

　　}

　　data = requests.get(url,headers=headers)

　　return data

　　if __name__ == '__main__':

　　url = 'https://m.ctrip.com/restapi/soa2/21881/json/HotelSearch?testab=5b9a651b08c1069815c5af78f8b2bf6df9dd42a6129be5784bb096315494619a'

　　download_page(url)

　　高級(jí)爬蟲(chóng)

　　那么爬蟲(chóng)進(jìn)階應(yīng)該如何做呢?通常所謂的進(jìn)階有以下幾種：

　　分布式爬蟲(chóng)

　　Python默認(rèn)情況下，我們使用scrapy框架進(jìn)行爬蟲(chóng)時(shí)使用的是單機(jī)爬蟲(chóng)，就是說(shuō)它只能在一臺(tái)電腦上運(yùn)行，因?yàn)榕老x(chóng)調(diào)度器當(dāng)中的隊(duì)列queue去重和set集合都只能在本機(jī)上創(chuàng)建的，其他電腦無(wú)法訪問(wèn)另外一臺(tái)電腦上的內(nèi)存和內(nèi)容。

　　分布式爬蟲(chóng)實(shí)現(xiàn)了多臺(tái)電腦使用一個(gè)共同的爬蟲(chóng)程序，它可以同時(shí)將爬蟲(chóng)任務(wù)部署到多臺(tái)電腦上運(yùn)行，這樣可以提高爬蟲(chóng)速度，實(shí)現(xiàn)分布式爬蟲(chóng)。

　　首先就需要配置安裝redis和scrapy-redis，而scrapy-redis是一個(gè)基于redis數(shù)據(jù)庫(kù)的scrapy組件，它提供了四種組件，通過(guò)它，可以快速實(shí)現(xiàn)簡(jiǎn)單分布式爬蟲(chóng)程序。

　　四種scrapy-redis組件：

　　Scheduler(調(diào)度)：Scrapy改造了python本來(lái)的collection.deque(雙向隊(duì)列)形成了自己Scrapy queue，而scrapy-redis 的解決是把這個(gè)Scrapy queue換成redis數(shù)據(jù)庫(kù)，從同一個(gè)redis-server存放要爬取的request，便能讓多個(gè)spider去同一個(gè)數(shù)據(jù)庫(kù)里讀取。Scheduler負(fù)責(zé)對(duì)新的request進(jìn)行入列操作(加入Scrapy queue)，取出下一個(gè)要爬取的request(從Scrapy queue中取出)等操作。

　　Duplication Filter(去重)：Scrapy中用集合實(shí)現(xiàn)這個(gè)request去重功能，Scrapy中把已經(jīng)發(fā)送的request指紋放入到一個(gè)集合中，把下一個(gè)request的指紋拿到集合中比對(duì)，如果該指紋存在于集合中，說(shuō)明這個(gè)request發(fā)送過(guò)了，如果沒(méi)有則繼續(xù)操作。

　　Item Pipline(管道)：引擎將(Spider返回的)爬取到的Item給Item Pipeline，scrapy-redis 的Item Pipeline將爬取到的 Item 存?redis的 items queue

　　Base Spider(爬蟲(chóng))：不再使用scrapy原有的Spider類，重寫(xiě)的RedisSpider繼承了Spider和RedisMixin這兩個(gè)類，RedisMixin是用來(lái)從redis讀取url的類。

　　工作原理：

　　1、首先Slaver端從Master端拿任務(wù)(Request、url)進(jìn)行數(shù)據(jù)抓取，Slaver抓取數(shù)據(jù)的同時(shí)，產(chǎn)生新任務(wù)的Request便提交給 Master 處理;

　　2、Master端只有一個(gè)Redis數(shù)據(jù)庫(kù)，負(fù)責(zé)將未處理的Request去重和任務(wù)分配，將處理后的Request加入待爬隊(duì)列，并且存儲(chǔ)爬取的數(shù)據(jù)。

　　模擬JavaScript

　　模擬javascript，抓取動(dòng)態(tài)網(wǎng)頁(yè)，是進(jìn)階技巧。但是其實(shí)這只是個(gè)很簡(jiǎn)單的功能。因?yàn)?，如果?duì)方?jīng)]有反爬蟲(chóng)，你完全可以直接抓ajax本身，而無(wú)需關(guān)心js怎么處理的。如果對(duì)方有反爬蟲(chóng)，那么javascript必然十分復(fù)雜，重點(diǎn)在于分析，而不僅僅是簡(jiǎn)單的模擬。

　　PhantomJs或者selenium

　　以上的用來(lái)做自動(dòng)測(cè)試的，結(jié)果因?yàn)樾Ч芎?，很多人拿?lái)做爬蟲(chóng)。但是這個(gè)東西有個(gè)硬傷，就是：效率。占用資源比較多，但是爬取效果很好。

　　總結(jié)：越是低級(jí)的爬蟲(chóng)，越容易被封鎖，但是性能好，成本低。越是高級(jí)的爬蟲(chóng)，越難被封鎖，但是性能低，成本也越高。

　　當(dāng)成本高到一定程度，我們就可以無(wú)需再對(duì)爬蟲(chóng)進(jìn)行封鎖。經(jīng)濟(jì)學(xué)上有個(gè)詞叫邊際效應(yīng)。付出成本高到一定程度，收益就不是很多了。