一：對(duì)scrapy的認(rèn)識(shí)：

　　1.scrapy只是一個(gè)爬蟲(chóng)的框架

　　他把爬蟲(chóng)的需要的共性的東西都默認(rèn)寫(xiě)下來(lái)了，只需要我們具體細(xì)化，具體分析補(bǔ)充里面的細(xì)節(jié)的東西。就像造房子一樣，scrapy就充當(dāng)了一個(gè)房屋架構(gòu)，至于房屋里面的東西 需要我們自己去補(bǔ)充設(shè)計(jì)。

　　2.scrapy的幾個(gè)部分

　　引擎(engine) 爬蟲(chóng)(spider)調(diào)度器(scheduler) 下載器(downloader) items文件pipeline(管道文件) settings.py(進(jìn)行對(duì)爬蟲(chóng)修改的東西，比如UserAgent可以注釋掉，pipline管道文件可以將其關(guān)閉，從而不使用管道文件，robots協(xié)議可以改為False)

　　3.各個(gè)部分的作用

　　引擎的作用：處理scrapy這幾個(gè)部分之間的聯(lián)系，像人類的大腦，由引擎控制其他各個(gè)部分,扮演一個(gè)事情通知員的角色，是其他部分之間聯(lián)系的橋梁。

　　調(diào)度器：使我們需要爬取的Url做一個(gè)個(gè)有序排列

　　下載器：從云端internet上下載東西

　　spider：爬蟲(chóng) 對(duì)爬蟲(chóng)的編寫(xiě)，實(shí)現(xiàn)爬取數(shù)據(jù)，是整個(gè)爬蟲(chóng)的主干

　　items文件：需要爬取的字段寫(xiě)在里面 如：name=scrapy.Field()

　　pipeline：管道文件，用來(lái)寫(xiě)存儲(chǔ)代碼的，將爬取的數(shù)據(jù)存儲(chǔ)到本地或者數(shù)據(jù)庫(kù)

　　ps：以上大概了解下各個(gè)部分的職能就好了。

　　二.scrpay框架實(shí)現(xiàn)爬蟲(chóng)的模擬的簡(jiǎn)要過(guò)程：

　　1.首先引擎告訴spider我們需要爬取的數(shù)據(jù)的網(wǎng)域domain，然后spider給引擎作出回應(yīng)表示知道了

　　2.引擎告訴調(diào)度器(scheduler)‘需要你排序啦’，然后spider將域告訴調(diào)度器，調(diào)度器將域里面每個(gè)需要爬取的url做一個(gè)排序，然后對(duì)引擎說(shuō)‘’ 我排好序了’’

　　3.引擎就對(duì)下載器說(shuō)‘調(diào)度器排好序了，你待會(huì)需要從云端下載東西了’ 。。。下載器就準(zhǔn)備開(kāi)始以一個(gè)個(gè)的url里面下載我們寫(xiě)的item文件，下載好后，對(duì)引擎說(shuō)‘’我下載好了“

　　4.引擎就開(kāi)始對(duì)spider說(shuō)“下載器把items文件下好了”,下載器將下載的item文件(響應(yīng)文件)給spider，spider將得到的items文件(響應(yīng)文件)給pipline管道進(jìn)行存儲(chǔ)，同時(shí)將繼續(xù)要爬取的URl給調(diào)度器，然后調(diào)度器，然后周而復(fù)始 直到需要爬取的url爬完。

　　寫(xiě)spider(爬蟲(chóng))中需要注意的

　　1. name是必要參數(shù)，是scrapy爬蟲(chóng)的名字。domain域可選參數(shù)，可以沒(méi)有，start_urls必要的參數(shù)，是指開(kāi)始要爬取的url。

　　2. def parse(self,response) 這個(gè)函數(shù)是就這個(gè)名字，scrapy中定了的，是對(duì)響應(yīng)文件做出處理的函數(shù)。

　　3. yield 生成器函數(shù)，生成一個(gè)新的函數(shù)，再對(duì)數(shù)據(jù)做出進(jìn)一步處理 如：

　　ps：yield自己理解的也不是很清楚，見(jiàn)諒。

　　4. xpath中的.extract()方法：從一個(gè)列表中(脫殼)得到一個(gè)新的列表。一心得到標(biāo)簽里面的元素，以列表形式返回

　　(1)第一種

　　position = response.xpath(’./td[1]/a/text()’)[] 技術(shù)類 2 深圳 2018ps：沒(méi)有extract()的時(shí)候，整個(gè)標(biāo)簽的東西都拿下來(lái)了。返回的是一個(gè)selector對(duì)象(2)第二種

　　position = response.xpath(’./td[1]/a/text()’).extract()[‘22989-騰訊云虛擬化高級(jí)研發(fā)工程師(深圳) 技術(shù)類 2 深圳 2018’]

　　(3)第三種

　　position=response.xpath‘./td[1]/a/text()’).extract[0]22989-騰訊云虛擬化高級(jí)研發(fā)工程師(深圳) 技術(shù)類 2 深圳 2018

　　scrapy寫(xiě)爬蟲(chóng)的步驟：

　　1. 新建項(xiàng)目：scrapy startproject <項(xiàng)目名>，創(chuàng)建爬蟲(chóng) scrpay genspider <爬蟲(chóng)名> “爬取數(shù)據(jù)的域 如：www.cqggzy.com”

　　2. 明確自己需要爬取的數(shù)據(jù)，寫(xiě)items字段

　　3. 編寫(xiě)spider爬蟲(chóng)

　　4. 存儲(chǔ)：編寫(xiě)管道文件

　　注意事項(xiàng)：

　　scrapy默認(rèn)setting.py中管道文件是關(guān)閉的，需要打開(kāi)，請(qǐng)求頭在settings中最好將headers也打開(kāi)，UserAgent最好修改全面一點(diǎn)。robots協(xié)議也可以改為False。