當你學(xué)會了Python爬蟲技術(shù)之后看到什么都想去爬一下,今天小千就來教大家如何去獲取虎牙直播中的美女主播照片,帶好小本本記好重點!
Python爬蟲獲取直播封面圖
首先我們需要知道整體的流程:
1.獲取請求鏈接,并判斷響應(yīng)結(jié)果的類型。2.使用requests發(fā)出請求,獲取響應(yīng)結(jié)果。3.解析響應(yīng)結(jié)果。4.將響應(yīng)的結(jié)果做持久化保存。
按照上面的步驟,第一步我們打開虎牙直播的網(wǎng)站,找到想要獲取數(shù)據(jù)的專區(qū),然后按下F11開發(fā)者工具,選擇Network進行網(wǎng)絡(luò)請求和響應(yīng)的查看。我們的目的是獲取海量的美女圖片將頁面拉到底部,進行翻頁。發(fā)現(xiàn)地址欄沒有變化。
如果大家遇到這種情況,就要考慮是不是使用ajax進行異步請求了。在Network中選擇XHR,進行異步請求的篩選。
點開上圖中圈起來的鏈接,發(fā)現(xiàn)在response處是一個json返回結(jié)果
鏈接其他的沒有發(fā)生變化,唯獨在最后位置page發(fā)生了改變。分別跟頁碼數(shù)對應(yīng)上了。于是我們就有了下面的代碼:
現(xiàn)在我們就來到了步驟二,使用requests發(fā)出請求了。
我們發(fā)現(xiàn)成功獲取了3條json結(jié)果,接下來就是分析和解析數(shù)據(jù)了。因為json內(nèi)容很長,我們不便分析它們,所以我們使用json的格式化工具完成
通過分析我們發(fā)現(xiàn)所有的數(shù)據(jù)都在data-->datas中,而圖片在screenshot對應(yīng)的值上。所以我們開始解析,先將json字符串使用json.loads()進行轉(zhuǎn)換,得到的是一個字典,然后層層的獲取數(shù)據(jù)。
我們雖然提取出來了圖片的url,但是還沒有保存到本地。所以接下來要做第四步持久化保存了。因為我們下載的僅僅是圖片,所以直接使用request.urlretrieve實現(xiàn)就可以
因此最后的完整代碼是:
以上就是利用Python獲取美女直播圖片的教程了,其他直播網(wǎng)站的圖片也可以同樣方式操作,如果你對Python爬蟲感興趣的話不妨來千鋒Python培訓(xùn)班了解一下我們的Python培訓(xùn)課程,包含全套Python爬蟲教程,權(quán)威名師全程面授學(xué)不會繼續(xù)學(xué)直到學(xué)會為止,現(xiàn)在咨詢還有免費的學(xué)習(xí)資料可以領(lǐng)取,趕緊來了解一下吧。