在python3中，urllib和urllib2進(jìn)行了合并，現(xiàn)在只有一個(gè)urllib模塊，urllib和urllib2的中的內(nèi)容整合進(jìn)了urllib.request，urlparse整合進(jìn)了urllib.parse。

urlparse將urlstr解析成各個(gè)組件

importurllib.request

importurllib.parse

url="http://www.baidu.com"

parsed=urllib.parse.urlparse(url)

print(parsed)

#輸出：ParseResult(scheme='http',netloc='www.baidu.com',path='',params='',query='',fragment='')

urljoin(baseurl,newurl,allowFrag=None)將url的根域名和新url拼合成一個(gè)完整的url

importurllib.parse

url="http://www.baidu.com"

new_path=urllib.parse.urljoin(url,"index.html")

print(new_path)

#輸出：http://www.baidu.com/index.html

urlopen(url,data,timeout)打開一個(gè)url的方法，返回一個(gè)文件對(duì)象，然后可以進(jìn)行類似文件對(duì)象的操作

importurllib.request

req=urllib.request.urlopen('http://www.baidu.com')

print(req.read())

read(),readline(),readlines(),fileno(),close()

info()：返回一個(gè)httplib.HTTPMessage對(duì)象，表示遠(yuǎn)程服務(wù)器返回的頭信息。

getcode()：返回Http狀態(tài)碼，如果是http請(qǐng)求，200表示請(qǐng)求成功完成;404表示網(wǎng)址未找到。

geturl()：返回請(qǐng)求的url。

urlretrieve(url,filename,reporthook,data)下載url定位到的html文件,不寫路徑filename則會(huì)被存為臨時(shí)文件可以用urllib.urlcleanup()來清理緩存

file_name=urllib.request.urlretrieve('http://www.baidu.com','%s/baidu.html'%BASE_DIR)

urlencode()將dict中的鍵值對(duì)以連接符&劃分

importurllib.parse

dic={'name':'melon','age':18}

data=urllib.parse.urlencode(dic)

print(data)#age=18&name=melon

GET請(qǐng)求

GET請(qǐng)求和我們平常get訪問方式一樣,直接把參數(shù)寫到網(wǎng)址上面就好了

importurllib.request

importurllib.parse

dic={'name':'melon','age':18}

data=urllib.parse.urlencode(dic)

req=urllib.request.urlopen('http://127.0.0.1:8000/index?%s'%data)

content=req.read()

POST請(qǐng)求

importurllib.request

importurllib.parse

importjson

dic={'name':'melon','age':18}

data=urllib.parse.urlencode(dic)

req=urllib.request.Request('http://127.0.0.1:8000/index',data.encode())

opener=urllib.request.urlopen(req)

content=json.loads(opener.read().decode())

當(dāng)你urllib.urlopen一個(gè)https的時(shí)候會(huì)驗(yàn)證一次SSL證書，當(dāng)目標(biāo)使用的是自簽名的證書時(shí)就會(huì)出現(xiàn)一個(gè)URLError，如果是這樣可以在開頭加上

importssl

ssl._create_default_https_context=ssl._create_unverified_context

以上內(nèi)容為大家介紹了python培訓(xùn)之urllib怎么用，希望對(duì)大家有所幫助，如果想要了解更多Python相關(guān)知識(shí)，請(qǐng)關(guān)注IT培訓(xùn)機(jī)構(gòu):千鋒教育。