2024 一天掌握python爬蟲(chóng)【基礎(chǔ)篇】 涵蓋 requests、beautifulsoup、selenium:
https://www.bilibili.com/video/BV1Ju4y1Y7k6/
百度搜索請(qǐng)求地址:
如果我們直接用requests.get()進(jìn)行訪(fǎng)問(wèn),發(fā)現(xiàn)沒(méi)有返回內(nèi)容,因?yàn)榘俣确?wù)器通過(guò)headers頭信息做了反爬手段,所以我們請(qǐng)求的時(shí)候,要帶上headers頭信息;以及requests支持請(qǐng)求參數(shù)key:value格式傳遞,我們可以通過(guò)url打印看結(jié)果。
所以標(biāo)準(zhǔn)代碼案例如下:
import requests
url = "https://www.baidu.com/s"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}
data = {
'wd': '寶馬'
}
r = requests.get(url=url, params=data, headers=headers)
print(r.url)
print(r.status_code)
print(r.text)