Python知識分享網 - 專業(yè)的Python學習網站 學Python,上Python222
requests之代理
匿名網友發(fā)布于:2023-10-29 20:34:56
(侵權舉報)

2024 一天掌握python爬蟲【基礎篇】 涵蓋 requests、beautifulsoup、selenium

https://www.bilibili.com/video/BV1Ju4y1Y7k6/

 

很多網站和應用都有反爬蟲策略,我們頻繁的訪問,一旦觸發(fā)反爬蟲策略,我們的IP就會被封掉。

我們?yōu)榱藨獙Ψ磁老x,可以使用代理。

代理IP能劃分成高度匿名代理(以下簡稱:高匿)、普通匿名代理(以下簡稱:普匿)和透明代理三類,通過名字相信大家也猜出了每個級別的匿名程度是:高匿 > 普匿 > 透明。

1. 透明代理IP:顧名思義,服務器知道你在使用代理IP,并且也知道你的真實IP。

2. 普匿代理IP:普匿代理IP要比透明代理IP好一些,但是對方服務器仍然會知道你使用了代理。

3. 高匿代理IP:高匿代理IP不僅可以保護你的IP地址,并且不會改變你的訪問請求,讓對方服務器毫無察覺,不知道你使用了代理。因此,高匿代理的效果是最好的。

所以我們使用代理IP,建議用高匿代理IP,效果好。

推薦一個不錯的代理IP商-快代理 https://www.kuaidaili.com/

他們提供了一些免費的代理IP,鋒哥測試了幾個,都不能用。所以花錢買了,果然好用。

測試代碼:

import requests

url = "http://www.cip.cc/"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}

proxy = {
    "http": "c612.kdltps.com:15818"
}

r = requests.get(url=url, headers=headers, proxies=proxy)
r.encoding = "utf-8"
print(r.status_code)
print(r.text)
with open('proxy.html', 'w', encoding='utf-8') as fp:
    fp.write(r.text)

生成的proxy.html里會顯示代理IP地址。

轉載自: