資料內(nèi)容：
一、Python爬蟲基礎(chǔ)回顧
1.1爬蟲基本概念與工作原理
網(wǎng)絡(luò)爬蟲，也稱為網(wǎng)絡(luò)蜘蛛或網(wǎng)絡(luò)機(jī)器人，是一種按照一定的規(guī)則，自動(dòng)抓取萬維網(wǎng)信息的程序或腳本。其工作原理類似于人類瀏覽網(wǎng)頁:首先，向目標(biāo)網(wǎng)站發(fā)送HTTP請求;接著，獲取網(wǎng)站返回的HTML、XML等格式的響應(yīng)內(nèi)容;最后，從響應(yīng)內(nèi)容中解析并提取所需的數(shù)據(jù)。
以爬取新聞網(wǎng)站文章為例，爬蟲會(huì)先模擬瀏覽器發(fā)送一個(gè)請求到新聞頁面的URL，服務(wù)器收到請求后返回頁面的HTML代碼，爬蟲再對這些代碼進(jìn)行解析，提取出文章標(biāo)題、正文、發(fā)布時(shí)間等信息。
1.2常用的HTTP請求與解析方法
HTTP協(xié)議是爬蟲與網(wǎng)站進(jìn)行交互的基礎(chǔ)，常用的請求方法有GET和POST。GET請求用于從服務(wù)器獲取資源，請求參數(shù)會(huì)附加在URL后面;POST請求則常用于提交數(shù)據(jù)，參數(shù)包含在請求體中。在Python中，requests庫是處理HTTP請求的得力助手。
