2之后我們要獲取到用戶正常登錄的cookiepython提供了cookieJar的庫，只要把cookieJar的實例作為參數(shù)傳到urllib2的一個opener里面然后訪問一次登錄的頁面，cookie就已經(jīng)保存下來了之后通過這個實例訪問所有的頁面都帶有正常登陸。

模擬請求網(wǎng)頁模擬瀏覽器，打開目標(biāo)網(wǎng)站獲取數(shù)據(jù)打開網(wǎng)站之后，就可以自動化的獲取我們所需要的網(wǎng)站數(shù)據(jù)保存數(shù)據(jù)拿到數(shù)據(jù)之后，需要持久化到本地文件或者數(shù)據(jù)庫等存儲設(shè)備中那么我們該如何使用 Python 來編寫自己的爬蟲。

在一次登錄之后，網(wǎng)站會記住你的信息，把它放到cookie里，方便下次自動登錄所以，要爬取這類網(wǎng)站的策略是先進(jìn)行一次手動登錄，獲取cookie，然后再次登錄時，調(diào)用上一次登錄得到的cookie，實現(xiàn)自動登錄動態(tài)爬取 在爬取知乎。

使用urlopen方法發(fā)起請求并獲取返回的數(shù)據(jù)4 4 最后就是對返回字符串的處理了比如字符串的截取，字符串的轉(zhuǎn)換成json對象，轉(zhuǎn)換成字段，再獲取對應(yīng)key的值使用Python3實現(xiàn)。

以下代碼調(diào)試通過import pandas as pdimport json demo = #39quotprogrammersquot quotfirstNamequot quotBrettquot，quotlastNamequot quotMcLaughlinquot，quotemailquot quotaaaaquot， quotfirstNamequot quotJasonquot，quotlastNamequot quotHunterquot，quotemailquot quot。

這個有點繁瑣，告訴你，你也可能搞不定 首先請求網(wǎng)頁，然后用你的未登錄cookies去二次請求驗證碼，用byte類型保存在內(nèi)存中，用pillow模塊展示出來，你在手動輸入，主程序這邊用input阻塞，等你輸入完，主程序向登錄接口提交。

使用selenium的chrome或firefox的webdriver打開瀏覽器 drivergeturl #訪問你的網(wǎng)頁 from=driverfind_elements_by_xpathquotxxxquot通過xpath或id等方法鎖定到網(wǎng)頁上表單的那個元素后，用 fromsend_keysquotxxxquot。