1、網(wǎng)頁(yè)爬取不一定要用Selenium，Selenium是為了注入瀏覽器獲取點(diǎn)擊行為的調(diào)試工具，如果網(wǎng)頁(yè)無(wú)需人工交互就可以抓取，不建議你使用selenium要使用它，你需要安裝一個(gè)工具軟件，使用Chrome瀏覽器需要下載chromedriverexe到system32下。

2、不用說(shuō)，當(dāng)然是把腳本轉(zhuǎn)為java代碼了，在E clipse中重新開始搞選擇一個(gè)測(cè)試框架有Junit和TestNg兩個(gè)選擇，公司用的是junit，所以，不用多說(shuō)，我就用junit驗(yàn)證selenium腳本的運(yùn)行結(jié)果并且，Junit和Test。

3、給re的數(shù)據(jù)類型有錯(cuò)，希望值是字符串，提供的確實(shí)其他類型。

4、總的來(lái)說(shuō)，整個(gè)過(guò)程非常簡(jiǎn)單，最主要的還是抓包分析，只要你有一定的爬蟲基礎(chǔ)，熟悉一下上面的代碼，多調(diào)試幾遍程序，很快就能掌握的，當(dāng)然，你也可以使用selenium進(jìn)行爬取，直接解析就行，網(wǎng)上也有相關(guān)教程和資料可供參考。

5、另外，爬取網(wǎng)易云推薦使用selenium，因?yàn)槲覀冊(cè)谧雠廊【W(wǎng)易云熱評(píng)的操作時(shí)，此時(shí)請(qǐng)求得到的代碼是父網(wǎng)頁(yè)的源代碼，這時(shí)是請(qǐng)求不到子網(wǎng)頁(yè)的源代碼的，也得不到我們需要提取的信息，這是因?yàn)閟elenium打開頁(yè)面后，默認(rèn)是在父級(jí)frame。

6、selenium通過(guò)獲取渲染后的網(wǎng)頁(yè)源碼，并通過(guò)豐富的查找工具，個(gè)人認(rèn)為最好用的就是find_element_by_xpathquotxxxquot，通過(guò)該方式查找到元素后可執(zhí)行點(diǎn)擊輸入等事件，進(jìn)而向服務(wù)器發(fā)出請(qǐng)求，獲取所需的數(shù)據(jù)python view plain。

7、解決方案1用瀏覽器打開你那個(gè)連接完整加載，通過(guò) 查看源 找到你要的數(shù)據(jù)記住標(biāo)記，比如某個(gè)元素，selenium+python獲取到頁(yè)面代碼再去判斷查找你的標(biāo)記就知道是否加載完了用python selenium提取網(wǎng)頁(yè)中的所有標(biāo)簽中的超。

8、當(dāng)使用爬蟲抓取網(wǎng)頁(yè)時(shí)，一般只能獲取到網(wǎng)頁(yè)源代碼，而無(wú)法獲取到經(jīng)過(guò)瀏覽器渲染后的頁(yè)面內(nèi)容如果要獲取經(jīng)過(guò)瀏覽器渲染后的內(nèi)容，需要使用一個(gè)瀏覽器渲染引擎如Selenium來(lái)模擬瀏覽器行為，從而獲取到完整的頁(yè)面內(nèi)容另外。

9、page_source 得到的是靜態(tài)源代碼，不含js內(nèi)容 需要使用find_element_by 等方法定位元素獲取。

10、顯示等待一般作用于某一個(gè)元素，在設(shè)定的時(shí)間范圍內(nèi)，默認(rèn)每間隔05秒查找元素返回被加載的元素，若超過(guò)設(shè)定的時(shí)間范圍未能查找則報(bào)錯(cuò)顯示等待作為selenium常用的等待機(jī)制，我們來(lái)看下他的源碼和機(jī)制driver 注釋中解釋為。

11、法1直接分析ajax調(diào)用的接口然后通過(guò)代碼請(qǐng)求這個(gè)接口法2使用Selenium+chromedriver模擬瀏覽器行為獲取數(shù)據(jù)Selenium 相當(dāng)于是一個(gè)機(jī)器人可以模擬人類在瀏覽器上的一些行為，自動(dòng)處理瀏覽器上的一些行為，比如點(diǎn)擊。

12、你那個(gè)登錄按鈕有一個(gè)class=quotloginbutton logReg_btn1quot，可以用find_element_by_class_name來(lái)識(shí)別，輸入loginbutton或者logReg_btn1都可以。

13、模擬瀏覽器，動(dòng)態(tài)獲取，可以使用大殺器selenium工具 使用這種方法可以實(shí)現(xiàn)只要能看到就能抓取到，如鼠標(biāo)滑過(guò)，異步加載等，因?yàn)樗男袨榭梢耘c瀏覽器一模一樣，但是這種方式的效率卻是最低的，一般不到實(shí)在沒(méi)有辦法的時(shí)候不推薦。

14、選擇用selenium，但是沒(méi)找到selenium的webdriver下取得所有資源加載鏈接的方法selenium包下有一個(gè)selenium模塊查看源碼時(shí)看到有個(gè)get_all_links方法但是一直沒(méi)找到這個(gè)模塊的用法最后，求解答謝謝大家方法不成的話，就。

15、您好，對(duì)于你的遇到的問(wèn)題，我很高興能為你提供幫助，我之前也遇到過(guò)喲，以下是我的個(gè)人看法，希望能幫助到你，若有錯(cuò)誤，還望見諒與使用FireFoxIE測(cè)試基本一樣前提是需要Chrome的驅(qū)動(dòng)程序，可以單獨(dú)下載，然后至于。

16、沒(méi)有不能查看源代碼的網(wǎng)頁(yè)，點(diǎn)一下F12或者1抓包，找到真正的url，模擬post或get2用selenium+phantomjs 或firefox 或chrome。