cao死我好湿好紧好爽动态视屏|精选久久久久久久久久|中文无码精品一区二区三区四季|AAA国语精品刺激对白视频|

當(dāng)前位置:首頁(yè) > 軟件開放 > 正文內(nèi)容

網(wǎng)頁(yè)統(tǒng)計(jì)圖代碼(網(wǎng)頁(yè)統(tǒng)計(jì)圖代碼怎么看)

軟件開放1年前 (2024-03-15)428

深度了解蜘蛛spider抓取原理-專業(yè)SEO技術(shù)教程(12)

盡管搜索引擎在不斷地升級(jí)算法,但是終究其還是程序,因此我們?cè)诓季志W(wǎng)站結(jié)構(gòu)的時(shí)候,要盡可能地讓搜索引擎蜘蛛看得懂。每個(gè)搜索引擎蜘蛛都有自己的名字,在抓取網(wǎng)頁(yè)的時(shí)候,都會(huì)向網(wǎng)站表明自己的身份。搜索引擎蜘蛛在抓取網(wǎng)頁(yè)的時(shí)候會(huì)發(fā)一個(gè)請(qǐng)求,這個(gè)請(qǐng)求中有一個(gè)字段為user-agent,用于標(biāo)示此搜索引擎蜘蛛的身份。那么,今天就和大家一起來(lái)深度了解蜘蛛spider抓取原理。

例如Google搜索引擎蜘蛛的標(biāo)識(shí)為Googlebot,百度搜索引擎的標(biāo)識(shí)為baidu spider,yahoo搜索引擎蜘蛛的標(biāo)識(shí)為inktomi slurp。如果在網(wǎng)站上有訪問(wèn)日志記錄,網(wǎng)站管理員就能知道,哪些搜索引擎的搜索引擎蜘蛛過(guò)來(lái)過(guò),什么時(shí)候過(guò)來(lái)的,以及讀了多少數(shù)據(jù)等。如果網(wǎng)站管理員發(fā)現(xiàn)某個(gè)蜘蛛有問(wèn)題,就通過(guò)其標(biāo)識(shí)來(lái)和其所者聯(lián)系。

搜索引擎蜘蛛進(jìn)入一個(gè)網(wǎng)站,一般會(huì)訪問(wèn)一個(gè)特殊的文本文件robots.txt。這個(gè)文件一般放在網(wǎng)站服務(wù)器的根目錄下,網(wǎng)站管理員可以通過(guò)robots.txt來(lái)定義哪些目錄搜索引擎蜘蛛不能訪問(wèn),或者那些目錄對(duì)于某些特定的搜索引擎蜘蛛不能訪問(wèn)。例如,有些網(wǎng)站的可執(zhí)行文件目錄和臨時(shí)文件目錄不希望被搜索引擎到,那么網(wǎng)站管理員就可以把這些目錄定義為拒絕訪問(wèn)目錄。robots.txt語(yǔ)法也很簡(jiǎn)單,如果對(duì)目錄沒(méi)有任何限制,可以用以下兩行來(lái)描述。

user-agent*

Disallow:

當(dāng)然,robots.txt只是一個(gè)協(xié)議,如果搜索引擎蜘蛛的設(shè)計(jì)者不遵循這個(gè)協(xié)議,網(wǎng)站管理員也無(wú)法阻止搜索引擎蜘蛛對(duì)于某些頁(yè)面的訪問(wèn)。但一般的搜索引擎蜘蛛都會(huì)遵循這些協(xié)議,而且網(wǎng)站管理員還可以通過(guò)其他方式來(lái)拒絕搜索引擎蜘蛛對(duì)某些網(wǎng)頁(yè)的抓取。

搜索引擎蜘蛛在下載網(wǎng)頁(yè)的時(shí)候,會(huì)去識(shí)別網(wǎng)頁(yè)的HTML代碼,在其代碼的部分,會(huì)有meta標(biāo)識(shí)。這些標(biāo)識(shí)可以告訴搜索引擎蜘蛛本網(wǎng)頁(yè)是否需要被抓取,還可以告訴搜索引擎蜘蛛本網(wǎng)頁(yè)中的鏈接是否需要被繼續(xù)跟蹤。例如,表示本網(wǎng)頁(yè)不需要被抓取,但是網(wǎng)頁(yè)內(nèi)的鏈接需要被跟蹤。

現(xiàn)在一般的網(wǎng)站都希望搜索引擎能更全面地抓取自己的網(wǎng)站的網(wǎng)頁(yè),因?yàn)檫@樣可能讓更多的訪問(wèn)者通過(guò)搜索引擎能找到此網(wǎng)站。為了讓本網(wǎng)站的網(wǎng)頁(yè)更全面被抓取到,網(wǎng)站管理員可以建立一個(gè)網(wǎng)站地圖,即sitemap。許多搜索引擎蜘蛛會(huì)把sitemap,htm文件作為一個(gè)網(wǎng)站網(wǎng)頁(yè)爬取得入口,網(wǎng)站管理員可以把網(wǎng)站內(nèi)容內(nèi)部所有網(wǎng)頁(yè)的鏈接放在這個(gè)文件里面,那么搜索引擎蜘蛛可以很方便地把整個(gè)網(wǎng)站抓取下來(lái),避免遺漏某些網(wǎng)頁(yè),也會(huì)減小服務(wù)器的負(fù)擔(dān)(Google專門為網(wǎng)站管理嚴(yán)提供了XML的Sitemap)。

展開全文

搜索引擎建立網(wǎng)頁(yè)索引,處理的對(duì)象是文本文件。對(duì)于搜索引蜘蛛來(lái)說(shuō),抓取下來(lái)網(wǎng)頁(yè)包括各種格式,包括HTML、圖片、doc、PDF、多媒體、動(dòng)態(tài)網(wǎng)頁(yè)極其他格式。把這些文件抓取下來(lái)后,需要把這些文件中的文本信息提取出來(lái)。準(zhǔn)確提取這些文檔的信息,一方面對(duì)搜索引擎的搜索引擎準(zhǔn)確性有重要的作用,另一方面對(duì)于搜索引擎蜘蛛正確跟蹤其他鏈接有一定影響。

網(wǎng)頁(yè)統(tǒng)計(jì)圖代碼(網(wǎng)頁(yè)統(tǒng)計(jì)圖代碼怎么看)

對(duì)于doc、PDF等文檔,這種由專業(yè)廠商提供的軟件生成的文檔,廠商都會(huì)提供相應(yīng)的文本提取接口。搜索引擎的搜索只需要調(diào)用這些插件的接口,就可以輕松地提取文檔中的文本信息和文件的其他相關(guān)的信息。

HTML等文檔不一樣,HTML有一套自己的語(yǔ)法,通過(guò)不同的命令標(biāo)識(shí)符來(lái)標(biāo)識(shí)不同的字體、顏色、位置等,提取文本信息時(shí)需要把這些標(biāo)識(shí)符都過(guò)濾掉。過(guò)濾標(biāo)識(shí)符并非難事,因?yàn)檫@些標(biāo)識(shí)符都有一定的規(guī)則,只要按照不同的標(biāo)識(shí)符取得相應(yīng)的信息即可。但在識(shí)別這些信息的時(shí)候,需要同步記錄許多版式信息。

除了標(biāo)題和正文以外,會(huì)有許多廣告鏈接以及公共的頻道鏈接。這些鏈接和文本正文一點(diǎn)關(guān)系也沒(méi)有,在提取網(wǎng)頁(yè)內(nèi)容的時(shí)候,也需要過(guò)濾這些無(wú)用的鏈接。例如,某個(gè)網(wǎng)站有“產(chǎn)品介紹”頻道,因?yàn)閷?dǎo)航條在網(wǎng)站內(nèi)每個(gè)網(wǎng)頁(yè)都會(huì)搜索到,無(wú)疑會(huì)帶來(lái)大量垃圾信息,過(guò)濾這些無(wú)效鏈接需要統(tǒng)計(jì)大量的網(wǎng)頁(yè)結(jié)構(gòu)規(guī)律,抽取一些共性,統(tǒng)一過(guò)濾;對(duì)于一些重要而結(jié)果特殊的網(wǎng)站,還需要個(gè)別處理。這就需要搜索引擎蜘蛛的設(shè)計(jì)有一定的擴(kuò)展性。

以上就是對(duì)深度了解蜘蛛spider抓取原理的介紹,感謝收看與關(guān)注,明天繼續(xù)更新,還望朋友們多多關(guān)注。

掃描二維碼推送至手機(jī)訪問(wèn)。

版權(quán)聲明:本文由飛速云SEO網(wǎng)絡(luò)優(yōu)化推廣發(fā)布,如需轉(zhuǎn)載請(qǐng)注明出處。

本文鏈接:http://m.smallwaterjetsystem.com/post/96880.html

“網(wǎng)頁(yè)統(tǒng)計(jì)圖代碼(網(wǎng)頁(yè)統(tǒng)計(jì)圖代碼怎么看)” 的相關(guān)文章

婚禮官網(wǎng)免費(fèi)源碼(婚禮網(wǎng)站模板)

婚禮官網(wǎng)免費(fèi)源碼(婚禮網(wǎng)站模板)

今天給各位分享婚禮官網(wǎng)免費(fèi)源碼的知識(shí),其中也會(huì)對(duì)婚禮網(wǎng)站模板進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問(wèn)題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、2022年國(guó)內(nèi)景區(qū)婚禮怎么報(bào)名 2、如何查詢一個(gè)企業(yè)的官網(wǎng)頁(yè)面源代碼?如何設(shè)置關(guān)鍵字的優(yōu)化,線上 3、愛(ài)克絲文婚禮公司還在嗎 4、婚禮的電...

最新版baby直播APP下載(BABY直播app下載)

最新版baby直播APP下載(BABY直播app下載)

今天給各位分享最新版baby直播APP下載的知識(shí),其中也會(huì)對(duì)BABY直播app下載進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問(wèn)題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、798u小寶貝直播怎么下載app 2、愛(ài)尚app直播官網(wǎng)怎么下載 3、電流電壓極性對(duì)功率方向繼電器的影響 4、大草莓...

蘋果手機(jī)的計(jì)算機(jī)怎么看歷史記錄(iphone手機(jī)怎么看計(jì)算機(jī)歷史記錄)

蘋果手機(jī)的計(jì)算機(jī)怎么看歷史記錄(iphone手機(jī)怎么看計(jì)算機(jī)歷史記錄)

今天給各位分享蘋果手機(jī)的計(jì)算機(jī)怎么看歷史記錄的知識(shí),其中也會(huì)對(duì)iphone手機(jī)怎么看計(jì)算機(jī)歷史記錄進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問(wèn)題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、蘋果6plus計(jì)算機(jī)如何翻查計(jì)算記錄 2、蘋果6的計(jì)算器歷史記錄怎么查看? 3、iphone6計(jì)算器怎么...

怎樣看心電圖波形圖(怎樣看心電圖波形圖片)

怎樣看心電圖波形圖(怎樣看心電圖波形圖片)

本篇文章給大家談?wù)勗鯓涌葱碾妶D波形圖,以及怎樣看心電圖波形圖片對(duì)應(yīng)的知識(shí)點(diǎn),希望對(duì)各位有所幫助,不要忘了收藏本站喔。 本文目錄一覽: 1、心電圖怎么看,心電圖講解,心電圖t波改變 2、心電圖怎么看 3、心電圖怎么看,綠色的波浪線,藍(lán)色的波浪線,黃色的波浪線是指什么?_? 心電圖怎么看,心電...

cba積分榜最新排名表(cba個(gè)人積分榜最新排名)

cba積分榜最新排名表(cba個(gè)人積分榜最新排名)

今天給各位分享cba積分榜最新排名表的知識(shí),其中也會(huì)對(duì)cba個(gè)人積分榜最新排名進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問(wèn)題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、2022年cba排名 2、cba排名積分榜 3、cba最新積分榜出爐 4、cba排名榜最新排名榜 5、新賽季cba排...

游戲輔助源碼資源網(wǎng)(有輔助源碼怎么做輔助)

游戲輔助源碼資源網(wǎng)(有輔助源碼怎么做輔助)

本篇文章給大家談?wù)動(dòng)螒蜉o助源碼資源網(wǎng),以及有輔助源碼怎么做輔助對(duì)應(yīng)的知識(shí)點(diǎn),希望對(duì)各位有所幫助,不要忘了收藏本站喔。 本文目錄一覽: 1、網(wǎng)頁(yè)游戲輔助工具源碼如何編寫? 2、請(qǐng)問(wèn)易語(yǔ)言里面的游戲輔助的源代碼怎么獲取? 3、游戲輔助工具怎么制作?在哪可以學(xué)習(xí) 網(wǎng)頁(yè)游戲輔助工具源碼如何編寫?...

桦南县| 宝山区| 农安县| 葵青区| 将乐县| 西华县| 富裕县| 巴青县| 手机| 广汉市| 彰化市| 临泉县| 寿阳县| 越西县| 交城县| 铜川市| 重庆市| 宁陵县| 思南县| 伊宁市| 河西区| 榆林市| 克拉玛依市| 浦江县| 东山县| 正安县| 琼海市| 阿克| 濮阳市| 道真| 伽师县| 沿河| 斗六市| 湘潭县| 东丰县| 上思县| 济南市| 广州市| 长沙县| 双桥区| 寻乌县|