僅允許百度抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片 Useragent Baiduspider Allow *gif Disallow *jpg Disallow *jpeg Disallow *png Disallow *bmp$ 1屏蔽404頁面 Disallow 404html 2。

1 第一種方法需要我們使用robotstxt屏蔽百度蜘蛛抓取下圖所示頁面2 屏蔽效果如下圖所示3 除此以外，我們也可以通過使用robotsMeta標(biāo)簽，屏蔽搜索引擎抓取，在頭部加入下圖紅框所圈代碼即可4 屏蔽代碼如下圖所示。

首先你要檢查一下robotstxt文件是否設(shè)置正確，然后看網(wǎng)站打開是否正常，還要看網(wǎng)站速度是否正常以上這幾點(diǎn)都有可能曩蜘蛛抓取的，如果有問題就忙處理還有一種情況，有時(shí)候是蜘蛛自己的問題這個(gè)我以前就遇到過你可以嘗試。

如果真的不希望百度蜘蛛抓取js和css，可以通過robotstxt屏蔽，在網(wǎng)站根目錄新建一個(gè)robotstxt，內(nèi)容為如果禁止所有搜索引擎抓取js和css文件，將下面的Useragent baiduspider改為Useragent *用戶代理baiduspider 不。

1Robotstxt 文件應(yīng)該放在網(wǎng)站根目錄下，并且該文件是可以通過互聯(lián)網(wǎng)進(jìn)行訪問的2在這個(gè)TXT中添加Useragent BaiduspiderDisallow 保存即可。

在網(wǎng)站的根目錄下上傳robots文件禁止百度抓取網(wǎng)站所有頁面robots文件的寫法新建一個(gè)TXT文檔，命名為robots，雙擊打開，輸入以下內(nèi)容保存Useragent Baiduspider Disallow 擴(kuò)展Baiduspider是指百度蜘蛛，不讓百度抓取。

如果不希望百度或 Google抓取網(wǎng)站內(nèi)容，就需要在服務(wù)器的根目錄中放入一個(gè) robotstxt 文件，其內(nèi)容如下UserAgent *Disallow 這是大部份網(wǎng)絡(luò)漫游器都會(huì)遵守的標(biāo)準(zhǔn)協(xié)議，加入這些協(xié)議后，它們將不會(huì)再漫游您的網(wǎng)絡(luò)服務(wù)。