更新時間：2025-05-24 07:42:38
網(wǎng)站建設
478網(wǎng)站制作公司推來客（www.tlkjt.com）：誤區(qū)一、Allow覆蓋的比Disallow多，位置在Disallow的前面。
比如很多人寫：
用戶代理：*
允許： /
Disallow: /mulu/
我想讓所有的蜘蛛爬取本站除了/mulu/下的url之外的所有頁面，禁止爬取/mulu/下的所有url。
SEO網(wǎng)站優(yōu)化搜索引擎蜘蛛從上到下執(zhí)行規(guī)則，這會導致第二句失敗。也就是說，禁止爬取/mulu/目錄的規(guī)則是無效的。正確的是Disallow應該在Allow之上，這樣才會生效。
誤區(qū)二、Disallow命令和Allow命令后沒有斜杠“/”。
這也很容易被忽視。比如有人這樣寫Disallow: 123.html，沒有效果。斜杠“/”表示文件所在的位置到根目錄。如果不包含，自然無法確定是哪個url，所以是錯誤的。
正確的應該是Disallow: /123.html，這樣就可以屏蔽/123.html這個文件，這條規(guī)則才能生效。
誤區(qū)三、屏蔽目錄后沒有斜杠“/”。
也就是比如你要屏蔽/mulu/目錄的爬取，有人這樣寫Disallow: /mulu。那么這是正確的嗎？
首先，這樣寫（Disallow: /mulu）確實可以屏蔽所有/mulu/下的url，但是也屏蔽了所有像/mulu123.html這樣以/mulu開頭的頁面，效果等同于Disallow: /mulu*。
正確的做法是，如果只想屏蔽目錄，必須在末尾加上斜杠“/”。
本文發(fā)表于北京網(wǎng)站制作公司推來客http://www.tlkjt.com/
我們專注高端建站，小程序開發(fā)、軟件系統(tǒng)定制開發(fā)、BUG修復、物聯(lián)網(wǎng)開發(fā)、各類API接口對接開發(fā)等。十余年開發(fā)經(jīng)驗，每一個項目承諾做到滿意為止，多一次對比，一定讓您多一份收獲！
