今天，推來客與你分享當你開始建立一個網站時應該理解的第一件事，也就是在訪問一個網站時應該訪問的第一件事。肯定有人猜到是什么了。沒錯，就是機器人的功能和寫法。

?

一、什么是機器人？有什么用？

“機器人”被一些同行稱為“蘿卜絲“，是搜索引擎的機器協議。全稱是“網絡爬蟲排除協議”。該網站通過機器人協議告訴搜索引擎哪些頁面可以被抓取，哪些頁面不能被抓取。

因為網站的很多目錄如果被抓取的話是有風險的，或者是因為盈利原因無法抓取的，所以有必要告訴蜘蛛俠你的網站是否被允許。

Robots放在網站根目錄下，名字叫robots.txt

二、機器人有哪些指令？

機器人的指令很簡單。只有三個說明。一般我們也會把地圖放在上面，這樣蜘蛛抓到機器人后就可以直接沿著地圖爬了。

用戶代理：該指令定義了該指令的下列內容對哪些蜘蛛有效。默認情況下，所有蜘蛛都可以爬行。如果此指令指定了特定的蜘蛛，則此指令后面的內容對特定的蜘蛛有效。

Disallow:這個指令定義了哪些蜘蛛是禁止爬行的，因為有些人可能認為網站肯定想被爬行。不對，如果是背景或者私人文件，我相信沒有人愿意被搶。

Allow:該指令定義允許蜘蛛捕捉什么內容。如果某些內容被允許，而其他內容被拒絕，則可以使用該指令。大多數網站只使用禁止說明。

Sitemap:顧名思義，就是我們常說的站點地圖。這里就不詳細介紹站點地圖了，推來客的WEO會在下一節詳細介紹站點地圖的功能和用法。我們把站點地圖放在Robots下面，方便蜘蛛直接訪問Robots的時候訪問你的地圖。

第三，機器人的書寫方式

1.用戶代理：用于定義蜘蛛名稱：常見的蜘蛛名稱包括Baiduspider、Googlebot、MSNBot、Baiduspider-image、YoudaoBot、搜狗網蜘蛛、搜狗inst ?spider、搜狗蜘蛛2、搜狗博客、搜狗新聞蜘蛛、搜狗獵戶座蜘蛛、Sosospider、盤古蜘蛛、JikeSpider、yisouspider、EasouSpider。

2、禁止：

用來定義什么是不允許蜘蛛爬行的。在機器人中最難使用的東西，也是最常見的問題就是allow命令。或者整個機器人的本質在于不允許。如果你很好地學習了這個指令的用法，你就能寫出完美的機器人。這里我將列出一些最常用的不允許用法。

嚴禁搶全站：

不允許： /

禁止woniuseo目錄在根目錄下爬行：

Disallow: /woniuseo/

禁止在根目錄下的woniuseo目錄中抓取單個頁面的woniuseo.html:

不允許：/woniuseo/woniuseo.html

禁止全站遏制？已爬網的頁面：

不允許： /*？*

禁止包含woniuseo的頁面在全站被抓取；

不允許： /*woniuseo*

帶后綴的頁面。禁止對整個站點中的aspx進行爬網：

Disallow: /*。aspx$

禁止對帶后綴的文件進行爬網。全站jpg:

Disallow:/*。jpb$

3.Allow:

Allow命令通常不會單獨使用。Allow命令通常允許首先對目錄進行爬網，然后禁止對所有其他頁面進行爬網。

允許對所有頁面進行爬網：

Allow: /

允許對woniuseo目錄進行爬網：

Allow: /woniuseo/

允許爬行。html頁面：

Allow: /*。html$

允許抓取。jpg圖片：

Allow: /*。jpg$

第四，機器人的應用

推來客

自己的網站的robots文件是這樣寫的：

 　　User-agent: *Disallow: /wp-admin/Disallow: /wp-content/Disallow: /wp-includes/Disallow: /tag/Disallow: /wp-config.phpAllow: /

　　sitemap://www.woniuseo.com/sitemap.xml

　　禁止所有搜索引擎抓取所有頁面：

　　User-agent: *

　　Disallow: /

　　這種情況一般用在新站建好還沒正式上線，不希望蜘蛛抓取時。

　　禁止百度蜘蛛抓取所有頁面：

　　User-agent: Baiduspider

　　Disallow: /

　　淘寶就因為與百度的利益關系，從2008年就禁止百度抓取它所有頁面了。

　　僅允許百度蜘蛛抓取所有頁面：

　　User-agent: Baiduspider

　　Allow: /

　　User-agent: *

　　Disallow: /

　　禁止所有蜘蛛抓取特定的目錄和頁面,允許其它所有：

　　User-agent: *

　　Disallow: /sys-admin/

　　Disallow: /aboutwoniu.html

　　Allow: /

　　僅允許蜘蛛抓取.html的頁面與.jpg的圖片：

　　User-agent:*

　　Allow: /*.html$

　　Allow: /*.jpg$

　　Disallow:/

　　禁止所有動態的頁面的抓取，允許其它：

　　User-agent: *

　　Disallow: /*?*

　　Allow: /

　　允許某個目錄下某個目錄被抓取，禁止其它

　　User-agent: *

　　Allow: /woniuseo/woniuseo/

　　Disallow:/woniuseo/

　　五、 關于robots的網絡大事件

　　淘寶封殺

 　　2008年9月8日，淘寶網宣布封殺百度爬蟲，百度忍痛遵守爬蟲協議。因為一旦破壞協議，用戶的隱私和利益就無法得到保障，搜索網站就談不到人性關懷

　　京東封殺

　　2011年10月25日，京東商城正式將一淘網的搜索爬蟲屏蔽，以防止一淘網對其的內容抓取。

　　BE違規抓取Evay

 　　美國BE拍賣公司無視Ebey公司網站 robots協議，終于2000年2月被告上法庭，最終被判Be侵權。

　　360搜索無視robots協議

　　2012年8月，360綜合搜索被指違反robots協議，被業內指為“違規”警告。

 　　如果大家看完上面的指令還有疑問一話，請大家訪問“推來客SEO博客”留言或者直接加入 推來客SEO博客 的官方群，找博主來看大家的Disallow應該怎么寫才對。關于Robots的用法還有很多很多，推來客SEO 在這里沒法一一列舉出來，如果大家對Robots還有疑問。請大家訪問“推來客SEO博客”。在這里，我會給大家量解答大家的疑問。另外我也會在自己的博客里面分享更多SEO相關的知識，希望能夠對大家SEO的道路有一點幫助。

我們專注高端建站，小程序開發、軟件系統定制開發、BUG修復、物聯網開發、各類API接口對接開發等。十余年開發經驗，每一個項目承諾做到滿意為止，多一次對比，一定讓您多一份收獲！