看个毛片_手机成人在线视频_国产99久久精品一区二区永久免费_啪啪免费_a4yy午夜_欧美成年视频

虛擬主機(jī)被搜索引擎爬蟲(chóng)訪問(wèn)耗費(fèi)大量流量解決方法

日期:2016/8/3 / 人氣:

問(wèn)題場(chǎng)景:客戶(hù)使用虛擬主機(jī),網(wǎng)站被搜索引擎爬蟲(chóng)訪問(wèn)耗費(fèi)大量流量和帶寬,如何處理

解決方法:可以通過(guò)在站點(diǎn)根目錄下創(chuàng)建Robots.txt,Robots.txt文件是網(wǎng)站的一個(gè)文件,搜索引擎蜘蛛抓取網(wǎng)站首先就是抓取這個(gè)文件,根據(jù)里面的內(nèi)容來(lái)決定對(duì)網(wǎng)站文件訪問(wèn)的范圍。它能夠保護(hù)我們的一些文件不暴露在搜索引擎之下,從而有效的控制蜘蛛的爬取路徑。

1、首先,先了解一下目前搜索引擎和其對(duì)應(yīng)的User-Agent,如下:

搜索引擎         User-Agent
AltaVista        Scooter
baidu            Baiduspider
Infoseek         Infoseek
Hotbot           Slurp
AOL Search       Slurp
Excite           ArchitextSpider
Google           Googlebot
Goto             Slurp
Lycos            Lycos
MSN              Slurp
Netscape         Googlebot
NorthernLight    Gulliver
WebCrawler       ArchitextSpider
Iwon             Slurp
Fast             Fast
DirectHit        Grabber
Yahoo Web Pages  Googlebot
LooksmartWebPages Slurp
2、Robots.txt樣例代碼:

例1. 禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的搜索引擎訪問(wèn)網(wǎng)站的任何部分
User-agent: *
Disallow:
例3. 僅禁止Baiduspider訪問(wèn)您的網(wǎng)站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問(wèn)您的網(wǎng)站
User-agent: Baiduspider
Disallow:
例5. 禁止spider訪問(wèn)特定目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事項(xiàng):1)三個(gè)目錄要分別寫(xiě)。
2)請(qǐng)注意最后要帶斜杠。
3)帶斜杠與不帶斜杠的區(qū)別。
例6. 允許訪問(wèn)特定目錄中的部分url
實(shí)現(xiàn)a目錄下只有b.htm允許訪問(wèn)
User-agent: *
Allow: /a/b.htm
Disallow: /a/

 

作者:朋友圈科技


Go To Top 回頂部
主站蜘蛛池模板: 同性老头old mantv | 国产午夜精品美女免费大片 | www.九九| 午夜精品一区二区三区在线视频 | 午夜色a大片在线观看免费 色偷偷网站 | 久久欧美久久欧美精品 | 美女黄网站免费观看 | 成 人 免费观看网站 | www精品| av片免费 | 日本高清中文字幕 | 亚洲精品国产综合99久久一区 | 麻豆影视视频高清在线观看 | 日本久久精品视频 | 夜夜艹天天干 | 最新日韩在线观看视频 | 色哟哟www网站入口成人学校 | 青草久久精品 | 久久99国产精品免费观看 | 国产一二三区精品视频 | 91佛爷在线观看 | 男人女人爽好猛好痛动态图 | 偷拍自拍在线 | 日韩成人精品在线 | 欧美色性 | 国产a毛片 | 99re6在线视频精品免费 | 亚洲综合色dddd26 | 日韩国产欧美一区二区三区 | 亚洲天堂成人在线 | 久久精品国产一区二区电影 | 国产国语毛片 | 亚洲一区中文 | 三级xxxx| 激情婷婷六月 | 尤物在线免费观看 | 日韩成人免费中文字幕 | 青青久在线视频 | 国产精品v免费视频 | 色诱亚洲精品久久久久久 | 激情aⅴ欧美一区二区欲海潮 |