本文導(dǎo)讀： 1.神馬搜索Spider神馬Spider是神馬訪問(wèn)互聯(lián)網(wǎng)，自動(dòng)化抓取網(wǎng)頁(yè)的程序。Spider抓取下網(wǎng)頁(yè)，建立索引，使用...

1.神馬搜索Spider
神馬Spider是神馬訪問(wèn)互聯(lián)網(wǎng)，自動(dòng)化抓取網(wǎng)頁(yè)的程序。Spider抓取下網(wǎng)頁(yè)，建立索引，使用戶可通過(guò)搜索引擎搜索到互聯(lián)網(wǎng)上的資源。
2. 神馬搜索Spider的user-agent及ip地址
user-agent，是http協(xié)議中的一個(gè)屬性，代表了終端的身份。神馬Spider的user-agent為：Yisouspider，因?yàn)闅v史原因此user-agent名稱將會(huì)繼續(xù)使用。神馬Spider的ip地址是一組ip池，會(huì)動(dòng)態(tài)變，因此不在此列舉。
3. 神馬搜索Spider的網(wǎng)站訪問(wèn)頻率
神馬會(huì)根據(jù)網(wǎng)站的規(guī)模、服務(wù)能力、頁(yè)面質(zhì)量、更神馬搜索推廣新速度等因素來(lái)決定對(duì)網(wǎng)站的訪問(wèn)頻率。通常質(zhì)量高、網(wǎng)頁(yè)更新快的網(wǎng)站神馬spider訪問(wèn)的頻率相對(duì)會(huì)高，以保證高質(zhì)、時(shí)效的能夠展現(xiàn)給用戶。
4. 神馬搜索spider如何發(fā)現(xiàn)新網(wǎng)頁(yè)
神馬spider發(fā)現(xiàn)新網(wǎng)頁(yè)的方式有多種，最典型的是在已發(fā)現(xiàn)的網(wǎng)頁(yè)中分析超鏈關(guān)系，選取url并抓取，如此不斷拓展，盡可能多的抓取到有價(jià)值的網(wǎng)頁(yè)。另外，神馬會(huì)從dns服務(wù)商處獲取新網(wǎng)站域名，能夠及時(shí)抓取到新建網(wǎng)站。

5. 關(guān)于robots協(xié)議
robots.txt是搜索引擎訪問(wèn)網(wǎng)站是要訪問(wèn)的神馬搜索推廣后臺(tái)個(gè)文件，以確定哪些網(wǎng)頁(yè)是允許或禁止抓取的。神馬搜索遵守互聯(lián)網(wǎng)robots協(xié)議，如您希望完全禁止神馬訪問(wèn)或?qū)Σ糠帜夸浗乖L問(wèn)，您可以通過(guò)robots.txt文件來(lái)設(shè)置內(nèi)容，限定神馬Spider的訪問(wèn)權(quán)限。
robots.txt必須放在網(wǎng)站根目錄下，且文件名要小寫。
具體的寫法：
1) 完全禁止神馬Spider抓取：
User-agent: Yisouspider
Disallow: /
2) 禁止神馬搜索spider抓取指定目錄
User-agent: Yisouspider
Disallow: /update
Disallow: /history
禁止抓取update、history目錄下網(wǎng)頁(yè)
6. 神馬搜索Spider是否會(huì)造成帶寬負(fù)擔(dān)
神馬搜索Spider有規(guī)范的抓取流程，同時(shí)也會(huì)考慮網(wǎng)站的忙閑時(shí)段來(lái)抓取，因此不會(huì)給網(wǎng)站造成帶寬負(fù)擔(dān)。如您發(fā)現(xiàn)名為Yisouspider的user-agent抓取嚴(yán)重影響到了網(wǎng)站的正常訪問(wèn)，您可將該時(shí)段的訪問(wèn)日志信息反饋至zhanzhangpingtai@service.alibaba.com，神馬同學(xué)會(huì)將分析結(jié)論發(fā)送給您。

本文標(biāo)題：神馬搜索站長(zhǎng)平臺(tái)：Spider介紹

本文鏈接：http://www.dfgpm.com/jiqiao/1399.html