眾所周知，只有被搜索弓|擎蜘蛛抓取并被收錄的頁面，才有可能參與到搜索結果排名的競爭中，所以如何建立網站與搜索引擎蜘蛛之間的關系，是站長們最為關注的問題。
搜索引擎蜘蛛(又被稱為:網頁蜘蛛、網絡爬蟲)，采用極其復雜的抓取策略去遍歷互聯(lián)網中盡可能多的網站，而且還要在保證對網站用戶體驗不受影響的綜合考量下，抓取更多有價值的資源。各大搜索弓|擎每天都會派出大量蜘蛛，起點一般是權重比較高的網站或是訪問量很大的服務器 。
搜索引擎蜘蛛會順著內外鏈入口訪問更多的網站頁面，把網頁信息存入數(shù)據(jù)庫。就像圖書館一樣把不同的圖書分類整理，最后壓縮加密成自己可以讀取的方式放在硬盤上，供搜索的用戶索取。我們搜索的因特網，就是這個數(shù)據(jù)庫。
從搜索弓|擎蜘蛛抓取的原理來看，SEO站長 要想培養(yǎng)蜘蛛定期抓取網站，應該做到以下三點:
-、規(guī)律性更新高質量的網站文章內容
首先，搜索引擎蜘蛛喜歡抓取規(guī)律更新的網站。從一定意義上說，網站的更新頻率與抓取頻率是成正比的。即使在網站前期沒有蜘蛛來抓取文章，也要定期更新。這樣蜘蛛才會獲取并統(tǒng)計這個網站更新的規(guī)律，定期來進行新增內容抓取，使網站文章更新后，能夠盡可能快的被抓取到。
其次，原創(chuàng)度、新鮮度較高的文章內容更容易被蜘蛛抓取收錄。網站如果存在大量重復性的內容,會讓蜘蛛覺得抓取太多而沒有意義，還會使搜索弓|擎對網站質量產生質疑，甚至會導致懲罰。“ 新鮮度”主要指內容的熱門程度和實效性，新近發(fā)生的"大事”、、熱[ 門事件”是比較容易被用戶關注和被蜘蛛抓取。
除了以上兩點外，關鍵詞的分布也對蜘蛛的抓取有重要的影響。因為搜索弓|擎分辨頁面內容的重要因素之一就是關鍵詞，但是關鍵詞過多的堆砌會被搜索引擎視為“作弊” 行為，所以關鍵詞的分布應該在控制在2%-8%左右的密度。
二、確保服務器穩(wěn)定工作
服務器的穩(wěn)定性不但關系到網站用戶體驗度的問題，還會對蜘蛛的抓取造成很大影響。站長們應該定期檢查服務器狀態(tài)，查看網站日志，檢查是否有500狀態(tài)碼等標記，及時發(fā)現(xiàn)存在的隱患。
如果網站遇到黑客攻擊、服務器網站誤刪、服務器硬件癱瘓等問題，并且宕機超過12個小時，應該立即開啟百度站長平臺的閉站保護功能，防止百度誤判斷網站出現(xiàn)大量抓取無效及死鏈頁面，應及時修復網站與服務器。
長期不穩(wěn)定的服務器會導致蜘蛛不能有效爬取頁面，降低搜索引擎友好度，從而出現(xiàn)收錄下降、排名下降的情況。所以網站一定要選擇性能穩(wěn)定的服務器。
三、優(yōu)化網站結構
如果網站內容好，但是頁面卻收錄卻寥寥無幾時，多數(shù)是因為頁面根本沒有被蜘蛛爬取。這時就應該對網站進行全面檢測，主要包括Robots文件、 頁面層級、 代碼結構、網站鏈接等方面。
1、Robots文件， 全稱“網絡爬蟲排除標準”(Robots Exclusion Protocol) 。網站通過Robots協(xié)議可以告訴蜘蛛哪些頁面可以抓取，哪些頁面不能抓取。
2、頁面層級，表現(xiàn)在網站物理層級結構、邏輯層級結構等多方面。以邏輯層級結構URL結構為例，方便記憶、層級簡短、長度適中的靜態(tài)URL是被搜索弓|擎蜘蛛所喜愛的。URL結構(以"/" 為劃分標志)，一般不宜超過4層，結構太復雜不利于搜索弓|擎收錄,也會影響到用戶體驗度。
3、網站代碼類別、結構也會影響網頁是否被蜘蛛抓取。如: IFRAME、JavaScript等代碼， 目前還不能被百度搜索弓|擎蜘蛛有效的理解、抓取，所以需要盡量減少這類代碼的使用。另外，過大的代碼量也會導致蜘蛛抓取不完全。
4、網站鏈接是網頁間權重傳遞的“入口”,鏈接的數(shù)量和質量，直接影響到頁面能否被蜘蛛抓取和收錄。低質量鏈接堆砌只會給網站帶來毀滅性的災害，且還要及時排除錯誤鏈接和死鏈接，減少蜘蛛對死鏈接的抓取時間。盡量多從正規(guī)和相關站點獲得反向鏈接，這樣才可以提高網站的權重。
另外，網站也可以給蜘蛛提供一些快捷通道， 比如sitemap. -個結構清晰的網站地圖能讓搜索引|擎蜘蛛清楚的了解網站結構從而順利的抓取整個網站頁面。
通過高質量內容更新、優(yōu)質的鏈接交換、以及合理網站結構，可以讓搜索弓|擎蜘蛛更好的了解網站，抓取網站頁面。但是不能為了吸弓|蜘蛛抓取而發(fā)布一些和網站內容無關的頁面，或是過度優(yōu)化網站。因為只有真正用心去做，并且能給用戶帶來價值的網站，才能被搜索引擎和用戶喜歡。
轉載自木易SEO博客，本文鏈接地址: http://www.muyiblog.com/2494.html
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
