當(dāng)前位置:首頁(yè) >  站長(zhǎng) >  網(wǎng)站運(yùn)營(yíng) >  正文

遇到百度網(wǎng)站抓取異常怎么辦

 2021-02-18 16:05  來(lái)源: 白楊seo   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

大綱如下:

1、抓取異常是什么?百度抓取異常又是什么?

2、百度抓取異常的原因有哪些?

3、網(wǎng)站抓取異常的原因有哪些?

4、百度抓取異常對(duì)網(wǎng)站有什么影響?

5、網(wǎng)站出現(xiàn)抓取異常的解決方法

抓取異常是什么?百度抓取異常又是什么?

所謂抓取異常,就是指搜索引擎蜘蛛無(wú)法抓取網(wǎng)站頁(yè)面,網(wǎng)站出現(xiàn)的抓取異常就是抓取異常,具體原因是什么下面會(huì)講到。

百度抓取異常是什么?簡(jiǎn)單理解就是百度的蜘蛛(baiduspider)無(wú)法正常抓取,就是百度抓取異常。如上圖,來(lái)源網(wǎng)上。9月3號(hào),百度蜘蛛來(lái)抓取時(shí),抓取時(shí)連接超時(shí)2次。

百度抓取異常的原因有哪些?

百度抓取異常的原原因主要分兩大類,一是網(wǎng)站異常,二是鏈接異常。在哪里看呢,在百度搜索資源平臺(tái)(https://ziyuan.baidu.com)你添加后數(shù)據(jù)統(tǒng)計(jì)—抓取異常那里,如下圖。

網(wǎng)站異常原因:

1、dns異常

當(dāng)百度蜘蛛(Baiduspider)無(wú)法解析您網(wǎng)站的IP時(shí),會(huì)出現(xiàn)DNS異常??赡苁悄?網(wǎng)站IP地址錯(cuò)誤 ,或者 域名服務(wù)商把Baiduspider封禁了 。

可以用WHOIS或者h(yuǎn)ost查詢自己網(wǎng)站IP地址是否正確而且可以解析,如果不正確或無(wú)法解析,與域名注冊(cè)商聯(lián)系,更新網(wǎng)站IP地址。

2、連接超時(shí)

抓取請(qǐng)求連接超時(shí),可能原因是: 服務(wù)器過(guò)載 或 網(wǎng)絡(luò)不穩(wěn)定。

3、抓取超時(shí)

抓取請(qǐng)求連接建立后,下載頁(yè)面速度 過(guò)慢 ,導(dǎo)致超時(shí)??赡茉蚍?wù)器過(guò)載, 帶寬不足 。

4、連接錯(cuò)誤

無(wú)法連接或者連接建立后對(duì)方服務(wù)器拒絕。

鏈接異常原因:

1、訪問(wèn)被拒絕

爬蟲發(fā)起抓取,httpcode返回碼是403。

2、找不到頁(yè)面

爬蟲發(fā)起抓取,httpcode返回碼是404。

3、服務(wù)器錯(cuò)誤

爬蟲發(fā)起抓取,httpcode返回碼是5XX

4、其他錯(cuò)誤

爬蟲發(fā)起抓取,httpcode返回碼是4XX,不包括403和404。

關(guān)于上面提到的403、404、4XX、5XX等,其實(shí)都是網(wǎng)站HTTP狀態(tài)碼,如果不清楚同學(xué),可以看這一篇: 白楊SEO:SEO入門學(xué)習(xí)之搜索引擎(百度)蜘蛛與網(wǎng)站HTTP狀態(tài)碼 ,再學(xué)習(xí)一下。

網(wǎng)站抓取異常的原因有哪些?

網(wǎng)站抓取異常的原因主要有以下五個(gè)方面:

1、服務(wù)器異常

服務(wù)器連接異常最大的可能是網(wǎng)站服務(wù)器過(guò)大,超負(fù)荷運(yùn)轉(zhuǎn),通過(guò)檢查瀏覽器輸入你的域名是否正常訪問(wèn)。服務(wù)器異常會(huì)導(dǎo)致蜘蛛無(wú)法連接網(wǎng)站服務(wù)器,導(dǎo)致出現(xiàn)抓取失敗。

2、域名過(guò)期

域名過(guò)期網(wǎng)站肯定不能訪問(wèn),域名解析就會(huì)失效了。如果存在這類情況,你可以與你域名注冊(cè)商聯(lián)系解決,看是否被搶注,還是可以續(xù)費(fèi)回來(lái)。

3、網(wǎng)絡(luò)運(yùn)營(yíng)商異常

電信和聯(lián)通這兩種都是屬于網(wǎng)絡(luò)運(yùn)營(yíng)商,蜘蛛無(wú)法訪問(wèn)的網(wǎng)站。

如果是因?yàn)殡娦呕蚵?lián)通網(wǎng)絡(luò)運(yùn)營(yíng)商出現(xiàn)問(wèn)題,與網(wǎng)絡(luò)服務(wù)運(yùn)營(yíng)商聯(lián)系或者購(gòu)買CDN服務(wù)。

3、robots.txt文件設(shè)置問(wèn)題

robots.txt的功效主要是一些不重要的文件屏蔽掉告訴搜索引擎這些些頁(yè)面可以不抓取,但也可能會(huì)存在把重要的頁(yè)面也給屏蔽了,可以檢查下robots文件設(shè)置。

關(guān)于ROBOTS.TXT,可以看我之前寫的這篇里面有寫到:

白楊SEO:新人學(xué)習(xí)SEO常遇到的15個(gè)SEO術(shù)語(yǔ),建議收藏

4、死鏈接因素

原本正常的鏈接后來(lái)失效了就是死鏈接,死鏈接發(fā)送請(qǐng)求時(shí),服務(wù)器返回404錯(cuò)誤頁(yè)面。 死鏈的處理方案可以通過(guò)百度站長(zhǎng)平臺(tái)提交死鏈文件。

5、網(wǎng)站被掛馬

網(wǎng)站被掛馬,要查詢掛馬文件在哪里并刪除。恢復(fù)網(wǎng)站,更改登錄名和密碼,安全密保要從新設(shè)置,防止下次被掛馬。如果找不到,建議直接更換整個(gè)建站程序,換一個(gè)程序。

百度抓取異常對(duì)網(wǎng)站有什么影響?

如果網(wǎng)站上存在大量?jī)?nèi)容蜘蛛無(wú)法正常抓取,百度搜索引擎會(huì)認(rèn)為網(wǎng)站給用戶的體驗(yàn)上有缺陷( 訪問(wèn)網(wǎng)站的用戶沒(méi)有得到想要的東西,用戶的體驗(yàn)感就會(huì)下降 )降低對(duì)網(wǎng)站的評(píng)價(jià)。

而且,網(wǎng)站在 抓取、索引、權(quán)重 上都會(huì)受到一定程度的負(fù)面影響,更嚴(yán)重的會(huì)直接影響到網(wǎng)站從百度獲取的流量。 所以,百度網(wǎng)站抓取異常是非常嚴(yán)重的,一旦發(fā)現(xiàn),盡量解決。

如何解決呢,繼續(xù)往下看。

網(wǎng)站出現(xiàn)抓取異常的解決方法

1、出現(xiàn)5XX類型錯(cuò)誤情況

出現(xiàn)這些情況,并不是網(wǎng)站本身向搜索引擎說(shuō)自己5XX問(wèn)題,有時(shí)打開(kāi)還是正常的,那么站長(zhǎng)后臺(tái)的為什么會(huì)顯示這個(gè)錯(cuò)誤呢?

如果出現(xiàn)此類問(wèn)題百分百是因?yàn)槟愕木W(wǎng)站服務(wù)器造成,而對(duì)于某一個(gè)狀態(tài)碼的含義,比如503,直接交給技術(shù)來(lái)進(jìn)行解決。如果技術(shù)還是解決不了,那么建議更換一家服務(wù)器。

2、抓取出現(xiàn)DNS錯(cuò)誤情況

很多SEO新人發(fā)現(xiàn)網(wǎng)站打不開(kāi)了就會(huì)馬上找網(wǎng)站服務(wù)商,但是吧,域名DNS服務(wù)器有可能也會(huì)出現(xiàn)問(wèn)題。當(dāng)網(wǎng)站出現(xiàn)問(wèn)題后,比如打不開(kāi),第一時(shí)間應(yīng)當(dāng)確定到底是什么問(wèn)題?

如果是域名的DNS問(wèn)題,那么白楊SEO建議更換DSN。因?yàn)橛行〥SN出現(xiàn)了這個(gè)問(wèn)題,它后面還有可能出現(xiàn)。

如果要換,就要換大一點(diǎn)的DNS服務(wù)商,比如阿里云收購(gòu)的萬(wàn)網(wǎng)就不錯(cuò),畢竟大公司,穩(wěn)定性還可以的。

3、出現(xiàn)抓取超時(shí)問(wèn)題

現(xiàn)在做SEO排名已經(jīng)到了用戶為王時(shí)代,用戶如果不能在第一時(shí)間打開(kāi)你網(wǎng)站的頁(yè)面,那么就會(huì)跳到其他網(wǎng)站上去。而搜索引擎蜘蛛呢,一樣的。如果無(wú)法第一時(shí)間抓取,就會(huì)出現(xiàn)抓取超時(shí)問(wèn)題。

上面說(shuō)過(guò),這個(gè)抓取超時(shí),大多都是因?yàn)閹挷蛔?,或者是網(wǎng)站頁(yè)面太大而引發(fā)的所以解決方法建議如下:

(1)、在不影響圖片質(zhì)量的情況下,對(duì)大的圖片進(jìn)行壓縮哈;

(2)、減少比如網(wǎng)站的JS腳本文件類型的使用,或者把一些JS進(jìn)行合并;跟技術(shù)說(shuō)清楚。

(3)、整個(gè)網(wǎng)站頁(yè)面長(zhǎng)度進(jìn)行控制,尤其是你的網(wǎng)站首頁(yè)。很多人網(wǎng)站首頁(yè)做了十來(lái)屏,一般用戶最多下拉三到五屏。越長(zhǎng),整個(gè)加載就會(huì)越久。

(4)、網(wǎng)頁(yè)的內(nèi)鏈數(shù)量,一般一個(gè)頁(yè)面互相之間的內(nèi)鏈數(shù)量建議不要超過(guò)500條哦,其實(shí)越多,蜘蛛都會(huì)去往下爬取,小網(wǎng)站基本沒(méi)這個(gè)問(wèn)題。

總之,百度抓取網(wǎng)站異常這個(gè)問(wèn)題,建議建站時(shí)找成熟的程序建站,同時(shí),找像阿里云這樣的大的服務(wù)商。不要總想著省錢,淘寶隨便幾百建個(gè)站,找個(gè)不知名服務(wù)商,其實(shí)這樣得不嘗失的。

文章來(lái)源:白楊seo

來(lái)源地址:https://www.baiyangseo.com/blog/222.html

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
百度網(wǎng)站

相關(guān)文章

熱門排行

信息推薦