點擊公眾號關(guān)注,每周學(xué)習(xí)SEO與精準營銷實戰(zhàn)干貨

作者:白楊SEO 全文2641字 預(yù)計閱3分鐘
前言:這是白楊SEO公眾號原創(chuàng)第220篇。經(jīng)常有朋友在我的SEO付費交流群或者私下說,網(wǎng)站收錄怎么又下降了,百度好像抓取出問題了,原因是什么怎么辦,所以今天就來分享下哈。
5、網(wǎng)站出現(xiàn)抓取異常的解決方法所謂抓取異常,就是指搜索引擎蜘蛛無法抓取網(wǎng)站頁面,網(wǎng)站出現(xiàn)的抓取異常就是抓取異常,具體原因是什么下面會講到。
百度抓取異常是什么?簡單理解就是百度的蜘蛛(baiduspider)無法正常抓取,就是百度抓取異常。如上圖,來源網(wǎng)上。9月3號,百度蜘蛛來抓取時,抓取時連接超時2次。百度抓取異常的原原因主要分兩大類,一是網(wǎng)站異常,二是鏈接異常。在哪里看呢,在百度搜索資源平臺(https://ziyuan.baidu.com)你添加后數(shù)據(jù)統(tǒng)計—抓取異常那里,如下圖。
1、dns異常
當百度蜘蛛(Baiduspider)無法解析您網(wǎng)站的IP時,會出現(xiàn)DNS異常??赡苁悄?/span>網(wǎng)站IP地址錯誤,或者域名服務(wù)商把Baiduspider封禁了。
可以用WHOIS或者host查詢自己網(wǎng)站IP地址是否正確而且可以解析,如果不正確或無法解析,與域名注冊商聯(lián)系,更新網(wǎng)站IP地址。
2、連接超時
抓取請求連接超時,可能原因是:服務(wù)器過載或網(wǎng)絡(luò)不穩(wěn)定。
3、抓取超時
抓取請求連接建立后,下載頁面速度過慢,導(dǎo)致超時??赡茉蚍?wù)器過載,帶寬不足。
4、連接錯誤
無法連接或者連接建立后對方服務(wù)器拒絕。
鏈接異常原因:
1、訪問被拒絕
爬蟲發(fā)起抓取,httpcode返回碼是403。
2、找不到頁面
爬蟲發(fā)起抓取,httpcode返回碼是404。
3、服務(wù)器錯誤
爬蟲發(fā)起抓取,httpcode返回碼是5XX
4、其他錯誤
爬蟲發(fā)起抓取,httpcode返回碼是4XX,不包括403和404。
關(guān)于上面提到的403、404、4XX、5XX等,其實都是網(wǎng)站HTTP狀態(tài)碼,如果不清楚同學(xué),可以看這一篇:白楊SEO:SEO入門學(xué)習(xí)之搜索引擎(百度)蜘蛛與網(wǎng)站HTTP狀態(tài)碼,再學(xué)習(xí)一下。
網(wǎng)站抓取異常的原因主要有以下五個方面:服務(wù)器連接異常最大的可能是網(wǎng)站服務(wù)器過大,超負荷運轉(zhuǎn),通過檢查瀏覽器輸入你的域名是否正常訪問。服務(wù)器異常會導(dǎo)致蜘蛛無法連接網(wǎng)站服務(wù)器,導(dǎo)致出現(xiàn)抓取失敗。
域名過期網(wǎng)站肯定不能訪問,域名解析就會失效了。如果存在這類情況,你可以與你域名注冊商聯(lián)系解決,看是否被搶注,還是可以續(xù)費回來。電信和聯(lián)通這兩種都是屬于網(wǎng)絡(luò)運營商,蜘蛛無法訪問的網(wǎng)站。如果是因為電信或聯(lián)通網(wǎng)絡(luò)運營商出現(xiàn)問題,與網(wǎng)絡(luò)服務(wù)運營商聯(lián)系或者購買CDN服務(wù)。
robots.txt的功效主要是一些不重要的文件屏蔽掉告訴搜索引擎這些些頁面可以不抓取,但也可能會存在把重要的頁面也給屏蔽了,可以檢查下robots文件設(shè)置。關(guān)于ROBOTS.TXT,可以看我之前寫的這篇里面有寫到:原本正常的鏈接后來失效了就是死鏈接,死鏈接發(fā)送請求時,服務(wù)器返回404錯誤頁面。死鏈的處理方案可以通過百度站長平臺提交死鏈文件。網(wǎng)站被掛馬,要查詢掛馬文件在哪里并刪除?;謴?fù)網(wǎng)站,更改登錄名和密碼,安全密保要從新設(shè)置,防止下次被掛馬。如果找不到,建議直接更換整個建站程序,換一個程序。如果網(wǎng)站上存在大量內(nèi)容蜘蛛無法正常抓取,百度搜索引擎會認為網(wǎng)站給用戶的體驗上有缺陷(訪問網(wǎng)站的用戶沒有得到想要的東西,用戶的體驗感就會下降)降低對網(wǎng)站的評價。而且,網(wǎng)站在抓取、索引、權(quán)重上都會受到一定程度的負面影響,更嚴重的會直接影響到網(wǎng)站從百度獲取的流量。所以,百度網(wǎng)站抓取異常是非常嚴重的,一旦發(fā)現(xiàn),盡量解決。網(wǎng)站出現(xiàn)抓取異常的解決方法出現(xiàn)這些情況,并不是網(wǎng)站本身向搜索引擎說自己5XX問題,有時打開還是正常的,那么站長后臺的為什么會顯示這個錯誤呢?

如果出現(xiàn)此類問題百分百是因為你的網(wǎng)站服務(wù)器造成,而對于某一個狀態(tài)碼的含義,比如503,直接交給技術(shù)來進行解決。如果技術(shù)還是解決不了,那么建議更換一家服務(wù)器。很多SEO新人發(fā)現(xiàn)網(wǎng)站打不開了就會馬上找網(wǎng)站服務(wù)商,但是吧,域名DNS服務(wù)器有可能也會出現(xiàn)問題。當網(wǎng)站出現(xiàn)問題后,比如打不開,第一時間應(yīng)當確定到底是什么問題?如果是域名的DNS問題,那么白楊SEO建議更換DSN。因為有些DSN出現(xiàn)了這個問題,它后面還有可能出現(xiàn)。如果要換,就要換大一點的DNS服務(wù)商,比如阿里云收購的萬網(wǎng)就不錯,畢竟大公司,穩(wěn)定性還可以的。現(xiàn)在做SEO排名已經(jīng)到了用戶為王時代,用戶如果不能在第一時間打開你網(wǎng)站的頁面,那么就會跳到其他網(wǎng)站上去。而搜索引擎蜘蛛呢,一樣的。如果無法第一時間抓取,就會出現(xiàn)抓取超時問題。上面說過,這個抓取超時,大多都是因為帶寬不足,或者是網(wǎng)站頁面太大而引發(fā)的所以解決方法建議如下:
(1)、在不影響圖片質(zhì)量的情況下,對大的圖片進行壓縮哈;(2)、減少比如網(wǎng)站的JS腳本文件類型的使用,或者把一些JS進行合并;跟技術(shù)說清楚。(3)、整個網(wǎng)站頁面長度進行控制,尤其是你的網(wǎng)站首頁。很多人網(wǎng)站首頁做了十來屏,一般用戶最多下拉三到五屏。越長,整個加載就會越久。(4)、網(wǎng)頁的內(nèi)鏈數(shù)量,一般一個頁面互相之間的內(nèi)鏈數(shù)量建議不要超過500條哦,其實越多,蜘蛛都會去往下爬取,小網(wǎng)站基本沒這個問題。總之,百度抓取網(wǎng)站異常這個問題,建議建站時找成熟的程序建站,同時,找像阿里云這樣的大的服務(wù)商。不要總想著省錢,淘寶隨便幾百建個站,找個不知名服務(wù)商,其實這樣得不嘗失的。
這篇比較簡單,其實做SEO,官方的站長后臺功能一定要熟練使用。你不懂技術(shù)可以,但一定要知道原理。不然,出問題,你都不知道找誰。關(guān)于更多,可以看相關(guān)推薦文章。
白楊SEO,專注SEO研究十年,SEO實戰(zhàn)派。個人微信:baiyang2047 對互聯(lián)網(wǎng)精準引流有深入研究。前杰恩西運營總監(jiān)(COO),現(xiàn)自由職業(yè)。白楊SEO付費群199元/年。如需加好友,驗證:公眾號;如需進群,驗證:進群。如果想加入白楊SEO付費星球?qū)W習(xí)提問,回復(fù)關(guān)鍵詞“優(yōu)惠券”即可,數(shù)量有限!
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評論自律管理,為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍,我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
1)反對憲法所確定的基本原則;
2)危害國家安全,泄露國家秘密,顛覆國家政權(quán),破壞國家統(tǒng)一,損害國家榮譽和利益;
3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽;
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動;
5)煽動民族仇恨、民族歧視,破壞民族團結(jié);
6)破壞國家宗教政策,宣揚邪教和封建迷信;
7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序;
10)侮辱或者誹謗他人,侵害他人名譽、隱私和其他合法權(quán)益;
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式,對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡(luò)欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法規(guī)禁止的其他內(nèi)容;
2. 不友善:不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為:
1)輕蔑:貶低、輕視他人及其勞動成果;
2)誹謗:捏造、散布虛假事實,損害他人名譽;
3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述,以此來激怒他人;
4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應(yīng),蓄意制造事端;
5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
6)謾罵:以不文明的語言對他人進行負面評價;
7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
8)威脅:許諾以不良的后果來迫使他人服從自己的意志;
3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容,或進行相關(guān)行為。主要表現(xiàn)為:
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容;
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當曝光;
6)購買或出售帳號之間虛假地互動,發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷;
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息,主要表現(xiàn)為:
1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述;
2)涉及色情段子、兩性笑話的低俗內(nèi)容;
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
6)炒作緋聞、丑聞、劣跡等;
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息,主要表現(xiàn)為:
1)可能存在事實性錯誤或者造謠等內(nèi)容;
2)存在事實夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容;
3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信,主要表現(xiàn)為:
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治??;
2)求推薦算命看相大師;
3)針對具體風(fēng)水等問題進行求助或咨詢;
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運勢,東西寵物丟了能不能找回、取名改名等;
7. 文章標題黨,主要表現(xiàn)為:
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶;
2)內(nèi)容與標題之間存在嚴重不實或者原意扭曲;
3)使用夸張標題,內(nèi)容與標題嚴重不符的。
8.「飯圈」亂象行為,主要表現(xiàn)為:
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論,影響傳播秩序
9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的;
2)不當評述自然災(zāi)害、重大事故等災(zāi)難的;
3)美化、粉飾侵略戰(zhàn)爭行為的;
4)法律、行政法規(guī)禁止,或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴重程度,對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富,本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)