2人贊同了該回答
? 爬蟲首先是有一定特征的,爬蟲大部分都會去爬pc端。爬蟲一般有以下特征:
單一IP十分規(guī)律的訪問頻次我們經(jīng)常會遇到的一個問題,當我們在某個網(wǎng)站上發(fā)帖時,會提示“發(fā)帖過快,請等候XX秒”,或者提示“刷新頻率過快,請歇一會”,這都是網(wǎng)站為了緩解壓力對“用戶”作出了一些限制,而爬蟲相關于用戶來說更猖獗,訪問的頻次更快,假如單一IP十分高的訪問頻次,那么將會被判為“爬蟲”,進而遭到限制。
單一IP十分規(guī)律的數(shù)據(jù)流量當單一IP的數(shù)據(jù)流量十分大時,也會惹起網(wǎng)站的留意。說到數(shù)據(jù)流量有些朋友就會有疑問了,下載站的數(shù)據(jù)流量大也是很正常的啊。這里說的數(shù)據(jù)流量不只是單一的下載數(shù)據(jù)流量,而是大量的并發(fā)懇求。高并發(fā)懇求很容易對效勞器形成高負荷,所以遭到限制也是很正常的。大量反復簡單的網(wǎng)站閱讀行為我們曉得,不同的用戶閱讀速度、習氣等都不相同,有的人閱讀一個頁面需求五秒,有的需求考慮一分鐘等等,當存在大量的用戶IP都是千篇一概的閱讀速度,比方3秒訪問一個頁面,那么這就十分可疑了,遭到封殺也是正常的,就算用了代理IP也防止不了。
發(fā)布于2023-05-09