關注問題
2人贊同了該回答
? 爬蟲首先是有一定特征的，爬蟲大部分都會去爬pc端。爬蟲一般有以下特征：
單一IP十分規(guī)律的訪問頻次我們經(jīng)常會遇到的一個問題，當我們在某個網(wǎng)站上發(fā)帖時，會提示“發(fā)帖過快，請等候XX秒”，或者提示“刷新頻率過快，請歇一會”，這都是網(wǎng)站為了緩解壓力對“用戶”作出了一些限制，而爬蟲相關于用戶來說更猖獗，訪問的頻次更快，假如單一IP十分高的訪問頻次，那么將會被判為“爬蟲”，進而遭到限制。
單一IP十分規(guī)律的數(shù)據(jù)流量當單一IP的數(shù)據(jù)流量十分大時，也會惹起網(wǎng)站的留意。說到數(shù)據(jù)流量有些朋友就會有疑問了，下載站的數(shù)據(jù)流量大也是很正常的啊。這里說的數(shù)據(jù)流量不只是單一的下載數(shù)據(jù)流量，而是大量的并發(fā)懇求。高并發(fā)懇求很容易對效勞器形成高負荷，所以遭到限制也是很正常的。大量反復簡單的網(wǎng)站閱讀行為我們曉得，不同的用戶閱讀速度、習氣等都不相同，有的人閱讀一個頁面需求五秒，有的需求考慮一分鐘等等，當存在大量的用戶IP都是千篇一概的閱讀速度，比方3秒訪問一個頁面，那么這就十分可疑了，遭到封殺也是正常的，就算用了代理IP也防止不了。
發(fā)布于2023-05-09
