• 新手興趣愛好者或者是應(yīng)屆畢業(yè)生
新手興趣愛好者、應(yīng)屆畢業(yè)生的爬蟲通常簡單粗暴，根本不管服務(wù)器壓力，加上人數(shù)不可預(yù)測，很容易把站點弄掛。
• 創(chuàng)業(yè)小公司
現(xiàn)在的創(chuàng)業(yè)公司越來越多，覺得大數(shù)據(jù)比較熱，就開始做大數(shù)據(jù)。發(fā)現(xiàn)自己手頭沒有數(shù)據(jù)。怎么辦?只能通過寫爬蟲獲取更多的數(shù)據(jù)。于是就有了不計其數(shù)的小爬蟲，出于公司生死存亡的考慮，不斷爬取數(shù)據(jù)維持公司的生計。
• 失控小爬蟲
有些網(wǎng)站已經(jīng)做了相應(yīng)的反爬，但是爬蟲依然孜孜不倦地爬取。雖然他們根本爬不到任何數(shù)據(jù)，或者一切數(shù)據(jù)都是不對的，可是爬蟲依然不停止。???這個很可能就是一些托管在某些服務(wù)器上的小爬蟲，已經(jīng)無人認領(lǐng)了，依然在辛勤地工作著。
• 成型的商業(yè)對手
這個是最大的對手，他們有技術(shù)，有錢，要什么有什么，如果和你死磕，你就只能硬著頭皮和他死磕。否則法律手段解決。
• 抽風(fēng)的搜索引擎
大家不要以為搜索引擎都是好人，他們也有抽風(fēng)的時候，而且一抽風(fēng)就會導(dǎo)致服務(wù)器性能下降，請求量跟網(wǎng)絡(luò)攻擊沒什么區(qū)別。
京公網(wǎng)安備 11010802030320號