網(wǎng)絡爬蟲,是一個自動提取網(wǎng)頁的程序,它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁,是搜索引擎的重要組成。但是當網(wǎng)絡爬蟲被濫用后,互聯(lián)網(wǎng)上就出現(xiàn)太多同質的東西,原創(chuàng)得不到保護。于是,很多網(wǎng)站開始反網(wǎng)絡爬蟲,想方設法保護自己的內容。
他們根據(jù)ip訪問頻率,瀏覽網(wǎng)頁速度,賬戶登錄,輸入驗證碼,flash封裝,ajax混淆,js加密,圖片,css混淆等五花八門的技術,來對反網(wǎng)絡爬蟲。
防的一方不惜工本,迫使抓的一方在考慮成本效益后放棄,抓的一方不惜工本,防的一方在考慮用戶流失后放棄,