問題已解決
在反爬蟲技術(shù)中,識別并標(biāo)記爬蟲后,以下哪種方法不能對爬蟲進(jìn)行阻止和反制? A. 靜態(tài)調(diào)整頁面結(jié)構(gòu) B.封禁IP的訪問權(quán)限 C.使用頁面異步加載增加采集難度 D. 使用驗證碼增加采集難度



您好,選A,
動態(tài)頁面的反爬蟲
大多都是出現(xiàn)在靜態(tài)頁面,還有一部分網(wǎng)站,我們需要爬取的數(shù)據(jù)是通過ajax請求得到,或者通過JavaScript生成的。首先用Fiddler對網(wǎng)絡(luò)請求進(jìn)行分析。如果能夠找到ajax請求,也能分析出具體的參數(shù)和響應(yīng)的具體含義,我們就能采用上面的方法,直接利用requests或者urllib2模擬ajax請求,對響應(yīng)的json進(jìn)行分析得到需要的數(shù)據(jù)。
2023 10/10 04:40
