為什麼 Scrapy 需要高品質代理
工具解決工作流,IP 決定平台信不信。
突破反爬牆
輪換住宅 IP 讓 Scrapy 的請求看起來就是自然訪客,繞過頻控與驗證碼。
195+ 國家的本地資料
價格、排名、庫存因地區而異 —— 從資料集需要的那個國家出口。
規模化不被封
72M+ IP 池意味著每個請求都有新位址。沒有網段連坐,沒有被燒掉的機房段。
如何在 Scrapy 中設定 EProxies
幾分鐘從零到代理跑通。
- 1
憑證不進程式碼
把 EProxies 使用者名稱與密碼放進 settings.py 或環境變數,不要硬編碼在爬蟲裡。
- 2
按請求設定代理
任意 Request 將 meta.proxy 設為 http://USER:[email protected]:23333 即可 —— 輪換由我們側自動完成。
- 3
或全域注入
寫一個簡單的 downloader middleware,為每個請求設定 request.meta['proxy'],所有爬蟲共用一份設定。
- 4
驗證出口 IP
對 ipinfo.io 跑一個爬蟲,確認請求在住宅 IP 間輪換。加 _country-us 形式字尾可做指定地區抓取。
# 憑證格式(host:port:username:password)
proxy.eproxies.net:23333:USERNAME:PASSWORD
# 帶國家定位
proxy.eproxies.net:23333:USERNAME_country-us:PASSWORD
