为什么 Scrapy 需要高质量代理
工具解决工作流,IP 决定平台信不信。
突破反爬墙
轮换住宅 IP 让 Scrapy 的请求看起来就是自然访客,绕过频控与验证码。
195+ 国家的本地数据
价格、排名、库存因地区而异 —— 从数据集需要的那个国家出口。
规模化不被封
72M+ IP 池意味着每个请求都有新地址。没有网段连坐,没有被烧掉的机房段。
如何在 Scrapy 中配置 EProxies
几分钟从零到代理跑通。
- 1
凭据不进代码
把 EProxies 用户名与密码放进 settings.py 或环境变量,不要硬编码在爬虫里。
- 2
按请求设置代理
任意 Request 将 meta.proxy 设为 http://USER:[email protected]:23333 即可 —— 轮换由我们侧自动完成。
- 3
或全局注入
写一个简单的 downloader middleware,为每个请求设置 request.meta['proxy'],所有爬虫共用一份配置。
- 4
验证出口 IP
对 ipinfo.io 跑一个爬虫,确认请求在住宅 IP 间轮换。加 _country-us 形式后缀可做指定地区抓取。
# 凭据格式(host:port:username:password)
proxy.eproxies.net:23333:USERNAME:PASSWORD
# 带国家定位
proxy.eproxies.net:23333:USERNAME_country-us:PASSWORD
