EProxies logo易代理
Scrapy logo

在 Scrapy 中使用住宅代理

一行代码让 Scrapy 爬虫走 72M+ 轮换住宅 IP。

HTTPHTTPSSOCKS5195+ 国家

为什么 Scrapy 需要高质量代理

工具解决工作流,IP 决定平台信不信。

突破反爬墙

轮换住宅 IP 让 Scrapy 的请求看起来就是自然访客,绕过频控与验证码。

195+ 国家的本地数据

价格、排名、库存因地区而异 —— 从数据集需要的那个国家出口。

规模化不被封

72M+ IP 池意味着每个请求都有新地址。没有网段连坐,没有被烧掉的机房段。

如何在 Scrapy 中配置 EProxies

几分钟从零到代理跑通。

  1. 1

    凭据不进代码

    把 EProxies 用户名与密码放进 settings.py 或环境变量,不要硬编码在爬虫里。

  2. 2

    按请求设置代理

    任意 Request 将 meta.proxy 设为 http://USER:[email protected]:23333 即可 —— 轮换由我们侧自动完成。

  3. 3

    或全局注入

    写一个简单的 downloader middleware,为每个请求设置 request.meta['proxy'],所有爬虫共用一份配置。

  4. 4

    验证出口 IP

    对 ipinfo.io 跑一个爬虫,确认请求在住宅 IP 间轮换。加 _country-us 形式后缀可做指定地区抓取。

# 凭据格式(host:port:username:password)
proxy.eproxies.net:23333:USERNAME:PASSWORD
# 带国家定位
proxy.eproxies.net:23333:USERNAME_country-us:PASSWORD

Scrapy 推荐产品

采集类业务默认选轮换住宅代理。

Scrapy 代理常见问题

准备好让 Scrapy 跑在干净 IP 上了吗?

注册免费账号,几分钟接通 Scrapy。无需信用卡。