Dùng proxy dân cư với Scrapy
Định tuyến spider Scrapy qua 72M+ IP dân cư xoay vòng chỉ với một dòng mã.
Vì sao Scrapy cần proxy chất lượng
Công cụ lo quy trình — IP quyết định nền tảng có tin hay không.
Vượt tường chống bot
IP dân cư xoay vòng khiến yêu cầu của Scrapy trông như khách truy cập tự nhiên, vượt qua giới hạn tần suất và captcha.
Dữ liệu bản địa từ 195+ quốc gia
Giá, thứ hạng, tồn kho khác nhau theo khu vực — đi ra từ đúng quốc gia mà bộ dữ liệu cần.
Mở rộng không bị cấm
72M+ IP nghĩa là địa chỉ mới cho mọi yêu cầu. Không cấm theo dải mạng, không dải datacenter bị đốt.
Cách cấu hình EProxies trong Scrapy
Từ con số 0 đến proxy chạy được trong vài phút.
- 1
Không để thông tin đăng nhập trong mã
Lưu tên người dùng và mật khẩu EProxies trong settings.py hoặc biến môi trường thay vì mã hóa cứng trong spider.
- 2
Đặt proxy theo từng yêu cầu
Trong bất kỳ Request nào, đặt meta.proxy thành http://USER:[email protected]:23333 — việc xoay vòng diễn ra tự động phía chúng tôi.
- 3
Hoặc tiêm toàn cục
Thêm một downloader middleware nhỏ đặt request.meta['proxy'] cho mọi yêu cầu, để tất cả spider dùng chung một cấu hình.
- 4
Xác minh IP đầu ra
Chạy spider tới ipinfo.io để xác nhận yêu cầu xoay vòng qua IP dân cư. Thêm hậu tố dạng _country-us để thu thập theo khu vực.
Sản phẩm khuyên dùng cho Scrapy
Proxy dân cư xoay vòng là lựa chọn mặc định cho thu thập dữ liệu.
Câu hỏi thường gặp về proxy và Scrapy
Sẵn sàng chạy Scrapy trên IP sạch?
Tạo tài khoản miễn phí và kết nối Scrapy trong vài phút. Không cần thẻ tín dụng.