如何设计一个复杂的分布式爬虫系统？

查看数: 776 | 评论数: 0 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2016-10-4 07:32

　　一个复杂的分布式爬虫系统由很多的模块组成，每个模块是一个独立的服务(SOA架构)，所有的服务都注册到Zookeeper来统一管理和便于线上扩展。模块之间通过thrift(或是protobuf，或是soup，或是json，等)协议来交互 ...

GMT+8, 2024-12-23 05:55 , Processed in 0.140520 second(s), 23 queries .

X+ Open Developer Network (xodn.com)

		自动登录	找回密码
密码			立即注册

回复