pyspider框架
一、pyspider框架介绍
1.简介
pyspider 是个强大的由python实现的爬虫系统。
- 纯python的
- 强大的webui，支持脚本编辑，任务监控，项目管理和结果查看
- 数据后台支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy
- 消息队列支持，RabbitMQ，Beanstalk，Redis以及Kombu
- 支持任务优先级，定时，失败重试等调度方案
- 分布式架构，抓取js页面
- 支持Python2和3
官方文档
运行流程
运行流程1
运行流程2
