05实时新闻采集
天亮爬虫篇--初级篇
五大门户:新浪新闻,网易,腾讯,搜狐,凤凰
中国青年网是国内用户群体最广泛,体量最大,权威度最高,集新闻编撰,发布,传播为一体的新闻数据中心。
http://news.youth.cn/gn/
scrapy学习笔记01
scrapy学习
创建项目
scrapy startproject tutorial
该命令将会创建包含下列内容的 tutorial 目录:
scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.