博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Scrapy爬虫入门
阅读量:6280 次
发布时间:2019-06-22

本文共 667 字,大约阅读时间需要 2 分钟。

1.安装Scrapy

  打开Anaconda Prompt,执行:pip install Scrapy执行安装!

  注意:要是安装过程中抛出:

  error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":

  (或者类似信息)的需要提前安装(根据自己的python版本安装,cp36是指匹配python3.6.x版本,amd64是指64位系统):

  

  下载网站:

  完成之后执行安装:

  

  安装成功后再执行:pip install Scrapy执行安装即可!

 

2.查看scrapy

  输入:scrapy,表示安装成功!

  

 

3.查看命令

  输入:help

  

  

 

4.创建Scrapy项目

   执行命令:scrapy startproject bky

  

  这表示创建成功!

  执行cd bky, dir命令查看详情:

  

 

5.创建spider

  查看spiders目录

  

  创建一个新的spider,执行命令:scrapy genspider bky_spider "www.cnblogs.cn"

  

  

 

6.执行spider,爬取网页数据

  修改bky_spider.py代码:

  

  

  执行命令:scrapy crawl bky_spider 

 

转载于:https://www.cnblogs.com/yszd/p/9973474.html

你可能感兴趣的文章
运维基础命令
查看>>
入门到进阶React
查看>>
SVN 命令笔记
查看>>
检验手机号码
查看>>
重叠(Overlapped)IO模型
查看>>
Git使用教程
查看>>
使用shell脚本自动监控后台进程,并能自动重启
查看>>
Flex&Bison手册
查看>>
solrCloud+tomcat+zookeeper集群配置
查看>>
/etc/fstab,/etc/mtab,和 /proc/mounts
查看>>
Apache kafka 简介
查看>>
socket通信Demo
查看>>
技术人员的焦虑
查看>>
js 判断整数
查看>>
建设网站应该考虑哪些因素
查看>>
mongodb $exists
查看>>
js实现页面跳转的几种方式
查看>>
sbt笔记一 hello-sbt
查看>>
常用链接
查看>>
pitfall override private method
查看>>