抓图软件安卓下载(scrapy抓美图,so easy!)

scrapy是个啥?(详细内容可自行google)

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的python框架。

环境:centos7、python2.7

第一步:安装pip,下载get-pip.py(

https://bootstrap.pypa.io/get-pip.py),在命令行中输入下面命令即可:

# python get-pip.py

第二步:验证pip是否安装成功(看见下图即安装成功,忽略红色,哈哈)

# pip list

pip安装成功

第三步:安装scrapy(这个才是重点,没出现error就ok咯)

# pip install scrapy

scrapy安装成功

第四步:初始化pr【我爱线报网】52线报网-专注分享活动首码线报优惠券零投网赚项目oject

# scrapy startproject meitu

初始化一个scrapy项目名字是meitu

第五步:创建一个spider(在刚刚创建的project下面执行下面命令,meinv是爬虫的名字,随便起不要和project相同就好,www.mm131.com/xiaohua/是一个美图的网址)

# cd meitu

# scrapy genspider meinv www.mm131.com/xiaohua/

之后,在文件夹meitu/spider下面出现meinv.py文件,如下图,

接下来就是改造它了;

第六步:改造结果如下

第七步:运行以下命令,获得结果,图片位置在(meitu/pic)

#s【我爱线报网】52线报网-专注分享活动首码线报优惠券零投网赚项目crapy crawl meinv

分析:在第六步中出现的改造完的meinv.py文件,其中导入了scrapy(用它爬去图片链接)和urllib(用它下载链接美图)两个包,在MeinvSpider中:

name是这个spider的名字;

allowed_domains是允许爬去的域名(只会爬去这个域名下的链接);

start_urls是爬虫启动时第一次请求的链接;

parse函数中的response其实是请求start_urls完成后返回的结果,用xpath(不难,随便研究下可以写了)匹配出美图链接;

urllib.urlretrieve(url,./pic/+str(self.number)+.jpg)【我爱线报网】52线报网-专注分享活动首码线报优惠券零投网赚项目是把分析出来的美图下载下来,存到pic目录下面(需要自己创建下);

self.number+=1是为了避免每次下载的图片名字相同,导致图片被覆盖。

结语:scrapy还有不少功能,才开始学习,慢慢研究了!

声明: 本站所有内容仅供参考,分享出来是为了可以给大家提供新的思路。 本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。 互联网转载资源会有一些其他联系方式,请大家不要盲目相信,被骗本站概不负责! 本网站部分内容只做项目揭秘,无法一对一教学指导,每篇文章内都含项目全套的教程讲解,请仔细阅读。 本站分享的所有平台仅供展示,本站不对平台真实性负责,站长建议大家自己根据项目关键词自己选择平台。 因为文章发布时间和您阅读文章时间存在时间差,所以有些项目红利期可能已经过了,能不能赚钱需要自己判断。 本网站仅做资源分享,不做任何收益保障,创业公司上收费几百上千的项目我免费分享出来的,希望大家可以认真学习。 本站所有资料均来自互联网公开分享,并不代表本站立场,如不慎侵犯到您的版权利益,请联系本站删除,将及时处理! 站长联系方式微信:ddd204443
行业资讯

武汉樱花售后服务电话(双态IT武汉樱花论坛 | 定了!就在下个月)

2024-4-9 11:33:17

行业资讯

都是6缸发动机,l6和v6哪个更强一点(都是6缸发动机,L6和V6哪个更强?)

2024-4-9 11:54:04

给力项目,中创会员网会员可以下载 友情提醒:中创会员网微信公众号开通了, 这里没有广告,只有干货!定期分享你意想不到的网络思维! 干货教程!网赚论坛部分教程需要解压密码,所以请务必加微信公众号! 据说加了站长微信的,一个月都可以赚几万块!试试就知道哦 站长v:ddd204443
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索