Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程
admin
2023-07-14 01:43:23
0

这几天,很多朋友在群里问Scrapy安装的问题,其实问题方面都差不多,今天小编给大家整理一下Scrapy的安装教程,希望日后其他的小伙伴在安装的时候不再六神无主,具体的教程如下。

Scrapy是Python网络爬虫的一个框架,十分好用,深得大家的青睐,其工作原理,在在此就不赘述了。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


1、正常我们在Python库的时候,只需要利用cmd命令打开命令行窗口,然后输入pip install 库,就可以正常安装了,但是在安装Scrapy的时候,输入pip install scrapy之后往往会碰到下图的问题。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


2、这个问题的出现,是因为我们缺乏libxml2安装包。现在只要我们安装这个包之后,就可以顺利安装scrapy了。给大家安利一个福利,介绍给大家一个非常实用的Python包网站,这个网站很神奇,里边的Python包专门用于Windows下的安装的,如下图所示。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


3、之后在该网站上查找lxml,也可以输入Ctrl+f进行查找,找到之后如下图所示。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


4、点击“lxml”,找到lxml安装包,如下图所示。找到对应自己Python版本的lxml安装包,小编的电脑是64位的,而且Python版本是Python3.4,所以找到下图红色框框的安装包,点击即可进行下载。同理,其他的Python3.5、Python3.6、Python3.7的安装包根据自己的情况一一对应即可。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


5、然后去下载的目录,将lxml进行安装即可,输入安装命令pip install lxml-4.2.1-cp34-cp34m-win_amd64.whl即可。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


6、lxml-4.2.1-cp34-cp34m-win_amd64.whl环境安装完成之后,再重新输入pip install scrapy即可顺利安装了,不会再报错了,如下图所示。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


7、输入pip list可以查看已经安装的scrapy包,如下图所示。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


8、之后我们就可以正常使用scrapy了,可以创建scrapy项目等等。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


9、还有一些小伙伴遇到的问题是这个:

raise distutils.errors.DistutilsPlatformError(err)

distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": Download the Visual C++ Build Tools (standalone C++ compiler, libraries and tools)

----------------------------------------

Command "python setup.py egg_info" failed with error code 1


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


这个是因为本机缺乏visual C++的安装环境,此时只需要进入landinghub.visualstudio.com这个网站,下载对应电脑版本的visual C++环境,进行安装之后即可解决问题。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


这个安装包比较大,等scrapy安装好之后再删除即可。

10、还有的小伙伴可能会遇到下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”,表示该平台不支持这个安装包,如下图所示。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


之前的lxml安装包不是直接安装就成功了吗?为何这个安装包会出现这个问题呢?此时,首先需要检查该安装包的Python版本和电脑位数是否和本机都对应上,如果确认没有问题,再继续往下看。

在这里小编给大家介绍一个小技巧,专门用来应对这样的问题的。进入到所下载的安装包,这里以Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包为例,进入到下载目录下,一般下载之后将其放到虚拟环境的site-packages文件夹下面,尔后将后缀.whl更改为.zip,将后缀.whl更改为.zip,将后缀.whl更改为.zip,重要的事情说三遍,有木有觉得很熟悉?对,它就是个压缩文件,现在将压缩包里边的内容全部解压到当前文件夹,如下图所示。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


之后在虚拟环境下输入pip list命令查看安装包,可以看到Twisted安装包已经在里边了,如下图所示。第一个pip list命令的时候尚未解压Twisted安装包,此时并没有Twisted库;第二个pip list命令是在Twisted安装包解压之后执行的,可以看到Twisted库已经在里边了。


Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程


Twisted库安装好之后,再安装其他的库,如Scrapy、Pandas等就如鱼得水了。

这里列出了几个Scrapy安装过程中常见的问题及其解决方法,希望对大家日后安装Scrapy的时候有所帮助,可能每个人的平台和环境都不太一样,肯定会碰到其他的安装问题,欢迎大家一起学习交流~~


相关内容

热门资讯

问题居然在实体卡槽上!美版iP... 6月2日消息,日前,又有博主提前把还没发布的iPhone 18 Pro电池参数给曝光了出来,根据爆料...
2026年618手机购机攻略:... 每年618都是手机换新的最佳窗口期,2026年大促叠加数码国补、平台满减、品牌降价三重福利,新机老机...
8.99万打穿底价!史无前例的... 科技的浪漫,不是将人类送入遥不可及的星辰,而是把曾经高不可攀的科幻,变成柴米油盐里的“论斤卖”。 如...
苹果首款折叠屏iPhone U... PChome 6月2日消息,据知名数码博主@i冰宇宙最新曝光的机模谍照,苹果首款折叠屏手机(内部命名...
特朗普:美伊暂停谈判?假新闻! 当地时间6月2日,美国总统特朗普否认伊朗已停止与调解方沟通,称美国与伊朗之间的对话一直在持续进行。特...
白宫记协晚宴改期至7月,特朗普... 当地时间6月2日,美国总统特朗普表示,此前因突发暴力事件而中断的白宫记协晚宴已确定改期至7月24日举...
特朗普,开掉“不听话的情报头子... 苦撑15个月后,美国国家情报总监加巴德即将离开白宫。她对辞职的解释是:丈夫近期确诊罕见骨癌,自己希望...
面粉染头模仿黄仁勋,农村青年走... “先赔偿5000元肖像侵权使用费,再删除所有视频,要么就起诉你。”这是黄仁勋的模仿者杨洋最近频繁收到...
驻马店非遗“大集”开张 把网络... 顶端新闻记者 王丹/文 李思翰 胡楚昊/图红纸剪出“抵制网络谣言”,糖画写下“不信谣不传谣”……5月...
A股三大指数集体收涨 贵金属涨...   A股三大指数集体收涨 贵金属涨幅居前  【A股三大指数集体收涨 贵金属涨幅居前】6月2日,A股三...