在大多是人的眼中，python只是用来做网络爬虫的。其实python有它的强大之处，今天我们来扒一扒python为什么这么火，它到底都能干啥?

　　python语言是干什么的

　　1、云计算 PYTHON语言算是云计算最火的语言， 典型应用OpenStack。

　　2、WEB前端开发 python相比php\ruby的模块化设计，非常便于功能扩展;多年来形成了大量优秀的web开发框架，并且在不断迭代;如目前优秀的全栈的django、框架flask，都继承了python简单、明确的风格，开发效率高、易维护，与自动化运维结合性好。python已经成为自动化运维平台领域的事实标准;众多大型网站均为Python开发，Youtube, Dropbox, 豆瓣。

　　3、人工智能应用 基于大数据分析和深度学习而发展出来的人工智能本质上已经无法离开python的支持，目前世界优秀的人工智能学习框架如Google的TransorFlow 、FaceBook的PyTorch以及开源社区的神经网络库Karas等是用python实现的。甚至微软的CNTK(认知工具包)也完全支持Python，而且微软的Vscode都已经把Python作为第一级语言进行支持。

　　4、系统运维工程项目 Python在与操作系统结合以及管理中非常密切，目前所有linux发行版中都带有python，且对于linux中相关的管理功能都有大量的模块可以使用，例如目前主流的自动化配置管理工具：SaltStackAnsible(目前是RedHat的)。目前在几乎所有互联网公司，自动化运维的标配就是python+Django/flask，另外，在虚拟化管理方面已经是事实标准的openstack就是python实现的，所以Python是所有运维人员的必备技能

　　5、金融理财分析 量化交易，金融分析，在金融工程领域，Python语言不但在用，且用的最多，而且重要性逐年提高。原因：作为动态语言的Python，语言结构清晰简单，库丰富，成熟稳定，科学计算和统计分析都很牛逼，生产效率远远高于c,c++,java,尤其擅长策略回测。

　　6、大数据分析 Python语言相对于其它解释性语言最大的特点是其庞大而活跃的科学计算生态，在数据分析、交互、可视化方面有相当完善和优秀的库(python数据分析栈：Numpy Pandas ScipyMatplotlipIpython)，并且还形成了自己独特的面向科学计算的Python发行版Anaconda，而且这几年一直在快速进化和完善，对传统的数据分析语言如R MATLAB SAS Stata形成了非常强的替代性。

　　Python爬虫可以做的事情很多，如搜索引擎、采集数据、广告过滤等，Python爬虫还可以用于数据分析，在数据的抓取方面可以作用巨大!

　　Python爬虫架构组成

　　1. URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器;

　　2. 网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器;

　　3. 网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。

　　Python爬虫工作原理

　　Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，并通过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表通过调度器传递给应用程序，并输出价值信息的过程。

　　Python爬虫常用框架有：

　　grab：网络爬虫框架(基于pycurl/multicur);

　　scrapy：网络爬虫框架(基于twisted)，不支持Python3;

　　pyspider：一个强大的爬虫系统;

　　cola：一个分布式爬虫框架;

　　portia：基于Scrapy的可视化爬虫;

　　restkit：Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象;

　　demiurge：基于PyQuery的爬虫微框架。

　　Python爬虫应用领域广泛，在网络爬虫领域处于霸主位置，Scrapy、Request、BeautifuSoap、urlib等框架的应用，可以实现爬行自如的功能，只要您数据抓取想法，Python爬虫均可实现!