很多人学习Python进阶可能都写过几个爬虫，但是最终做爬虫的人却比较少，是什么原因导致的呢？是爬虫真的没“技术含量”，还是随着反爬的不断提升，做爬虫的代价越来越高难以维持成本？

　　网上的确有很多Python教程，因为只考虑爬虫逻辑的话，爬虫逻辑很简单，无非就是构造请求、发送请求、解析响应、获得数据，可能几行代码就搞定了，因为简单，而且获得的数据又很好展示，所以网上才会有很多简单的爬虫教程，即使教了，也只是教怎么用Python模拟请求和搜索DOM，最多只能算是真正做爬虫的基础问题。实际上做爬虫，关键问题永远不是怎么去模拟请求这件事。

基础性爬虫

　　基础爬虫很简单，普通的开发都能通过很短的时间学习并胜任简单的爬虫任务，前后端数据分析工程师，时不时都能写点爬虫；对于复杂爬虫而言，如何进行进行大规模数据的爬取和存储或者如何绕过复杂的认证，都不是轻易就可以搞定的，需要熟悉分布式的架构和使用、网络底层协议、各类网站前后端架构及数据加密方式，甚至要有网络安全攻防的功底，大规模数据爬虫的技术难度是成倍增加的，网上的基础教程哪里会教这些？

如何反向解析数据

　　一个强大的爬虫，涉及到很多学科的知识，是一门很大的学问。要懂得HTTP协议，知道哪个协议可以帮助节省带宽和时间；要了解数据库知识，不然怎么优化、存储数据？数据库分布式总要懂一点，不然爬虫怎么协作呢？要学习算法，基本的调度算法、爬虫调度需要了解；要学习JavaScript，数据是怎么处理的，如何反向解析这些数据等等。

　　在业务上，爬虫的需求虽不少，但专职做爬虫的却不多，对一般公司来讲，无论从哪个方向来看，数据的爬取都不是工作重点，如果不是完全靠数据驱动的公司，对于数据的需求并没那么大，也并不需要专人专岗来写爬虫。只会用Python模拟请求，这样的岗位说难听点叫做伪岗位，就算是靠着写爬虫吃饭，大体上也吃的不太好，最好的出路其实是开课教别人做爬虫。

爬虫的本质是下载数据。

　　但重要的是数据本身，而不是如何去下载数据，真正的、专业的爬虫，是泡在搜索引擎的数据中心里，直接读缓存的。