python爬虫框架中有哪些模块
创始人
2024-11-19 03:20:39
0次

1、Python标准库——urllib模块

功能:打开URL和http协议之类

实例代码:

#coding:utf-8
import urllib.request
import time
import platform
#清屏函数(无关紧要 可以不写)
def clear():
 print(u"内容过多 3秒后清屏")
 time.sleep(3)
 OS = platform.system()
 if (OS == u'Windows'):
 os.system('cls')
 else:
 os.system('clear')
#访问函数
def linkbaidu():
 url = ''
 try:
 response = urllib.request.urlopen(url,timeout=3)
 except urllib.URLError:
 print(u'网络地址错误')
 exit()
 with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:
 response = urllib.request.urlopen(url,timeout=3)
 fp.write(response.read())
 print(u'获取url信息,response.geturl()\n:%s'%response.getrul())
 print(u'获取返回代码,response.getcode()\n:%s' % response.getcode())
 print(u'获取返回信息,response.info()\n:%s' % response.info())
 print(u"获取的网页信息经存与baidu.txt")
if __name__ =='main':
 linkbaidu()

2、Python标准库–logging模块

logging模块能够代替print函数的功能,将标准输出到日志文件保存起来,利用loggin模块可以部分替代debug

3、re模块

正则表达式

4、sys模块

系统相关模块

实际应用:

sys.argv(返回一个列表,包含所有的命令行)

sys.exit(退出程序)

5、Scrapy框架

相关内容

热门资讯

空调连续工作多久需要停机休息 空调连续工作的时间取决于多个因素,包括空调的型号、功率、使用环境和维护情况等。一般来说,空调可以连续...
空调哪个符号是除湿的 空调除湿功能通常用一个水滴形状的符号表示。不同品牌和型号的空调遥控器可能会有所差异,但一般来说,除湿...
格力空调多长时间加一次氟利昂 1、一般情况下,空调对氟利昂的使用量是非常小的,所以在空调使用了四年左右的时候再考虑加也没问题。2、...
空调用多长时间需要加氟一次 一般情况下是五年。当出现以下这几种情况时,空调才需要加氟。1、空调的室内机和室外机各有两个接口,当接...
格调生活·C标思享荟:卡萨帝在... 9月12日的郑州龙湖金融岛,夜风轻拂,灯光璀璨。“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑...
品牌价值破千亿、高端份额持续领... 9月12日,“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑州站”在郑州龙湖金融岛举办。2026...
空调主板坏了修800还是换新的 空调主板坏了是修还是换新,需要考虑多个因素,以下是一些建议:1. 维修成本:如果维修费用较低,比如 ...
空调开多久需要休息多长时间 问题:空调开多久需要休息多长时间回答:1、在使用空调的过程中,一般空调开7~8个小时左右需要休息2~...
中央空调多长时间清洗一次 1、一般空调开机前清洗一次即可,空调开机中间时段再清洗一次,空调关机时清洗一次,这样比较合理。2、空...
中央空调氟利昂多久加一次 看空调制热和制冷程度,很多人的观点认为氟利昂必须一年放一次,其实这个观点是错误的,理解上面有点偏差,...