python爬取网站数据，如何绕过反爬虫策略
admin
2023-07-19 03:42:16
0次

1、使用session对象

session = requests.session()
strhtml = session.get(url) #与当前网站的首次会话

2、设置headers

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                         "Chrome/69.0.3497.100 Safari/537.36",
           "Accept": "application/json"}
session.headers = headers

3、设置cookies

设置与网站首次会话时的cookies为默认的cookies

cookies = session.cookies
session.headers.setdefault('cookies', cookies)

此后，可以复用之前会话中的cookies了

strhtml2 = session.get(url2)


上一篇：Python全栈开发之Django基础

下一篇：关于微乐湖北麻将辅助器，科普心悦海南麻将内置辅助器

相关内容

热门资讯

伊朗确认伊美达成谅解备忘录 据伊朗媒体15日报道，伊朗外交部副部长加里巴巴迪确认伊美谅解备忘录文本已最终确定，“伊斯兰堡备忘录”...
巴基斯坦总理：美伊已达成和平协... 当地时间15日，巴基斯坦总理夏巴兹·谢里夫称，经过密集谈判，美国与伊朗已达成和平协议。双方宣布立即永...
特朗普与泽连斯基通电话 乌克兰总统泽连斯基当地时间6月14日称，他与美国总统特朗普当天通了电话，就俄乌冲突问题进行了“长时间...
伊朗最高领袖顾问警告将打击以色... 当地时间6月14日深夜，伊朗最高领袖政治顾问韦拉亚提在社交媒体发文表示，“零时已至，发射装置正就位待...
伊朗外交部谴责以色列袭击贝鲁特... 当地时间14日晚，伊朗外交部发表声明，强烈谴责以色列当天下午对贝鲁特达希耶一处住宅区实施的军事行动，...
伊朗总统：伊朗最高国家安全委员... 新华社德黑兰6月14日电 据伊朗伊斯兰共和国广播电视台14日晚报道，伊朗总统佩泽希齐扬表示，伊朗最高...
伊朗西部地区机场航班暂停 据伊朗方面当地时间14日消息，伊朗西部地区的机场航班已暂停，直至另行通知。据称，此决定是基于当前情况...
伊朗总统称维护国家团结是优先事... 新华社德黑兰6月14日电 据伊朗塔斯尼姆通讯社14日报道，伊朗总统佩泽希齐扬在与国内媒体负责人举行的...
日本拟将航空自卫队改编为航空宇... 新华社东京6月14日电 （记者李子越 刘洁秋）据《日本经济新闻》14日报道，日本政府计划于2026年...
推动终身学习蔚然成风 为广东发... □杨帅 终身学习既是时代发展的必然要求，也是广东奋进前行的有力支撑。当前，我们正处在一个知识爆炸、变...