网站需要cookies才能正常返回，但是该网站的cookies过期很快，我总不能用浏览器开发者工具获取cookies，然后让程序跑一会儿，每隔几分钟再手动获取cookies，再让程序继续跑吧。如果反复这样工作，那么写爬虫也就没意义了。便开始对cookies进行分析。

 从浏览器的开发者工具获取到的cookies大约有10个字段，经过反复测试，能让网站正常返回的只需要两个字段，分别为__jsluid_h=011a522dbxxxxxxxxc1ce59d336e5e60和__jsl_clearance=1581880640.794|0|trTB4c6b%2BZpvxxxxxxxx8YqCOOo%3D （中间打码处理）。

 经过测试，如果请求的时候不自己构造cookies，默认会返回__jsluid_h ：

先尝试了将那段js脚本保存下来，包装成一个html文件打开，发现浏览器不停的刷新，也并没起什么作用。那就分析一下js脚本，原来的代码是单行的，自己整理一下并加了一些变量名和log，大概是这么个样子：

将第16行的变量cmd打印出来看看，发现是另一段类似的脚本：

可以看到第二段脚本已经开始设置cookies的__jsl_clearence 字段了。这些显然就是混淆后的js脚本，但是分析到这里也就大概弄明白了从发送请求到网站返回是怎么回事。之所以在本地跑这段代码会不断刷新，是因为第二行的setTimeout会让其在1.5秒后重新请求，但是我们本地没有服务处理请求让其停止，所以会不断的刷新。

而第一段脚本当中，变量y是完整的js代码 ，代码中的变量名和关键字被进行编码了，变量x存储的是用来替换的变量名和关键字，后面是解码函数。所以现在的问题变成了获取第一段脚本当中的cmd代码，执行后再获取第二段代码的document.cookie的内容即可。

可是对于python和js的交互我完全没接触过，尝试了PyExecJS和Js2Py，都没办法正常执行第一段脚本。无奈之下，我用python复现了第一段脚本，然后用Js2Py获取了cookie。在请求一次过后，构造cookies，再请求一次，就可以了：

def test():
    url = REQUEST_URL
    # url = 'https://www.baidu.com'
    request_header = get_header()
    html = requests.get(url, headers=request_header)
    print(html)
    jscode = html.text
    # print(jscode)
    # tryjs.get_cookies()为复现的js代码，以及用Js2Py获取cookies的代码
    request_cookies = try_js.get_cookies(jscode)
    request_cookies += ';__jsluid_h=' + html.cookies['__jsluid_h']
    request_header['Cookie'] = request_cookies
    print(request_header)
    html = requests.get(url, headers=request_header, timeout=5)
    print('new connection')
    print(html)
    print(html.text)