中文转url编码(python url编码)

在请求网站的时候,往往会加入一些参数这些参数有可能是各种字符。例如:参数中输入中文字符,这个时候做url请求的时候需要转成%加上16进制的格式,今天我们就来解决爬虫中url字符转码的问题。

如果不转码会发生什么

请求百度搜索,关键词是"你好"

from urllib.request import Request, urlopen
url = "https://www.baidu.com/s?wd=你好"
headers = {"User-Agent": "Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0"}
request = Request(url, headers=headers)
response = urlopen(request)

运行程序,看到出错信息

request请求中进行url转码,结果意想不到,python爬虫(2)

编码出错,说明直接传入中文作为url参数是不行的。

quote 方式

引入url lib.parse 保重的 quote组件

from urllib.request import Request, urlopen
from urllib.parse import quote
url = "https://www.baidu.com/s?wd={}".format(quote("你好"))
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"}
request = Request(url, headers=headers)
response = urlopen(request)
print(response.read().decode())

运行返回结果了。说明quote转码成功了

request请求中进行url转码,结果意想不到,python爬虫(2)

urlencode 方式

这里引入urlencode组件,他的好处是可以对多个key value对进行定义。如果我们有多个参数需要进行url转码的就可以用urlencode的方式

from urllib.request import Request, urlopen
from urllib.parse import urlencode
parameters={"wd":"你好"}
url = "https://www.baidu.com/s?wd={}".format(urlencode(parameters))
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"}
request = Request(url, headers=headers)
response = urlopen(request)
print(response.read().decode())

也能够看到结果,真的很简单吧。

request请求中进行url转码,结果意想不到,python爬虫(2)

收工,喜欢就关注评论转发,886


本文链接:http://www.cdwelead.comhttp://www.cdwelead.com/gjxw/22499.html
上一篇:seo的定义和目的(seo的概念是什么)
下一篇:没有了

欢迎扫描关注我们的微信公众平台!

欢迎扫描关注我们的微信公众平台!