python 爬虫

python 爬虫相关内容

用 urllib 库爬html页面


  • urllib.request.urlencode(dict) 将字典转换为 key1=value1&key2=value2 的字符串
1
2
3
4
5
6
7
8
9
10
11
12
13
import urllib
import urllib.request
data={}
data['wd']='Nancelglap'
url_values=urllib.parse.urlencode(data)
url="http://www.baidu.com/s?"
full_url=url+url_values
data=urllib.request.urlopen(full_url).read()
data=data.decode('UTF-8')
print(data)