Python网络爬虫(1)--url访问及参数设置,python-

Python网络爬虫(1)--url访问及参数设置,python--url

环境:Python2.7.9 / Sublime Text 2 / Chrome

1.url访问,直接调用urllib库函数即可

import urllib2

url='http://www.baidu.com/'
response = urllib2.urlopen(url)
html=response.read()

print html

2.带参数的访问,以baidu搜索功能为例

使用Chrome浏览器访问效果,Chrome搜索引擎设置为baidu,地址栏中输入test,效果如下:

# coding=utf-8 import urllib import urllib2 #url地址 url='' #参数 values={ 'ie':'UTF-8', 'wd':'test' } #进行参数封装 data=urllib.urlencode(values) #组装完整url req=urllib2.Request(url,data) #访问完整url response = urllib2.urlopen(req) html=response.read() print html

运行代码,(Sublime Text 如果出现Decode error,需要将Python.sublime-build设置为"encoding": "utf-8")得到结果为

# coding=utf-8 import urllib import urllib2 #url地址 url='' #参数 values={ 'ie':'UTF-8', 'wd':'test' } #进行参数封装 data=urllib.urlencode(values) #组装完整url #req=urllib2.Request(url,data) url=url+'?'+data #访问完整url #response = urllib2.urlopen(req) response = urllib2.urlopen(url) html=response.read() print html

再次运行,获得结果为

# coding=utf-8 import urllib import urllib2 #url地址 #url='' url='' #参数 values={ 'ie':'UTF-8', 'wd':'test' } #进行参数封装 data=urllib.urlencode(values) #组装完整url #req=urllib2.Request(url,data) url=url+'?'+data #访问完整url #response = urllib2.urlopen(req) response = urllib2.urlopen(url) html=response.read() print html

再次运行,可实现正常访问

图片 1

环境:Python2.7.9 / Sublime Text 2 / Chrome 1.url访问,直接调用urllib库函数即可 import urllib2url =...

本文由js9905com金沙网站-金沙澳门手机版网址发布于计算机,转载请注明出处:Python网络爬虫(1)--url访问及参数设置,python-

您可能还会对下面的文章感兴趣: