脚本专栏 发布日期：2024/10/22 浏览次数：1
随着大数据时代的到来，数据将如同煤电气油一样，成为我们最重要的能源之一，然而这种能源是可以源源不断产生、可再生的。而Python爬虫作为获取数据的关键一环，在大数据时代有着极为重要的作用。于是许多同学就前来咨询：Python爬虫好学吗"color: #ff0000">内容扩展：
一个简单的爬虫实例：
import urllib,urllib2
import re
def geturllist():
# 不访问网站，而是实例一个对象，为了模拟浏览器访问服务器
req = urllib2.Request("http://www.budejie.com/video/")
# 添加申请访问的header，让对方服务器误以为是浏览器申请访问（参数是通过浏览器复制过来的）
req.add_header('User-Agent',' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')
# 打开我刚才创建的实例对象
res =urllib2.urlopen(req)
html = res.read()
print html # 访问到了资源代码
# 定义一个正则化表达式为了获取我要的视频网址
reg = r'data-mp4="(.*">'
# 将网页源码中的视频网址找出来
urllist = re.findall(reg,html)
# print urllist
# 有20个视频网址，用for循环一个一个下载出来
n = 1
for url in urllist:
# url 视频网址，'%s.mp4'下载后的名字，url.split('/')[-1] 将字符串按照‘/'分开
urllib.urlretrieve(url,'%s.mp4' %url.split('/')[-1]) # 下载视频
n = n+1
geturllist()