爬取豆瓣的tp250电影名单-创新互联
# https://movie.douban.com/top250?start=25&filter= 要爬取的网页
import re
from urllib.request import urlopen
def getPage(url):
response=urlopen(url)
return response.read().decode('utf-8')
def parsePage(s):
ret=com.finditer(s)
for i in ret:
ret={
'id': i.group('id'),
'move_name':i.group('move_name'),
'move_d':i.group( 'move_d'),
'move_t':i.group('move_t'),
'content': i.group('content'),
'infor':i.group('infor')
}
yield ret
def main(num):
url='https://movie.douban.com/top250?start=%s&filter= ' %num
res=getPage(url)
ret=parsePage(res)
print(ret)
f=open('move',mode='a+',encoding='utf-8')
for obj in ret:
print(obj)
data1=str(obj).replace('\\n','')
data2=data1.replace(' ','')
f.write(data2 + '\n')
f.close()
com=re.compile('(?:.*?)(?P.*?) (?:.*?)alt=(?P.*?)src(?:.*?)导演:'
'(?P.*?) (?:.*?)
(?P.*?) (?:.*?) / (?P.*?)(?:.*?)(?P.*?) ',re.S)
count=0
for i in range(10):
main(count)
count+=25另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
成都创新互联是专业的崇左网站建设公司,崇左接单;提供成都网站设计、网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行崇左网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
网页标题:爬取豆瓣的tp250电影名单-创新互联
当前网址:http://abwzjs.com/article/ccojpe.html