Python 爬虫之GRequests异步模块

Python 爬虫之GRequests异步模块

运行环境:

系统: win10
Python版本: Python 3.6.6

GRequests是异步非阻塞的异步请求第三方包,使用了协程gevent,GRequests封装了gevent的requests模块。

安装:

 pip install grequests

简单使用

# -*- coding: utf-8 -*-
# @Time    : 2019/6/13 10:02
# @Author  : 甄超锋
# @Email   : 4535@sohu.com
# @File    : test.py
# @Software: PyCharm
import grequests
urls = [
    'http://www.heroku.com',
    'http://python-tablib.org',
    'http://httpbin.org',
    'http://python-requests.org',
    'http://fakedomain/',
    'http://kennethreitz.com'
]
time1 = time.time()
exception_url = []  # 异常url存储列表
rs = (grequests.get(u) for u in urls)  # 异步url请求
# 异常捕获方法
def exception_handler(request, exception):
    print(request.url)
    exception_url.append(exception_url)
    print(exception)
print(rs)
# 此处map的requests参数是装有实例化请求对象的列表,其返回值也是列表, size参数可以控制并发的数量, 不设置为 最大并发数,并发数也不能太大,怕你的机器抗不下来,最大控制到1000吧
res_list = grequests.map(rs, size=1, exception_handler=exception_handler)
print(res_list)
# 查看返回值的属性值,我们关注的一般就是text json links  url headers 等
res_text_list = [ret.text for ret in res_list if ret and ret.status_code == 200]
for res_text in res_text_list:
    print(res_text)
time2 = time.time()
T = time2 - time1
print(u'use_grequests发起5个请求花费了{}秒'.format(T))

本次GRequests异步请求包就介绍到这里,喜欢请收藏,点赞,关注,谢谢

温馨提示:本文最后更新于2022-12-31 15:54:03,某些文章具有时效性,若有错误或已失效,请在下方留言或联系Yave
------本页内容已结束,喜欢请分享------

感谢您的来访,获取更多精彩文章请收藏本站。

原发站点
Yave520-开发者社区
隐私政策
privacy-policy
用户协议
agreement
许可协议
NC-SA 4.0
© 版权声明
THE END
喜欢就支持一下吧
点赞5 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

夸夸
夸夸
还有吗!没看够!
取消
昵称常用语表情代码图片

    暂无评论内容