微信登录

任务队列 - 异步任务调度与管理

图标标题权限标签图片
1任务队列 - Celery - 分布式任务队列框架,支持异步任务处理 公开
2任务队列 - RQ - 基于Redis的轻量级任务队列库 公开
3任务队列 - Huey - 简单易用,支持多后端存储的任务队列 公开
4任务队列 - Dramatiq - 高性能异步任务处理库,兼容Redis/RabbitMQ 公开
5任务队列 - TaskTiger - 基于Redis的任务队列,支持定时任务 公开
6调度器 - APScheduler - 轻量级定时任务调度库,支持多种触发器 公开
7调度器 - schedule - 人性化API设计的时间任务调度工具 公开
8调度器 - Prefect - 现代工作流调度框架,支持任务编排 公开
9调度器 - Airflow - 复杂工作流调度平台,可视化任务依赖 公开
10分布式 - Dask - 并行计算库,支持分布式任务调度 公开
11分布式 - PySpark - Spark的Python接口,大数据任务调度 公开
12分布式 - Dask-Distributed - Dask的分布式任务调度扩展 公开
13分布式 - Pulsar - 事件驱动框架,支持分布式Actor模型 公开
14消息队列 - RabbitMQ - AMQP协议消息中间件,支撑任务队列 公开
15消息队列 - Kafka-Python - Apache Kafka的Python客户端库 公开
16消息队列 - Redis - 内存数据库,常用作任务队列后端 公开
17消息队列 - ZeroMQ - 高性能异步消息传输库 公开
18云服务 - AWS Lambda - 无服务器计算服务,事件驱动任务 公开
19云服务 - Google Cloud Tasks - 云端全托管任务队列服务 公开
20云服务 - Azure Functions - 微软云无服务器任务处理平台 公开
21监控 - Flower - Celery任务实时监控和管理Web界面 公开
22监控 - Celery Monitor - 轻量级Celery任务监控工具 公开
23监控 - Prometheus - 系统监控和任务指标采集框架 公开
24监控 - Grafana - 可视化监控平台,支持任务数据展示 公开
25测试 - pytest-celery - Celery任务的pytest插件及测试工具 公开
26测试 - fakeredis - 模拟Redis服务,用于任务队列测试 公开
27测试 - mocket - 模拟网络请求,测试异步任务依赖 公开
28工作流 - Luigi - 批量任务依赖管理框架,支持管道 公开
29工作流 - Apache Airflow - 编程式工作流编排与调度平台 公开
30工作流 - Prefect - 新一代数据工作流编排引擎 公开
31工作流 - Dagster - 数据应用开发框架,强调任务资产 公开
32重试 - tenacity - 通用任务重试库,多种策略组合 公开
33重试 - backoff - 函数装饰器实现任务指数退避重试 公开
34重试 - retrying - 简单易用的任务重试装饰器库 公开
35并发 - concurrent.futures - 线程/进程池实现并行任务执行 公开
36并发 - gevent - 协程库,通过greenlet实现高并发 公开
37并发 - eventlet - 网络库,协程支持高并发任务处理 公开
38序列化 - pickle - Python对象序列化,用于任务参数传递 公开
39序列化 - msgpack - 高效二进制序列化,加速任务通信 公开
40序列化 - JSON - 通用数据格式,跨平台任务数据交换 公开
41日志 - structlog - 结构化日志记录,辅助任务追踪 公开
42日志 - loguru - 简化日志配置,增强任务调试体验 公开
43依赖管理 - Poetry - 项目管理工具,控制任务环境依赖 公开
44依赖管理 - Pipenv - 虚拟环境与依赖管理工具 公开
45部署 - Docker - 容器化打包任务执行环境 公开
46部署 - Kubernetes - 容器编排,分布式任务集群管理 公开
47部署 - Supervisor - 进程监控工具,保障任务稳定运行 公开
48自动化 - Invoke - 本地和远程任务自动化执行工具 公开
49自动化 - Fabric - SSH任务自动化部署库 公开
50调试 - pdb - Python调试器,任务断点排查 公开
51调试 - ipdb - 增强交互式调试工具,支持异步任务 公开
52网络 - Twisted - 事件驱动网络引擎,支持异步协议 公开
53网络 - aioftp - 异步FTP客户端,文件传输任务支持 公开
54存储 - MinIO - 对象存储服务,文件任务处理支持 公开
55性能 - uvloop - 替代asyncio事件循环,提升异步性能 公开
56性能 - Cython - 静态编译加速任务密集型代码 公开
57模板 - Mako - 高性能模板库,任务文本快速生成 公开
58安全 - cryptography - 加密任务数据传输与存储 公开
59安全 - pyOpenSSL - SSL/TLS工具库,安全通信保障 公开
60测试数据 - Faker - 生成仿真测试数据,用于任务模拟 公开
61测试数据 - FactoryBoy - 创建测试模型实例,辅助任务 公开
62错误追踪 - Sentry - 实时错误监控,捕捉任务异常 公开
63错误追踪 - Rollbar - 云端错误跟踪服务,任务异常上报 公开
64地理任务 - GeoDjango - 处理地理空间数据任务 公开
65数学任务 - SciPy - 科学计算工具集,复杂任务处理 公开
66数据管道 - Bonobo - 轻量级数据ETL任务处理库 公开
67数据管道 - Mara - 数据集成管道框架,支持复杂流程 公开
68图像处理 - Pillow - 图像操作库,批量图片处理任务 公开
69图像处理 - OpenCV - 计算机视觉任务处理库 公开
70音频处理 - pydub - 音频文件处理任务简化库 公开
71视频处理 - moviepy - 视频剪辑自动化任务库 公开
72爬虫 - Celery-Scrapy - 整合Celery的分布式爬虫方案 公开
73浏览器自动化 - Playwright - 现代浏览器自动化任务工具 公开
74邮件 - django-celery-email - 异步发送邮件的集成方案 公开
75邮件 - aiosmtplib - 异步SMTP客户端,邮件任务处理 公开
76缓存 - django-cacheops - Django ORM缓存,加速任务 公开
77缓存 - aiocache - 异步缓存库,支持多种后端存储 公开
78通知 - pushbullet.py - 推送通知服务,任务结果提醒 公开
79通知 - slack-sdk - Slack消息集成,任务状态同步 公开
80时间处理 - pendulum - 更易用的时间处理库,任务调度 公开
81时间处理 - arrow - 日期时间库,简化任务时间操作 公开
82CLI工具 - Click - 命令行工具开发,任务脚本构建 公开
83CLI工具 - Typer - 基于类型提示的CLI任务库 公开
84配置管理 - python-dotenv - 环境变量管理,任务配置分离 公开
85配置管理 - Dynaconf - 多环境配置管理,任务灵活部署 公开
86代码质量 - flake8 - 代码规范检查,保障任务代码质量 公开
87代码质量 - Black - 自动化代码格式化,统一任务代码风格 公开
88文档生成 - Sphinx - 项目文档生成,任务使用说明维护 公开
89文档生成 - MkDocs - 静态站点生成,任务文档展示公开