1 | | 任务队列 - Celery - 分布式任务队列框架,支持异步任务处理 | 公开 | | |
---|
2 | | 任务队列 - RQ - 基于Redis的轻量级任务队列库 | 公开 | | |
---|
3 | | 任务队列 - Huey - 简单易用,支持多后端存储的任务队列 | 公开 | | |
---|
4 | | 任务队列 - Dramatiq - 高性能异步任务处理库,兼容Redis/RabbitMQ | 公开 | | |
---|
5 | | 任务队列 - TaskTiger - 基于Redis的任务队列,支持定时任务 | 公开 | | |
---|
6 | | 调度器 - APScheduler - 轻量级定时任务调度库,支持多种触发器 | 公开 | | |
---|
7 | | 调度器 - schedule - 人性化API设计的时间任务调度工具 | 公开 | | |
---|
8 | | 调度器 - Prefect - 现代工作流调度框架,支持任务编排 | 公开 | | |
---|
9 | | 调度器 - Airflow - 复杂工作流调度平台,可视化任务依赖 | 公开 | | |
---|
10 | | 分布式 - Dask - 并行计算库,支持分布式任务调度 | 公开 | | |
---|
11 | | 分布式 - PySpark - Spark的Python接口,大数据任务调度 | 公开 | | |
---|
12 | | 分布式 - Dask-Distributed - Dask的分布式任务调度扩展 | 公开 | | |
---|
13 | | 分布式 - Pulsar - 事件驱动框架,支持分布式Actor模型 | 公开 | | |
---|
14 | | 消息队列 - RabbitMQ - AMQP协议消息中间件,支撑任务队列 | 公开 | | |
---|
15 | | 消息队列 - Kafka-Python - Apache Kafka的Python客户端库 | 公开 | | |
---|
16 | | 消息队列 - Redis - 内存数据库,常用作任务队列后端 | 公开 | | |
---|
17 | | 消息队列 - ZeroMQ - 高性能异步消息传输库 | 公开 | | |
---|
18 | | 云服务 - AWS Lambda - 无服务器计算服务,事件驱动任务 | 公开 | | |
---|
19 | | 云服务 - Google Cloud Tasks - 云端全托管任务队列服务 | 公开 | | |
---|
20 | | 云服务 - Azure Functions - 微软云无服务器任务处理平台 | 公开 | | |
---|
21 | | 监控 - Flower - Celery任务实时监控和管理Web界面 | 公开 | | |
---|
22 | | 监控 - Celery Monitor - 轻量级Celery任务监控工具 | 公开 | | |
---|
23 | | 监控 - Prometheus - 系统监控和任务指标采集框架 | 公开 | | |
---|
24 | | 监控 - Grafana - 可视化监控平台,支持任务数据展示 | 公开 | | |
---|
25 | | 测试 - pytest-celery - Celery任务的pytest插件及测试工具 | 公开 | | |
---|
26 | | 测试 - fakeredis - 模拟Redis服务,用于任务队列测试 | 公开 | | |
---|
27 | | 测试 - mocket - 模拟网络请求,测试异步任务依赖 | 公开 | | |
---|
28 | | 工作流 - Luigi - 批量任务依赖管理框架,支持管道 | 公开 | | |
---|
29 | | 工作流 - Apache Airflow - 编程式工作流编排与调度平台 | 公开 | | |
---|
30 | | 工作流 - Prefect - 新一代数据工作流编排引擎 | 公开 | | |
---|
31 | | 工作流 - Dagster - 数据应用开发框架,强调任务资产 | 公开 | | |
---|
32 | | 重试 - tenacity - 通用任务重试库,多种策略组合 | 公开 | | |
---|
33 | | 重试 - backoff - 函数装饰器实现任务指数退避重试 | 公开 | | |
---|
34 | | 重试 - retrying - 简单易用的任务重试装饰器库 | 公开 | | |
---|
35 | | 并发 - concurrent.futures - 线程/进程池实现并行任务执行 | 公开 | | |
---|
36 | | 并发 - gevent - 协程库,通过greenlet实现高并发 | 公开 | | |
---|
37 | | 并发 - eventlet - 网络库,协程支持高并发任务处理 | 公开 | | |
---|
38 | | 序列化 - pickle - Python对象序列化,用于任务参数传递 | 公开 | | |
---|
39 | | 序列化 - msgpack - 高效二进制序列化,加速任务通信 | 公开 | | |
---|
40 | | 序列化 - JSON - 通用数据格式,跨平台任务数据交换 | 公开 | | |
---|
41 | | 日志 - structlog - 结构化日志记录,辅助任务追踪 | 公开 | | |
---|
42 | | 日志 - loguru - 简化日志配置,增强任务调试体验 | 公开 | | |
---|
43 | | 依赖管理 - Poetry - 项目管理工具,控制任务环境依赖 | 公开 | | |
---|
44 | | 依赖管理 - Pipenv - 虚拟环境与依赖管理工具 | 公开 | | |
---|
45 | | 部署 - Docker - 容器化打包任务执行环境 | 公开 | | |
---|
46 | | 部署 - Kubernetes - 容器编排,分布式任务集群管理 | 公开 | | |
---|
47 | | 部署 - Supervisor - 进程监控工具,保障任务稳定运行 | 公开 | | |
---|
48 | | 自动化 - Invoke - 本地和远程任务自动化执行工具 | 公开 | | |
---|
49 | | 自动化 - Fabric - SSH任务自动化部署库 | 公开 | | |
---|
50 | | 调试 - pdb - Python调试器,任务断点排查 | 公开 | | |
---|
51 | | 调试 - ipdb - 增强交互式调试工具,支持异步任务 | 公开 | | |
---|
52 | | 网络 - Twisted - 事件驱动网络引擎,支持异步协议 | 公开 | | |
---|
53 | | 网络 - aioftp - 异步FTP客户端,文件传输任务支持 | 公开 | | |
---|
54 | | 存储 - MinIO - 对象存储服务,文件任务处理支持 | 公开 | | |
---|
55 | | 性能 - uvloop - 替代asyncio事件循环,提升异步性能 | 公开 | | |
---|
56 | | 性能 - Cython - 静态编译加速任务密集型代码 | 公开 | | |
---|
57 | | 模板 - Mako - 高性能模板库,任务文本快速生成 | 公开 | | |
---|
58 | | 安全 - cryptography - 加密任务数据传输与存储 | 公开 | | |
---|
59 | | 安全 - pyOpenSSL - SSL/TLS工具库,安全通信保障 | 公开 | | |
---|
60 | | 测试数据 - Faker - 生成仿真测试数据,用于任务模拟 | 公开 | | |
---|
61 | | 测试数据 - FactoryBoy - 创建测试模型实例,辅助任务 | 公开 | | |
---|
62 | | 错误追踪 - Sentry - 实时错误监控,捕捉任务异常 | 公开 | | |
---|
63 | | 错误追踪 - Rollbar - 云端错误跟踪服务,任务异常上报 | 公开 | | |
---|
64 | | 地理任务 - GeoDjango - 处理地理空间数据任务 | 公开 | | |
---|
65 | | 数学任务 - SciPy - 科学计算工具集,复杂任务处理 | 公开 | | |
---|
66 | | 数据管道 - Bonobo - 轻量级数据ETL任务处理库 | 公开 | | |
---|
67 | | 数据管道 - Mara - 数据集成管道框架,支持复杂流程 | 公开 | | |
---|
68 | | 图像处理 - Pillow - 图像操作库,批量图片处理任务 | 公开 | | |
---|
69 | | 图像处理 - OpenCV - 计算机视觉任务处理库 | 公开 | | |
---|
70 | | 音频处理 - pydub - 音频文件处理任务简化库 | 公开 | | |
---|
71 | | 视频处理 - moviepy - 视频剪辑自动化任务库 | 公开 | | |
---|
72 | | 爬虫 - Celery-Scrapy - 整合Celery的分布式爬虫方案 | 公开 | | |
---|
73 | | 浏览器自动化 - Playwright - 现代浏览器自动化任务工具 | 公开 | | |
---|
74 | | 邮件 - django-celery-email - 异步发送邮件的集成方案 | 公开 | | |
---|
75 | | 邮件 - aiosmtplib - 异步SMTP客户端,邮件任务处理 | 公开 | | |
---|
76 | | 缓存 - django-cacheops - Django ORM缓存,加速任务 | 公开 | | |
---|
77 | | 缓存 - aiocache - 异步缓存库,支持多种后端存储 | 公开 | | |
---|
78 | | 通知 - pushbullet.py - 推送通知服务,任务结果提醒 | 公开 | | |
---|
79 | | 通知 - slack-sdk - Slack消息集成,任务状态同步 | 公开 | | |
---|
80 | | 时间处理 - pendulum - 更易用的时间处理库,任务调度 | 公开 | | |
---|
81 | | 时间处理 - arrow - 日期时间库,简化任务时间操作 | 公开 | | |
---|
82 | | CLI工具 - Click - 命令行工具开发,任务脚本构建 | 公开 | | |
---|
83 | | CLI工具 - Typer - 基于类型提示的CLI任务库 | 公开 | | |
---|
84 | | 配置管理 - python-dotenv - 环境变量管理,任务配置分离 | 公开 | | |
---|
85 | | 配置管理 - Dynaconf - 多环境配置管理,任务灵活部署 | 公开 | | |
---|
86 | | 代码质量 - flake8 - 代码规范检查,保障任务代码质量 | 公开 | | |
---|
87 | | 代码质量 - Black - 自动化代码格式化,统一任务代码风格 | 公开 | | |
---|
88 | | 文档生成 - Sphinx - 项目文档生成,任务使用说明维护 | 公开 | | |
---|
89 | | 文档生成 - MkDocs - 静态站点生成,任务文档展示 | 公开 | | |
---|