AIGC Pipeline
多模态 AI 内容生产流水线(AIGC Pipeline)底层平台
- 基础设施层
- 调度编排层
- 智能决策层
- 业务生产层
基础设施层
核心关键词: ComfyUI, Seedance/Wan/可灵/即梦 API, 算力成本优化, TypeScript/Python, Node.js
- 说明:这是整个平台的地基。你需要对接各种底层的多模态生成大模型(文生图/图生视频/TTS)。这些模型有的可以通过API调用(如Seedance、可灵),有的需要本地部署(如ComfyUI)。同时需要极强的工程能力(TS/Python)来封装这些API,并进行算力成本优化,控制GPU等硬件的开销。
第二层:执行与状态层
核心关键词: Harness(插件体系), Cordis/Koishi, Temporal/Argo/Airflow, 断点续跑, 权限闸门, 审计日志
- 说明:当底层模型封装好后,你需要一个“控制中心”来调度它们。
Harness充当了代理外壳,通过Cordis/Koishi插件体系将任务实例化。对于长耗时、复杂的生成任务(如电影级分镜),必须引入Temporal或Argo这类工作流引擎,负责状态机管理。这一层要解决工程实际问题:任务执行到一半崩溃了要能断点续跑(Temporal擅长此道),并设置权限闸门(谁有权限调用昂贵的视频模型)和审计日志(记录每次操作)。
第三层:智能决策与编排层
核心关键词: Planner 任务拆解, DAG, Tool Registry 注册与调度, ReAct, Plan-Execute, Multi-Agent, Function Calling, RAG, JSON Schema
- 说明:这是整个平台最核心的智能层(大脑)。大模型(LLM)在这里扮演管理者:
- Planner(计划者) 拿到一个简单需求(如“制作一个30秒科技感宣传片”),利用
Function Calling和RAG(检索历史经验/规范),拆解成复杂的 DAG(依赖图),并输出标准的JSON Schema。 - Tool Registry(工具库) 将所有底层API包装成可调用的工具,供大脑随时取用。
- ReAct / Plan-Execute 是大脑思考的两种基本范式。多Agent协作时(Multi-Agent),可能会有“分镜导演Agent”、“配音Agent”、“剪辑Agent”相互沟通。
- Planner(计划者) 拿到一个简单需求(如“制作一个30秒科技感宣传片”),利用