搜集一些有关画布编辑创作的agent项目并分别讲讲思路

搜了官方文档和公开仓库，挑了 5 个。这里把“画布”分成两类：一种编辑的是形状、文字、连线；另一种承载图片、视频和创作过程。两者看起来都是无限画布，但 Agent 的实现思路差别很大。 以下能力以项目文档为准，不代表我已经部署实测；“值得借鉴”是我的分析。 一、tldraw Agent Starter Kit：让 Agent 真正理解并操作画布 例如，你先画几个服务模块，再说“在网关和订单服务之间加一个鉴权节点，重新对齐，别动数据库”，它要修改现有对象，而不是重新生成一张图。 官方模板支持形状增删改、手绘，以及对齐、分布、旋转、缩放等批量操作；Agent 还能移动自己的视野、维护待办、安排后续检查。 核心思路是“截图＋结构化对象”双重理解。 截图告诉模型哪里拥挤、整体布局怎样；对象数据告诉模型哪个形状是什么、ID 是多少、文字和坐标是什么。模型再通过明确的画布操作修改对象，而不是模拟鼠标乱点。 它的上下文分层尤其值得看：关注对象提供详细属性，视野内对象提供简化信息，视野外对象按空间簇提供概要。这样不用每一步都把整张无限画布塞给模型。 值得借鉴：把“Agent 能看见什么”和“Agent 能做什么”拆开设计，并给动作增加校验，防止删除不存在的对象，或执行基于过期画布状态生成的指令。 这是这批里最适合研究画布 Agent 底层实现的。 https://tldraw.dev/starter-kits/agent https://github.com/tldraw/agent-template 二、Jaaz：把画布变成多模态创作的输入界面 例如，把人物参考图放到画布上，画几个分镜框，用箭头标注人物应该出现的位置，再让 Agent 生成一组场景图。 Jaaz 的公开仓库介绍了无限画布、视觉分镜、图像和视频生成，以及通过聊天插入对象、迁移风格等能力；支持接入本地 ComfyUI 和云端模型，也提供 Ollama 相关的本地／混合部署方式。 它的思路不是要求用户把所有意图写成提示词，而是让草图、参考素材、排列和箭头一起表达创作意图。画布既是输入，也是中间结果的工作台。 从产品设计上看，Agent 负责把“这些素材之间的关系”翻译成生成任务，画布负责保留参考图、候选结果和分镜上下文。 值得借鉴：视觉操作本身就是提示。用户把某个人物拖进一个场景框，往往比输入一大段文字更直接。 注意，本地运行界面不等于所有数据都不出设备；选择云端模型时，仍会向相应服务发送请求和必要素材。 https://github.com/11cafe/jaaz 三、Lovart：从“生成一张图”转向“持续修改设计稿” 例如，海报整体已经满意，只想把瓶子左移、换背景、保留产品标签。真正的问题不是再生成一次，而是怎样不破坏已经满意的部分。 Lovart 的官方文档把相关能力分成两种：Touch Edit 是选中区域后描述局部修改；Edit Elements 是把设计按语义拆成可单独编辑的元素，再修改主体、背景或道具。 它的产品思路是：先得到合适的基础构图，再分离需要独立操作的部分，执行局部修改，最后检查边缘、光照、阴影和主体一致性。 值得借鉴：Agent 的工具不能只有“生成图片”。还应该能表达“保留什么、修改什么、只修改哪个区域”。否则用户每次提小改动，系统都在重新抽卡。 需要区分，语义拆分不是完美恢复原始 PSD 图层。官方也明确提到毛发、透明物体、阴影等局限，不能当成精确图层编辑的无条件替代品。这里讲的是公开产品机制，不是其内部实现。 https://www.lovart.ai/blog/edit-elements-layered-editing-ai-deep-dive 四、Draw.io MCP Server：给成熟编辑器接上 Agent 的手脚 例如，让 Claude Code 读取当前架构图，再说“把直连数据库改为经过缓存，保留原有分组，再增加一页故障处理流程”。 这里推荐的是社区项目 lgazo/drawio-mcp-server，别和官方 jgraph 的同名方向项目混淆。 它提供读取、创建、修改和删除图形的 MCP 工具，还支持连线、图层、页面、分组及多文档定位。可以使用其内置浏览器编辑器，也可以通过浏览器扩展连接现有 Draw.io。 思路很直接：不重做编辑器，也不必自建完整聊天助手，而是把成熟编辑器的操作能力包装成工具，交给现有 Agent 调用。 比较有价值的工程细节是明确指定目标文档和页面，以及对同一文档的实时操作做 FIFO 串行化。这能减少多标签页、多 Agent 场景下改错文件或操作交错的问题，但不意味着彻底解决所有协作冲突。 值得借鉴：如果已有编辑器，优先考虑补“读取状态＋精确修改”的接口，而不是另外搭一套画布。 https://github.com/lgazo/drawio-mcp-server 五、Open AI Design Agent：把创作需求拆成一套交付物 例如，“为咖啡品牌制作 Logo、海报、社交媒体配图和竖屏视频”，不是调用一个模型一次完成，而是先拆任务，再按素材依赖逐步生成。 README 描述的思路是：规划交付物清单，按任务选择模型，按依赖顺序执行，把品牌配色和参考图向后传递，最后组织输出。还描述了节点式 Workflow Studio，用来串接可重复执行的创作流程。 它与 tldraw 的区别是：tldraw 重点解决“如何编辑画布里的对象”，这个项目重点解决“如何协调多个生成步骤，做出一套素材”。画布更接近创作流程与资产的组织界面。 值得借鉴：先生成品牌基准素材，后面的海报和视频引用它，而不是每个任务各自从零生成。保持一致性的关键，是显式传递共同约束和中间结果。 不过这个项目要谨慎看：README 前面宣传可自托管、完整 Agent 能力，后面的 Quick Start 又写着 Studio 代码仍在添加，目前仓库主要承载设计和路线图。公开说明存在不一致，因此更适合当方案参考，不能直接按成熟开源成品推荐。“开源免费”也不代表模型 API 免费。 https://github.com/Anil-matcha/Open-AI-Design-Agent 这几个项目最核心的区别是： tldraw：让 Agent 看懂并精确修改对象。 Jaaz：让用户用素材、草图和空间关系表达意图。 Lovart：让生成结果可以被局部修改，而不是反复重画。 Draw.io MCP：让现有 Agent 接管成熟编辑器的操作。 Open AI Design Agent：让多种素材生成围绕同一个创作目标组织起来。 如果你关注的是“编辑”而不只是“生成”，最值得深入的就是 tldraw 的对象级操作，以及 Lovart 的局部修改思路：前者处理原生结构化对象，后者尝试把扁平图片重新变成可操作的元素。