跳转到内容

第 4 章 图片视频与数字人

来自《调研与决策》 · 原稿更新 2026-11-09 · 服务器只读阅读视图

4.1 PhotoSuite:先验证 CLI / MCP

当时看中 PSD/PSB 图层、命令行批处理和 MCP,可补“对已有图片做可控编辑”的缺口。尚未验证 PSD 往返质量、MCP 工具清单和许可,不能写成已接入。

4.2 视频 URL 到 transcript:复用核心链路,不一定要 Fork

图解:字幕优先,转写与总结分层

字幕优先,转写与总结分层(概念示意)

读图: 媒体层负责可信内容获取,上层 Agent 负责教学组织。登录墙、空结果或未转写的片段,应当诚实标记失败,而不是补造内容。

URL → 字幕/ASR → transcript 属于通用媒体基础设施;transcript → 教学笔记属于上层 Agent。

2026 年旧 PoC 曾测试视频转写项目,发现依赖、安装、抖音登录态和错误提示存在明显限制。后来选择复用既有 B 站工具、Groq/MLX 转写组件和需要授权的下载链路,而不是再维护一套 Fork。B 站解析可复用;Groq Whisper / MLX 是 ASR 候选,抖音 cookie 和 B 站字幕登录态是更实际的阻碍。

真正可复用的决策是“字幕优先,拿不到才 ASR;失败类型必须可诊断;工具能否下载受平台登录、许可和服务条款约束”。空结果和模型猜测不能算成功。一次单平台成功,不代表所有视频站都可匿名采集,更不意味着用户私有 Cookie 能随意交给代理。

仓库与实际工程证据:video-transcript-mcp 源码 · 个人基础设施里当时的跟进 Issue #200。仓库的“支持平台”描述不意味着未登录态的抖音等站点在本机都已成功获取。

来源:短视频转写:实测与落地方案。

**复用开源剪辑器不等于把整个桌面软件搬进 Media。**旧 AutoClip 方案包含自己的 GUI、模型、打包/更新逻辑,适合先按外部命令行/受控流程试用,看剪辑结果和错误返回是否可靠;只有多项目真正要共用时才抽公共接口,不能为了 monorepo 目录整齐直接 Fork 大型产品。

4.3 OpenMontage:完整视频编排与单镜头生成不同

它组织脚本、分镜、素材、生成、剪辑和合成。2026-10-10 仍倾向暂不整套引入,只借鉴流程 YAML、阶段技能、provider 打分和审批门禁。是否自建 ComfyUI 或使用聚合 API,等真实出片需求确定再选。

许可证义务须按实际商业使用、修改分发等方式核实,不凭一条 AGPL 标签给绝对结论。

4.4 yoinks:借交互,不重复造下载引擎

yoinks 本质上改善 yt-dlp / ffmpeg 的人工使用体验。已有命令行能力时,更值得借“贴链接 → 选格式 → 下载或转写”这条交互,而非再加一套数据源。

4.5 实时数字人视频对话:先分清“实时会话”和“视频流”

异步生成完整视频、边生成边播放、持续双向会话是三种能力。7 月的 Demo 记录不足以判定哪家“最强”;Higgs Avatar 官方已在 2026-10-23 公布实时会话,旧的“只能异步”判断不能继续使用。真实对话需比较 Higgs 实时会话、Tavus CVI 和 HeyGen LiveAvatar 的中文、打断、端到端延迟与实际账单;本轮只核对文档,未做新 API 实测。

4.6 提示词模板先摘要选型,真实数据图用代码生成(待学习)

我想把收藏做成“技能简介→模板摘要→选中全文”,摘要能辨差异,全文保留构图、材质、文字和参考图要求。完整模板、灵感短句与旧积分界面规则分开,固定示例改变量。科研示意可试生图,曲线、误差和统计标注由数据与代码生成。

合集关注度、作者论文成绩、完整来源样例与当前工具实测各是证据,不能把别人结果记成我这套有效。许可要逐项查,根许可证或 README 不一定覆盖提示词图片;本轮只检查结构、引用和发现,真实出图与跨模板效果仍待验证。

来源与当时边界

原始记录 2026-10-30

详细条件与线索:《生图模板的选择与复用边界》。