结论先行
值得拿一条自己关心的视频试一次,不值得现在就押注进工作流。 理由有三:
- 思路对:不是把抽帧丢给多模态模型「盲猜」,而是先用可测量的信号取证(帧率指纹、传感器噪声、光流、元数据),再让视觉模型补语义,冲突处明确标出来让人看。
- 成熟度低:建仓 10 天,版本 0.1.0,66 次提交里 60 次来自作者一人;精度数字全部是作者自评,且有一部分评测集是看过之后才写的规则。
- 定位清楚:它只负责「拆」和「出复刻方案」,不负责「做」。想一键仿制,要配 capsule-cinema,或改用 Hypit。
它是什么
rea-video 是一个 Python CLI 加一份给 Claude Code / Codex 读的 SKILL.md。你把视频文件交给 agent,它会:
- 切镜头,分离人声 / 配乐 / 音效;
- 对每个镜头判断底层画面是怎么来的(11 类,见下);
- 把字幕、花字、贴纸、画中画作为叠加层单独列出,字幕可导出 SRT / ASS;
- 判断声音来源,估 BPM 和调性;
- 给出复刻方案:哪些要自己拍、哪些交给视频模型、哪些写代码(Remotion)。
产物是 report.html(人读)、breakdown.json(结构化,仓库称 Video IR)、分镜总览图和每镜首尾帧(首尾帧同时是复刻时的输入)。
采样(2026-11-08 UTC):3,737 星、531 fork、Apache-2.0,建仓于 2026-10-29。
原理:确定性取证 + 视觉模型 + 规则融合
核心思想是分工:能测量的问题交给算法,需要「看懂」的交给视觉模型,两边的证据按可信度加权融合。
它到底测什么
| 要回答的问题 | 方法 | 项目自评可靠度 |
|---|---|---|
| 哪里切镜 | HSV 直方图距离 + 像素差分,局部自适应阈值;专门处理跳剪、推近切、交叉溶解(中间帧是否为两端帧的线性混合,光流排除推拉),闪光不算切点 | 高 |
| 画面动没动 | 逐像素完全重复帧比例 | 高 |
| 是不是一张图在推拉 | LK 光流 + RANSAC 拟合相似变换,内点率高、残差小即整图刚体运动 | 高 |
| 渲染还是拍摄 | 平坦 8×8 块比例、覆盖 95% 像素所需颜色数、直边比例、Immerkær 噪声估计 | 高(区分渲染与照片) |
| 原始帧率 | 重复帧规律:生成模型多输出 24/25fps,转 30fps 会出现约 20% 重复帧、周期 4–6;手机常拍 60fps | 中高 |
| 实拍 / AI / 3D | 传感器噪声、手持抖动、帧率指纹,加视觉模型看破绽(手指、文字、物理) | 仅算法为中,加视觉模型为高 |
| 元数据 | 设备型号、GB 45438 的 AIGC 隐式标识、C2PA、编辑器签名 | 出现时很强,常被平台清除 |
| 字幕与包装 | 每秒 2 帧 OCR 跟踪,再用每秒 10 帧灰度帧把起止对齐到约 0.1 秒 | 字幕可信;贴纸召回约一半 |
| 声音 | HPSS 分离谐波 / 打击;UVR MDX-Net 分离人声与配乐;起音自相关估 BPM,Krumhansl 轮廓估调性 | 中 |
融合规则:这是最值得读的部分
docs/decompose.md 写明了融合公式:最终概率 ∝ 确定性概率^(0.6×可信度权重) × 视觉模型概率。要点:
- 权重不对称:静帧 1.6、静图推拉 1.4、代码渲染 1.0,而实拍 / AI / 3D 只有 0.6。含义是「时间性问题算法说了算,实拍 vs AI 这类语义问题主要靠视觉模型」。
- 两条硬约束:画面冻结的镜头不能判为任何「视频生成」类;整图刚体推拉的镜头不能判为实拍或数字人。
- 视觉模型权重 0.7,不是 1.0。原因记录在
eval/RESULTS.md:第一次接真实 Gemini 后,它把卡通 3D 风格的 AI 视频判成 3D 渲染、把画进画面的游戏界面判成录屏,置信度 0.9–1.0,压过了帧率证据,个别片子准确率从 1.0 掉到 0.13。降权后才稳住。 - 分歧上报:算法与视觉模型一方判实拍、另一方判非实拍,且没人复核过,就标「有分歧」进必看列表。注释里的理由很直白:视觉模型会编出看不见的证据(原片里「挂钟数字乱码」)。
- 弱证据封顶:帧率只能证明「素材源是 24fps」。判成 AI、又没有 AIGC 标识、看图一方认为是实拍时,标「AI 还是 24p 相机实拍待确认」,置信度封顶 0.7。
能做到什么
| 视频类型 | 能拿到的结果 |
|---|---|
| 实拍(口播、桌拍、带货、vlog) | 景别、机位、运镜、12 种布光方案及器材清单、调色风格、剪辑节奏是否卡点 |
| AI 视频 | 证据、每镜反推的提示词、如何合并成最少的生成次数、该选哪个模型 |
| 3D / 动画 | 该用视频模型生成,还是用 3D 代码渲染 |
| 代码 / 模板(文字动效、UI、图表) | 文字、版式、动效时间轴,可据此重建 Remotion 工程 |
| 录屏 | 哪些是必须自己录的真实素材 |
| 混合片 | 每镜单独判断,再按原时间线拼回 |
仓库自带 6 个公开案例,可以不装直接读报告:混合片、3D 科普、70 秒产品宣传片(83% 代码动效,不需要视频模型)、165 秒 AI 音乐 MV(正确识别出歌是 Suno 生成)、72 秒实拍开箱(转码后工具误判 35% 为 AI,经 agent 看图复核后 97% 实拍)、AI 与真人混合带货片(靠即梦水印和礼盒乱码抓出 AI 段)。
Issue #8 里作者还公开拆了一条网友提交的抖音带货混剪:38 镜,前 23 秒的「白猫店员」是 AI(图生视频加对口型),其余 75% 时长为真人实拍。这是目前能看到的最接近「真实用户案例」的材料。
做不到什么
按严重程度排序,来源标注在括号里。
- 不能出片。 只出报告和复刻任务。自动生成要装 capsule-cinema(164 星的另一个仓库),且现在仍是一镜一次模型调用,报告里写好的「多镜头合并提示词」只能手动贴到即梦、可灵(
docs/replicate.md)。 - 代码镜头不自动生成工程。 只给文字轨和版式,Remotion 工程要 agent 自己写。
docs/cli.md的工作流表里,Remix(批量改写)标「未开始」,Verify(自动打分)标「部分可用」。 - 平台转码后精度明显下降。 转码会抹掉噪声证据。README 的 88.6%(10 条微信转码视频,纯算法)要加视觉模型才回到 99.6%。
- 三类镜头算法完全测不出:2D 动画、定格动画、影视片段(
classify.py的UNMEASURED),只能靠视觉模型或 agent 看图。 - 声音是短板。 音效在人声加 BGM 混音里精度「约 0.2,与随机相当」,所以算法只给低置信候选,完整清单靠能听音频的 Gemini;AI 工作流视频里的 BGM 常是 Suno 生成,和曲库器乐在信号上分不开,5 条里只对了 2 条。
- 贴纸召回约一半,暗色背景照片、暗色主题网页截图会漏检。
- 有已知误判。 Issue #4:一条 123 秒的暗背景静态口播,agent 看图复核给真人镜头 0.9–0.95 实拍,融合后仍被判为 AI(0.35–0.41),整片结论「无实拍镜头」。该 issue 的修复只是加分歧提示,标签不翻转。
- 反推的提示词是推测。 视频不会泄露原始提示词;这是所有「视频转提示词」工具的共同限制。
精度数字怎么读
README 的表(按镜头时长加权):
| 调参集(15) | 留出集(16) | 微信转码(10) | |
|---|---|---|---|
| 仅算法(离线、免费) | 98.3% | 99.6% / 98.9% | 88.6% |
| + 视觉模型(Gemini) | — | 99.6% / 99.8% | 99.6% |
| + agent 看图复核 | — | 99.6% / 99.8% | 100% |
我核对 eval/RESULTS.md 后的判断:数字是真的从评测里出来的,但不能当作「在你的视频上能达到」。
- 口径是时长加权。长的 AI 镜头和代码镜头占大头,一个判错的短实拍镜头几乎不动总数。
- 独立性有限。调参集是规则的设计依据;留出集 holdout「首轮错了 2 处,据此加了帧率相关规则,已不完全独立」;微信转码的 10 条被明确标为开发集(规则看过才写)。只有 holdout2 是「规则定稿后第一次运行」的相对干净数字,98.9%。
- 同一份文档里的诚实信号:holdout2 的「真实素材」准确率首轮只有 75.6%,修复后才到 97.2%。作者保留了这个记录,说明评测流程是认真的。
- 真值部分来自作者自己:「文章作者说明 + 人工看画面」。
- 样本量小。三个评测集合计约 41 条;
RESULTS.md的已知局限曾写实拍样本只有 3 条(后来加了口播、带货评测集,以仓库为准)。 - 宣传与文档有出入。README 说「切镜全部正确」,而 CHANGELOG 在 9 条带逐帧真值的片子上给出召回 95%、精确率 94%。AlphaSignal 的标题「99.6%」在其正文里对应的是「原片 99%+、转码未开视觉模型 88.6%」。
- 视觉模型路径的验证仍薄:10 条开发集上的真实 Gemini 结果显示,Gemini 单独用其实没有改善整体(0.886→0.888),真正的提升来自 agent 看图复核(→0.988/1.000)。
可作决策依据的版本:原始文件上算法层大体可用;平台下载文件务必配视觉模型或让 agent 看图;实拍口播这类「没什么运镜的暗背景近景」是已知脆弱点。
网上的讨论:很少,而且几乎全是正面或推广
项目才 10 天,我能找到的:
| 来源 | 性质 | 内容 |
|---|---|---|
| yeeach.com | 个人博客解读 | 唯一有分析的第三方:称其价值是「把拉片做成证据链」而非判断是不是 AI,并指出强压缩的抖音带货片精度下降、帧率不能单独定罪、贴纸召回约 50%。结论是「强烈推荐」 |
| AlphaSignal | 资讯站 | 转述 README,拿它与「给整段视频一个真伪分数」的 AI 内容检测器对比;正文称 24 星(与 API 不符,发稿更早) |
| SkillsLLM | 目录站 | 收录 + 自动安全扫描通过,页面声明不等于安全认证 |
| linux.do、GitHub Discussions、ruanyf/weekly 投稿 | 作者自己发的 | linux.do 帖我这边抓不到回帖;Discussions 仅 2 帖 0 回复;周刊 issue #13053 是作者自荐,无评论 |
| Issue #12(WaveWeaver) | 外链推广 | 称「2,040+ 星、日增 1,097」,属推广话术,我不采用 |
所以目前没有独立的批评性评测或第三方实测复现。结论只能是:关注度高,验证少。
同类对比
| 项目 | 做什么 | 与 rea-video 的区别 | 星数(2026-11-08) |
|---|---|---|---|
| rea-video | 逐镜判断怎么做的,出复刻方案 | 不出片;强在取证与报告 | 3,737 |
| Hypit | 参考视频 → agent 重建成可编辑、可重跑的工程,换脸 / 换词 / 换素材,批量变体 | 直接出片;不问原片怎么做的,实拍与 AI 走同一条流水线;模型取决于它接入了什么。rea-video 的 FAQ 自己写明「想快速做个相似的,Hypit 更快」,二者可配合 | 28,473 |
HyperFrames /reverse-any-video | 把任意视频原样重建为可编辑的 HyperFrames 工程,并与原片逐帧 diff | 目标是「复制」而非「拆解」;属 HyperFrames Pro 功能,真人部分用 HeyGen 重拍。详见 02 工具地图 | 80,635(HyperFrames) |
| video-reverse-engineering(whaojie797-design) | 场景切点抽关键帧 + 字幕 → 镜头表 + 图 / 视频提示词 | 同方向的早期做法(2026-08 建),偏「抽帧给 LLM」,没有取证层 | 8 |
| Gemini 直接看视频 | 让模型给出带时间戳的分镜、镜头类型、切点 | 零安装;但全靠模型判断,会幻觉。Google 在 2026-09-01 推出 Agentic Video Understanding(自报 token 降 88%、成本降 66%) | — |
| AI 内容检测器 | 对整段视频给一个真伪分 | 粒度粗,不分镜头,也不告诉你怎么复刻 | — |
| MoneyPrinterTurbo 等 | 主题 → 成片 | 是生成端,不是分析端 | 14.1 万 |
| 人工拉片 | 逐帧看、做分镜表 | 最准但慢;rea-video 的价值在把「判断依据」量化 | — |
rea-video 的 README 明确说灵感来自 REA(Reverse Engineer Anything)(约 44 万星,逆向应用与二进制):从看到的东西追溯回它怎么做出来,每个论断要有证据,用测量验证。这是理解它的最好入口。
更多可参考的资源
仓库内(最值得读,比外部文章系统):
docs/decompose.md:拆解方法与融合规则docs/what-it-detects.md:11 类画面、12 种布光、包装层的完整清单skills/rea-video/references/taxonomy.md:各类制作方式的「易混对照表」,可当作判断 AI 视频的手册eval/RESULTS.md:每次规则改动的回归记录,包括失败rea_video/capabilities/:视频 / 图像 / 音频模型的能力地图,用来给复刻方案选模型(我没逐项核对其内容)
外部:
- 切镜检测:PySceneDetect(CPU,速度快)与 TransNet V2(更准,更善于处理渐变)。CineTrans 论文的人工对比里前者约 65.5%、后者约 87%。rea-video 自己写了一套,并未调用这两者
- 标识规范:GB 45438-2025《网络安全技术 人工智能生成合成内容标识方法》,2025-09-01 起施行,隐式标识可写在文件元数据里;TC260 另有视频文件元数据标识的实践指南。但平台转码经常把它抹掉,所以「没有标识」不能当作「不是 AI」
- AI 视频检测研究:arXiv 2606.31004 的审计协议发现,帧率转换是扫描中唯一让检测 AUC 大幅下降的扰动。这与 rea-video 把「帧率指纹」只当中等证据的做法相符
- 方法论空白:我专门搜了「拉片」的流程与分镜表字段设计、卡点的量化方法,中文互联网上只有「黄金 3 秒」「钩子」这类创作建议,没有找到结构化的方法论。rea-video 的
taxonomy.md和报告模板,恰好是目前我能找到的最系统的一份
使用技巧
来自 SKILL.md 与文档,以及对其设计的理解:
- 喂原文件,别喂平台下载版。 转码会让噪声证据失效,这是精度的最大变量。拿不到原片时必须配视觉模型或让 agent 看图。
- 配视觉模型后,看
rea-video summary的VLM:一行。failed/not_configured等同没开,别被报告里「已使用」误导。任何 OpenAI 兼容的多模态端点都行(文档提到 Gemini、豆包),可写多个模型做备选。 - 先看「有分歧」的镜头。 这是工具认为最该人工看的地方,
shots/shot_XXX.jpg联系表(首 / 中 / 尾帧)就够了。 - 别整份读
breakdown.json。 它有几十万字;SKILL.md明确要求用summary,要某一节先grep -n '^##' report.md。省 token 是它的设计目标之一。 - 只想判断是不是 AI,加
--no-packaging,每分钟视频省 30–50 秒(跳过字幕 / 花字 / 贴纸那一层)。 - 判错了就用
rea-video correct纠正。 纠正会记入~/.rea-video,同一文件自动套用,同类镜头复核时提示。 - 花钱的步骤先
--dry-run。remake-run会计费,工具本身也要求用户确认后才正式生成。 - 规模参考:30 秒视频不开视觉模型约 1 分钟;72 秒、68 镜的开箱片 104 秒;视觉模型调用上限 60 次,超出时优先给「算法最拿不准且时长最长」的镜头。首次运行会下载约 67 MB 的人声分离模型。
- 合规:仓库 FAQ 明确禁止直接搬运他人素材、音乐、角色或肖像,定位是学结构、节奏、技法,再用自己有权利的素材重做。
怎么最大程度地用它
- 做「模板库」而不是一次性拆解。 批量拆 10–20 条同赛道爆款,汇总镜头时长分布、BPM、字幕样式、AI 与实拍占比,得到的是赛道的结构基线。单条结论价值有限,统计才有。(这是我的推演,仓库没提供批量汇总功能。)
- 把「AI 镜头」当提示词种子。 每镜反推的提示词和首尾帧可直接喂视频模型,但要当草稿改,别当成原提示词。
- 把「代码镜头」接到你已有的代码动效工具上。 报告给出文字轨和版式,工程自己搭。你环境里的 HyperFrames 与它的 Remotion 路线是同类选择,哪个顺手用哪个。
- 配 Hypit 分工。 rea-video 先弄清原片怎么做的、哪些必须自己拍,Hypit 再去批量出变体。官方 FAQ 也这么建议。
- 请它拆你自己的视频。 数字人口播、AI 与真人混合片的判断边界,用你熟悉的素材最容易看出对错。
从中学到什么
对做 agent skill 和工具的人,这个仓库比它的功能更值得读:
- 分工比堆模型更稳。 确定性算法管时间和位置,视觉模型管语义,中间用带权重的概率融合,加硬约束兜底。这套结构适用于任何「LLM 判断 + 可测量信号」的任务。
- 模型权重要用评测校准。 VLM_WEIGHT 从 1.0 降到 0.7,是看了真实错误才改的,且作者注明「0.5 在这批上更高,但怀疑过拟合」,没有往下调。
- 允许说「待确认」。
SKILL.md要求「宁可写『实拍还是 AI 待确认(倾向 AI 70%)』,也不要编一个确定的答案」。并规定看不了图的 agent 不得推翻工具的画面类型判断(DeepSeek 无图复核实测推翻 4 次、错 2 次)。 - 评测记录保留失败。
RESULTS.md写明哪一版回归、哪个集是开发集。 - 给 agent 的文档单独成篇。
SKILL.md只写怎么用,开发文档放docs/dev/,并有「不要做的事」清单(不要只凭画风判断、不要把元数据缺失当作不是 AI 的证据)。 - 增长打法值得拆。 10 天 3.7k 星背后:英文默认 README 加 9 种语言、顶部一张对比 GIF、不安装就能读的 6 份示例报告、
[求拆解]issue 模板(用户提交视频,作者拆完公开,等于免费获得内容和案例)、Discord、linux.do、周刊投稿,以及配套仓库 capsule-cinema。注意这是关注度,项目是 Apache-2.0 免费,没有看到任何变现设计。
值不值得用
| 你的情况 | 建议 |
|---|---|
| 做短视频 / 带货 / AI 短剧,想学爆款的结构与节奏 | 试。先拆 3–5 条,重点看分镜表、字幕时间轴和声音三块,这三块的信息密度最高 |
| 想判断一条视频是不是 AI,并拿去当证据 | 不要。它自己也说帧率不能单独定罪、转码后精度下降;这是线索工具,不是鉴定工具 |
| 想一键仿制并出片 | 看 Hypit;rea-video 只负责前半段 |
| 要稳定进生产流程 | 等。0.1.0、单人维护、API 与产物格式可能还会变 |
| 关心安全 | 装之前读 scripts/install_skill.sh;它会向 ~/.claude ~/.codex ~/.agents 链接 skill,首次运行从第三方 GitHub 仓库下载模型(提交说明写已加哈希校验,我没逐行审);视觉模型会把视频片段发到你配置的端点 |
建议的试用方式
- 先不装:读仓库里 6 份示例报告和
docs/cases.md,判断报告形态是不是你要的。 - 装的话用独立环境,不要装进主 Python:
git clone后读install_skill.sh,再执行。 - 拿一条你自己有原文件的视频(最好 30–60 秒,含字幕和 BGM)跑
rea-video decompose ref.mp4 -o out/ref,对照你自己对这条视频的了解,看判错的镜头落在哪几类。 - 再拿一条平台下载版重做,看降幅,决定值不值得配视觉模型。
- 用
correct纠几处错,确认纠正会被记住。
来源
10 条
- 仓库与文档:JuneYaooo/rea-video(
README.md、docs/decompose.md、docs/what-it-detects.md、docs/replicate.md、docs/cli.md、eval/RESULTS.md、CHANGELOG.md、skills/rea-video/SKILL.md、issues #4 #8 #12) - 星数与建仓时间:GitHub API,2026-11-08 采样(rea-video、capsule-cinema、Hypit、morluto/rea)
- 第三方:AlphaSignal、SkillsLLM、yeeach.com、ai-tldr、Hypit 评测(ai-bot.cn)
- 方法与规范:CineTrans(切镜检测对比)、arXiv 2606.31004(AI 视频检测审计)、TC260 视频标识指南、GB 45438 解读
下次复查:2026-11-22(星数、精度表、Issue #4 是否修复、是否出现独立评测)。