异步视界博客
iaieye.com

最近更新

    ↑↓ 选择↵ 打开esc 关闭

    一条爆款视频是拍的、生成的还是代码写的?rea-video 用证据链逐镜回答

    调研 JuneYaooo/rea-video:逐镜判断制作方式的原理、精度数字的真实口径、能做与不能做、与 Hypit 等同类的区别、用法技巧,以及值不值得装。

    • 视频制作:让 agent … · 1/5
    • 精读
    • 2026.11.08
    • 19 分钟
    • 10,265 字

    思思扬撰写 · AI 协作整理

    类型
    精读
    系列
    视频制作:让 agent 拆视频、做视频
    位置
    第 1 篇 / 共 5 篇
    发布
    2026.11.08
    篇幅
    10,265 字 · 19 分钟
    章节
    15 节
    标签
    • video
    • agent-skill
    • reverse-engineering
    • ai-video
    • claude-code

    结论先行

    值得拿一条自己关心的视频试一次,不值得现在就押注进工作流。 理由有三:

    • 思路对:不是把抽帧丢给多模态模型「盲猜」,而是先用可测量的信号取证(帧率指纹、传感器噪声、光流、元数据),再让视觉模型补语义,冲突处明确标出来让人看。
    • 成熟度低:建仓 10 天,版本 0.1.0,66 次提交里 60 次来自作者一人;精度数字全部是作者自评,且有一部分评测集是看过之后才写的规则。
    • 定位清楚:它只负责「拆」和「出复刻方案」,不负责「做」。想一键仿制,要配 capsule-cinema,或改用 Hypit。

    它是什么

    rea-video 是一个 Python CLI 加一份给 Claude Code / Codex 读的 SKILL.md。你把视频文件交给 agent,它会:

    1. 切镜头,分离人声 / 配乐 / 音效;
    2. 对每个镜头判断底层画面是怎么来的(11 类,见下);
    3. 把字幕、花字、贴纸、画中画作为叠加层单独列出,字幕可导出 SRT / ASS;
    4. 判断声音来源,估 BPM 和调性;
    5. 给出复刻方案:哪些要自己拍、哪些交给视频模型、哪些写代码(Remotion)。

    产物是 report.html(人读)、breakdown.json(结构化,仓库称 Video IR)、分镜总览图和每镜首尾帧(首尾帧同时是复刻时的输入)。

    采样(2026-11-08 UTC):3,737 星、531 fork、Apache-2.0,建仓于 2026-10-29。

    原理:确定性取证 + 视觉模型 + 规则融合

    核心思想是分工:能测量的问题交给算法,需要「看懂」的交给视觉模型,两边的证据按可信度加权融合。

    它到底测什么

    要回答的问题方法项目自评可靠度
    哪里切镜HSV 直方图距离 + 像素差分,局部自适应阈值;专门处理跳剪、推近切、交叉溶解(中间帧是否为两端帧的线性混合,光流排除推拉),闪光不算切点高
    画面动没动逐像素完全重复帧比例高
    是不是一张图在推拉LK 光流 + RANSAC 拟合相似变换,内点率高、残差小即整图刚体运动高
    渲染还是拍摄平坦 8×8 块比例、覆盖 95% 像素所需颜色数、直边比例、Immerkær 噪声估计高(区分渲染与照片)
    原始帧率重复帧规律:生成模型多输出 24/25fps,转 30fps 会出现约 20% 重复帧、周期 4–6;手机常拍 60fps中高
    实拍 / AI / 3D传感器噪声、手持抖动、帧率指纹,加视觉模型看破绽(手指、文字、物理)仅算法为中,加视觉模型为高
    元数据设备型号、GB 45438 的 AIGC 隐式标识、C2PA、编辑器签名出现时很强,常被平台清除
    字幕与包装每秒 2 帧 OCR 跟踪,再用每秒 10 帧灰度帧把起止对齐到约 0.1 秒字幕可信;贴纸召回约一半
    声音HPSS 分离谐波 / 打击;UVR MDX-Net 分离人声与配乐;起音自相关估 BPM,Krumhansl 轮廓估调性中

    融合规则:这是最值得读的部分

    docs/decompose.md 写明了融合公式:最终概率 ∝ 确定性概率^(0.6×可信度权重) × 视觉模型概率。要点:

    • 权重不对称:静帧 1.6、静图推拉 1.4、代码渲染 1.0,而实拍 / AI / 3D 只有 0.6。含义是「时间性问题算法说了算,实拍 vs AI 这类语义问题主要靠视觉模型」。
    • 两条硬约束:画面冻结的镜头不能判为任何「视频生成」类;整图刚体推拉的镜头不能判为实拍或数字人。
    • 视觉模型权重 0.7,不是 1.0。原因记录在 eval/RESULTS.md:第一次接真实 Gemini 后,它把卡通 3D 风格的 AI 视频判成 3D 渲染、把画进画面的游戏界面判成录屏,置信度 0.9–1.0,压过了帧率证据,个别片子准确率从 1.0 掉到 0.13。降权后才稳住。
    • 分歧上报:算法与视觉模型一方判实拍、另一方判非实拍,且没人复核过,就标「有分歧」进必看列表。注释里的理由很直白:视觉模型会编出看不见的证据(原片里「挂钟数字乱码」)。
    • 弱证据封顶:帧率只能证明「素材源是 24fps」。判成 AI、又没有 AIGC 标识、看图一方认为是实拍时,标「AI 还是 24p 相机实拍待确认」,置信度封顶 0.7。

    能做到什么

    视频类型能拿到的结果
    实拍(口播、桌拍、带货、vlog)景别、机位、运镜、12 种布光方案及器材清单、调色风格、剪辑节奏是否卡点
    AI 视频证据、每镜反推的提示词、如何合并成最少的生成次数、该选哪个模型
    3D / 动画该用视频模型生成,还是用 3D 代码渲染
    代码 / 模板(文字动效、UI、图表)文字、版式、动效时间轴,可据此重建 Remotion 工程
    录屏哪些是必须自己录的真实素材
    混合片每镜单独判断,再按原时间线拼回

    仓库自带 6 个公开案例,可以不装直接读报告:混合片、3D 科普、70 秒产品宣传片(83% 代码动效,不需要视频模型)、165 秒 AI 音乐 MV(正确识别出歌是 Suno 生成)、72 秒实拍开箱(转码后工具误判 35% 为 AI,经 agent 看图复核后 97% 实拍)、AI 与真人混合带货片(靠即梦水印和礼盒乱码抓出 AI 段)。

    Issue #8 里作者还公开拆了一条网友提交的抖音带货混剪:38 镜,前 23 秒的「白猫店员」是 AI(图生视频加对口型),其余 75% 时长为真人实拍。这是目前能看到的最接近「真实用户案例」的材料。

    做不到什么

    按严重程度排序,来源标注在括号里。

    1. 不能出片。 只出报告和复刻任务。自动生成要装 capsule-cinema(164 星的另一个仓库),且现在仍是一镜一次模型调用,报告里写好的「多镜头合并提示词」只能手动贴到即梦、可灵(docs/replicate.md)。
    2. 代码镜头不自动生成工程。 只给文字轨和版式,Remotion 工程要 agent 自己写。docs/cli.md 的工作流表里,Remix(批量改写)标「未开始」,Verify(自动打分)标「部分可用」。
    3. 平台转码后精度明显下降。 转码会抹掉噪声证据。README 的 88.6%(10 条微信转码视频,纯算法)要加视觉模型才回到 99.6%。
    4. 三类镜头算法完全测不出:2D 动画、定格动画、影视片段(classify.py 的 UNMEASURED),只能靠视觉模型或 agent 看图。
    5. 声音是短板。 音效在人声加 BGM 混音里精度「约 0.2,与随机相当」,所以算法只给低置信候选,完整清单靠能听音频的 Gemini;AI 工作流视频里的 BGM 常是 Suno 生成,和曲库器乐在信号上分不开,5 条里只对了 2 条。
    6. 贴纸召回约一半,暗色背景照片、暗色主题网页截图会漏检。
    7. 有已知误判。 Issue #4:一条 123 秒的暗背景静态口播,agent 看图复核给真人镜头 0.9–0.95 实拍,融合后仍被判为 AI(0.35–0.41),整片结论「无实拍镜头」。该 issue 的修复只是加分歧提示,标签不翻转。
    8. 反推的提示词是推测。 视频不会泄露原始提示词;这是所有「视频转提示词」工具的共同限制。

    精度数字怎么读

    README 的表(按镜头时长加权):

    调参集(15)留出集(16)微信转码(10)
    仅算法(离线、免费)98.3%99.6% / 98.9%88.6%
    + 视觉模型(Gemini)—99.6% / 99.8%99.6%
    + agent 看图复核—99.6% / 99.8%100%

    我核对 eval/RESULTS.md 后的判断:数字是真的从评测里出来的,但不能当作「在你的视频上能达到」。

    • 口径是时长加权。长的 AI 镜头和代码镜头占大头,一个判错的短实拍镜头几乎不动总数。
    • 独立性有限。调参集是规则的设计依据;留出集 holdout「首轮错了 2 处,据此加了帧率相关规则,已不完全独立」;微信转码的 10 条被明确标为开发集(规则看过才写)。只有 holdout2 是「规则定稿后第一次运行」的相对干净数字,98.9%。
    • 同一份文档里的诚实信号:holdout2 的「真实素材」准确率首轮只有 75.6%,修复后才到 97.2%。作者保留了这个记录,说明评测流程是认真的。
    • 真值部分来自作者自己:「文章作者说明 + 人工看画面」。
    • 样本量小。三个评测集合计约 41 条;RESULTS.md 的已知局限曾写实拍样本只有 3 条(后来加了口播、带货评测集,以仓库为准)。
    • 宣传与文档有出入。README 说「切镜全部正确」,而 CHANGELOG 在 9 条带逐帧真值的片子上给出召回 95%、精确率 94%。AlphaSignal 的标题「99.6%」在其正文里对应的是「原片 99%+、转码未开视觉模型 88.6%」。
    • 视觉模型路径的验证仍薄:10 条开发集上的真实 Gemini 结果显示,Gemini 单独用其实没有改善整体(0.886→0.888),真正的提升来自 agent 看图复核(→0.988/1.000)。

    可作决策依据的版本:原始文件上算法层大体可用;平台下载文件务必配视觉模型或让 agent 看图;实拍口播这类「没什么运镜的暗背景近景」是已知脆弱点。

    网上的讨论:很少,而且几乎全是正面或推广

    项目才 10 天,我能找到的:

    来源性质内容
    yeeach.com个人博客解读唯一有分析的第三方:称其价值是「把拉片做成证据链」而非判断是不是 AI,并指出强压缩的抖音带货片精度下降、帧率不能单独定罪、贴纸召回约 50%。结论是「强烈推荐」
    AlphaSignal资讯站转述 README,拿它与「给整段视频一个真伪分数」的 AI 内容检测器对比;正文称 24 星(与 API 不符,发稿更早)
    SkillsLLM目录站收录 + 自动安全扫描通过,页面声明不等于安全认证
    linux.do、GitHub Discussions、ruanyf/weekly 投稿作者自己发的linux.do 帖我这边抓不到回帖;Discussions 仅 2 帖 0 回复;周刊 issue #13053 是作者自荐,无评论
    Issue #12(WaveWeaver)外链推广称「2,040+ 星、日增 1,097」,属推广话术,我不采用

    所以目前没有独立的批评性评测或第三方实测复现。结论只能是:关注度高,验证少。

    同类对比

    项目做什么与 rea-video 的区别星数(2026-11-08)
    rea-video逐镜判断怎么做的,出复刻方案不出片;强在取证与报告3,737
    Hypit参考视频 → agent 重建成可编辑、可重跑的工程,换脸 / 换词 / 换素材,批量变体直接出片;不问原片怎么做的,实拍与 AI 走同一条流水线;模型取决于它接入了什么。rea-video 的 FAQ 自己写明「想快速做个相似的,Hypit 更快」,二者可配合28,473
    HyperFrames /reverse-any-video把任意视频原样重建为可编辑的 HyperFrames 工程,并与原片逐帧 diff目标是「复制」而非「拆解」;属 HyperFrames Pro 功能,真人部分用 HeyGen 重拍。详见 02 工具地图80,635(HyperFrames)
    video-reverse-engineering(whaojie797-design)场景切点抽关键帧 + 字幕 → 镜头表 + 图 / 视频提示词同方向的早期做法(2026-08 建),偏「抽帧给 LLM」,没有取证层8
    Gemini 直接看视频让模型给出带时间戳的分镜、镜头类型、切点零安装;但全靠模型判断,会幻觉。Google 在 2026-09-01 推出 Agentic Video Understanding(自报 token 降 88%、成本降 66%)—
    AI 内容检测器对整段视频给一个真伪分粒度粗,不分镜头,也不告诉你怎么复刻—
    MoneyPrinterTurbo 等主题 → 成片是生成端,不是分析端14.1 万
    人工拉片逐帧看、做分镜表最准但慢;rea-video 的价值在把「判断依据」量化—

    rea-video 的 README 明确说灵感来自 REA(Reverse Engineer Anything)(约 44 万星,逆向应用与二进制):从看到的东西追溯回它怎么做出来,每个论断要有证据,用测量验证。这是理解它的最好入口。

    更多可参考的资源

    仓库内(最值得读,比外部文章系统):

    • docs/decompose.md:拆解方法与融合规则
    • docs/what-it-detects.md:11 类画面、12 种布光、包装层的完整清单
    • skills/rea-video/references/taxonomy.md:各类制作方式的「易混对照表」,可当作判断 AI 视频的手册
    • eval/RESULTS.md:每次规则改动的回归记录,包括失败
    • rea_video/capabilities/:视频 / 图像 / 音频模型的能力地图,用来给复刻方案选模型(我没逐项核对其内容)

    外部:

    • 切镜检测:PySceneDetect(CPU,速度快)与 TransNet V2(更准,更善于处理渐变)。CineTrans 论文的人工对比里前者约 65.5%、后者约 87%。rea-video 自己写了一套,并未调用这两者
    • 标识规范:GB 45438-2025《网络安全技术 人工智能生成合成内容标识方法》,2025-09-01 起施行,隐式标识可写在文件元数据里;TC260 另有视频文件元数据标识的实践指南。但平台转码经常把它抹掉,所以「没有标识」不能当作「不是 AI」
    • AI 视频检测研究:arXiv 2606.31004 的审计协议发现,帧率转换是扫描中唯一让检测 AUC 大幅下降的扰动。这与 rea-video 把「帧率指纹」只当中等证据的做法相符
    • 方法论空白:我专门搜了「拉片」的流程与分镜表字段设计、卡点的量化方法,中文互联网上只有「黄金 3 秒」「钩子」这类创作建议,没有找到结构化的方法论。rea-video 的 taxonomy.md 和报告模板,恰好是目前我能找到的最系统的一份

    使用技巧

    来自 SKILL.md 与文档,以及对其设计的理解:

    1. 喂原文件,别喂平台下载版。 转码会让噪声证据失效,这是精度的最大变量。拿不到原片时必须配视觉模型或让 agent 看图。
    2. 配视觉模型后,看 rea-video summary 的 VLM: 一行。 failed / not_configured 等同没开,别被报告里「已使用」误导。任何 OpenAI 兼容的多模态端点都行(文档提到 Gemini、豆包),可写多个模型做备选。
    3. 先看「有分歧」的镜头。 这是工具认为最该人工看的地方,shots/shot_XXX.jpg 联系表(首 / 中 / 尾帧)就够了。
    4. 别整份读 breakdown.json。 它有几十万字;SKILL.md 明确要求用 summary,要某一节先 grep -n '^##' report.md。省 token 是它的设计目标之一。
    5. 只想判断是不是 AI,加 --no-packaging,每分钟视频省 30–50 秒(跳过字幕 / 花字 / 贴纸那一层)。
    6. 判错了就用 rea-video correct 纠正。 纠正会记入 ~/.rea-video,同一文件自动套用,同类镜头复核时提示。
    7. 花钱的步骤先 --dry-run。 remake-run 会计费,工具本身也要求用户确认后才正式生成。
    8. 规模参考:30 秒视频不开视觉模型约 1 分钟;72 秒、68 镜的开箱片 104 秒;视觉模型调用上限 60 次,超出时优先给「算法最拿不准且时长最长」的镜头。首次运行会下载约 67 MB 的人声分离模型。
    9. 合规:仓库 FAQ 明确禁止直接搬运他人素材、音乐、角色或肖像,定位是学结构、节奏、技法,再用自己有权利的素材重做。

    怎么最大程度地用它

    • 做「模板库」而不是一次性拆解。 批量拆 10–20 条同赛道爆款,汇总镜头时长分布、BPM、字幕样式、AI 与实拍占比,得到的是赛道的结构基线。单条结论价值有限,统计才有。(这是我的推演,仓库没提供批量汇总功能。)
    • 把「AI 镜头」当提示词种子。 每镜反推的提示词和首尾帧可直接喂视频模型,但要当草稿改,别当成原提示词。
    • 把「代码镜头」接到你已有的代码动效工具上。 报告给出文字轨和版式,工程自己搭。你环境里的 HyperFrames 与它的 Remotion 路线是同类选择,哪个顺手用哪个。
    • 配 Hypit 分工。 rea-video 先弄清原片怎么做的、哪些必须自己拍,Hypit 再去批量出变体。官方 FAQ 也这么建议。
    • 请它拆你自己的视频。 数字人口播、AI 与真人混合片的判断边界,用你熟悉的素材最容易看出对错。

    从中学到什么

    对做 agent skill 和工具的人,这个仓库比它的功能更值得读:

    1. 分工比堆模型更稳。 确定性算法管时间和位置,视觉模型管语义,中间用带权重的概率融合,加硬约束兜底。这套结构适用于任何「LLM 判断 + 可测量信号」的任务。
    2. 模型权重要用评测校准。 VLM_WEIGHT 从 1.0 降到 0.7,是看了真实错误才改的,且作者注明「0.5 在这批上更高,但怀疑过拟合」,没有往下调。
    3. 允许说「待确认」。 SKILL.md 要求「宁可写『实拍还是 AI 待确认(倾向 AI 70%)』,也不要编一个确定的答案」。并规定看不了图的 agent 不得推翻工具的画面类型判断(DeepSeek 无图复核实测推翻 4 次、错 2 次)。
    4. 评测记录保留失败。 RESULTS.md 写明哪一版回归、哪个集是开发集。
    5. 给 agent 的文档单独成篇。 SKILL.md 只写怎么用,开发文档放 docs/dev/,并有「不要做的事」清单(不要只凭画风判断、不要把元数据缺失当作不是 AI 的证据)。
    6. 增长打法值得拆。 10 天 3.7k 星背后:英文默认 README 加 9 种语言、顶部一张对比 GIF、不安装就能读的 6 份示例报告、[求拆解] issue 模板(用户提交视频,作者拆完公开,等于免费获得内容和案例)、Discord、linux.do、周刊投稿,以及配套仓库 capsule-cinema。注意这是关注度,项目是 Apache-2.0 免费,没有看到任何变现设计。

    值不值得用

    你的情况建议
    做短视频 / 带货 / AI 短剧,想学爆款的结构与节奏试。先拆 3–5 条,重点看分镜表、字幕时间轴和声音三块,这三块的信息密度最高
    想判断一条视频是不是 AI,并拿去当证据不要。它自己也说帧率不能单独定罪、转码后精度下降;这是线索工具,不是鉴定工具
    想一键仿制并出片看 Hypit;rea-video 只负责前半段
    要稳定进生产流程等。0.1.0、单人维护、API 与产物格式可能还会变
    关心安全装之前读 scripts/install_skill.sh;它会向 ~/.claude ~/.codex ~/.agents 链接 skill,首次运行从第三方 GitHub 仓库下载模型(提交说明写已加哈希校验,我没逐行审);视觉模型会把视频片段发到你配置的端点

    建议的试用方式

    1. 先不装:读仓库里 6 份示例报告和 docs/cases.md,判断报告形态是不是你要的。
    2. 装的话用独立环境,不要装进主 Python:git clone 后读 install_skill.sh,再执行。
    3. 拿一条你自己有原文件的视频(最好 30–60 秒,含字幕和 BGM)跑 rea-video decompose ref.mp4 -o out/ref,对照你自己对这条视频的了解,看判错的镜头落在哪几类。
    4. 再拿一条平台下载版重做,看降幅,决定值不值得配视觉模型。
    5. 用 correct 纠几处错,确认纠正会被记住。

    来源

    10 条

    下次复查:2026-11-22(星数、精度表、Issue #4 是否修复、是否出现独立评测)。

    系列全部 5 篇
    1. 01一条爆款视频是拍的、生成的还是代码写的?rea-video 用证据链逐镜回答19 分钟
    2. 02用 agent 做视频该选谁:从 Hypit 到 HyperFrames,按手里有什么分五类15 分钟
    3. 03代码写出来的动画16 分钟
    4. 04做完就吆喝:/brag 把项目变成 20 秒发布视频,值得抄的是它的『创意法则』12 分钟
    5. 07为什么它用代码建的 3D 模型能这么好:拆解 ESCAPEMENT 的建模手法28 分钟