异步视界博客
iaieye.com

最近更新

    ↑↓ 选择↵ 打开esc 关闭

    AI 早报 · 2026-11-21周六

    工具越接越多,可以试 Gemini 的按需加载。想把重复排查交给 Codex,可以借 OpenAI 的做法,用旧故障回放来评估新流程。视频方向有两项更新:FreeVideo 可导出 48 或 60 fps,FFmpeg 9.1 新增 NVIDIA 光流插帧滤镜。

    • 4 条 · 重点 2
    • 2026-11-19 → 2026-11-21
    • 2 天窗口

    01🆕 你的工具新能力3 条

    Agent 按需加载工具参数

    Gemini API·Tool Retrieval 在 Interactions API 开放预览

    为什么重要

    工具接得多时,每轮塞入整套参数定义会占用输入 token。常用工具可以直接保留,长尾工具等模型决定要用时再加载。

    细节
    • 🟢 保留名称和描述:服务端模式下,模型先看到延迟加载工具的名称和描述。选中工具后,API 才把参数定义放进上下文。搜索、加载参数和生成函数调用可在一次请求内完成。
    • 🟢 支持远程 MCP:对 mcp_server 设置 defer_loading: true 可延迟加载该服务器暴露的工具。已有内部工具目录或按用户筛选工具的应用也能自行检索,每次搜索多一次往返。
    • 🟢 按模型计费:工具检索无单独费用。检索工具占用少量固定输入 token,加载后的参数定义按输入计费。Google 列出的支持范围是 Interactions API 中的 Gemini 3.6 及后续模型。
    怎么上手

    按官博示例加上 tool_search,给几项低频工具设置 defer_loading: true。用同一批真实请求对比输入 token、选工具正确率和耗时。

    但是
    • 名称和描述仍占上下文。工具少或大部分工具都会用到时,节省可能有限。
    • 模型生成函数调用后,函数仍由应用执行,应用负责校验参数和权限。
    核实记录

    已读官方公告的服务端与客户端检索示例、MCP、支持范围及计费说明。未调用 API。

    本地生成视频也能导出高帧率

    FreeVideo v0.6.5·导出新增 48 fps 和 60 fps

    为什么重要

    在本地生成 MiniMax H3 视频后,可以在同一工具里补帧出片。做运动镜头时可先检查插帧结果,再决定要不要用到成片。

    细节
    • 🟢 导出时补帧:导出窗口新增 48 和 60 fps。GPU 生成中间帧,保留切点和静帧,音轨直接复制。
    • 🟢 图片单独落盘:生成或导入的图片可保存为输出目录中的独立文件,可在设置关闭。图片模型下载也能在预热阶段继续。
    • 🟢 安装包和许可:项目采用 Apache-2.0,10 月公开。v0.6.5 提供 Windows 和 Linux 的 NVIDIA 安装包,以及 macOS 14+ Apple silicon 的预览安装包。已有 ComfyUI 也可接入。
    怎么上手

    从 release 下载对应平台安装包。先拿一条有运动和硬切的短素材,比较默认帧率和 60 fps 导出的运动边缘、切点和声音。

    但是

    Mac 仍属预览。README 记录的测试机为 24 GB 统一内存的 M5,本期未跑安装、生成或导出。

    核实记录

    已对照 GitHub release 的导出、图片与安装说明,以及仓库 README 的许可、公开时间和 Mac 测试条件。

    用 FFmpeg 调用 NVIDIA 光流插帧

    FFmpeg 9.1 Gauss·新增光流插帧,改进 AAC 编码

    为什么重要

    有兼容 NVIDIA 显卡的环境可以尝试把补帧接进现有 FFmpeg 脚本。固定设备的 macOS 录制任务也有新的设备标识可用。

    细节
    • 🟢 硬件光流插帧:官方变更日志列出 fruc_vulkan,用 NVIDIA 光流加速在现有帧之间估算并生成中间帧。
    • 🟢 按标识选采集设备:AVFoundation 输入支持按设备的唯一 ID 或 USB 序列号选择设备,可在多台摄像头或录音设备之间指定目标。
    • 🟢 稳定版和音频:9.1 于 11 月 20 日发布,官方下载页已提供源码。变更日志还列出 AAC 编码器改进及通过 libfdk-xhe-aac 支持 xHE-AAC 编码。
    怎么上手

    换到 9.1 的测试环境后运行 ffmpeg -hide_banner -h filter=fruc_vulkan 查当前构建是否包含滤镜,再挑一段快速运动的片段对比。

    但是

    功能取决于构建选项及硬件。光流插帧需要兼容的 NVIDIA 环境,AVFoundation 的设备选择面向 macOS。

    核实记录

    版本和发布日期对照 https://ffmpeg.org/download.html#release_9.1。三项功能均见 n9.1 Changelog,滤镜机制另见 https://ffmpeg.org/ffmpeg-filters.html#fruc_005fvulkan。未在本地运行 9.1。

    02⚡ 别人的做法1 条

    让 Codex 复查性能回归

    OpenAI Performance Factory·用线上告警驱动调查、复核和修复验证

    为什么重要

    排查耗时长、发生频率高的故障,可以从告警自动开单,让 agent 收集证据。上线后再用同一指标确认是否恢复。

    细节
    • 🟢 按告警建任务:Codex 先从指标倒查变慢时间,区分同类请求真的变慢与原本较慢的请求占比上升,再结合部署、功能开关和链路数据验证猜测。
    • 🟢 另开会话找反例:第二个 Codex 会话检查未受部署影响的请求是否也变慢、回滚后指标是否恢复。通过复核后,由 agent 提修复 PR,工程师决定是否合并。部署后再检查是否恢复到基线。
    • 🟢 用旧故障回放:改模型或调查 skill 前,团队用旧事故的原始告警做测试,只给当时能看到的证据。发现时间、影响范围和根因分别评分,交接摘要也单独评估。
    • 🟢 团队披露的数据:三个多月记录了超过 1,700 次调查,超过 600 起查到根因。人工评审的另一组数据里,100 条根因建议有 70% 被判为准确。
    怎么上手

    选一个反复报警的指标和几次已确认根因的旧故障。先让 Codex 只读指标、日志和部署记录,交一页带证据的诊断,再用新会话查反例。

    但是

    调查数字来自 OpenAI 自述。复现流程需要保留告警、部署记录和故障发生时的遥测数据。

    核实记录

    已读 OpenAI 工程博文的工作流、人工抽查以及历史事故回放。两组数字按原文分别呈现。

    +速览一行看懂,点开看源

    • Inworld Voice Isolator:Apache-2.0 的 48 kHz 人声降噪模型,分录音和流式两版,模型卡提供本地安装流程。 ↗
    • AutoClip:把播客或访谈剪成带字幕的短视频。桌面版内置免 Key 示例,处理自己的素材时可配置本地模型或云端服务。 ↗
    • PostgreSQL 19:新增 REPACK (CONCURRENTLY),整理频繁更新和删除造成的表膨胀时可继续读写。 ↗
    • HyperFrames v0.9.72:修复 CPU 配额环境中渲染 worker 数量不足,也修复封装预览中的拖拽层级、视频调色和音频效果。 ↗
    • PHP 8.6 新增 Time\Duration 表示超时、退避和基准测试耗时,另有 Io\Poll 统一监控多个流的事件。 ↗
    主动剔除 3 组
    • 上市与股价:Anthropic IPO / 芯片厂商股价 / 公司高管动态 (与独立开发者当前可用的工具和做法关系弱。)
    • 理论研究:广义黎曼猜想讨论 / 黑洞物理问题 (本期未见可直接复用的应用工作流。)
    • 维护与安全通告:OpenSSL / Ruby / KVM 安全通告 (候选未显示目标读者有必须处理的具体依赖。)
    采集范围 2 天

    日报,沿用凌晨采集的 270 条候选。上一期成稿是 11 月 19 日刊,本期接续该期。