Agent 按需加载工具参数
Gemini API·Tool Retrieval 在 Interactions API 开放预览
为什么重要工具接得多时,每轮塞入整套参数定义会占用输入 token。常用工具可以直接保留,长尾工具等模型决定要用时再加载。
细节 - 🟢 保留名称和描述:服务端模式下,模型先看到延迟加载工具的名称和描述。选中工具后,API 才把参数定义放进上下文。搜索、加载参数和生成函数调用可在一次请求内完成。
- 🟢 支持远程 MCP:对
mcp_server 设置 defer_loading: true 可延迟加载该服务器暴露的工具。已有内部工具目录或按用户筛选工具的应用也能自行检索,每次搜索多一次往返。 - 🟢 按模型计费:工具检索无单独费用。检索工具占用少量固定输入 token,加载后的参数定义按输入计费。Google 列出的支持范围是 Interactions API 中的 Gemini 3.6 及后续模型。
怎么上手按官博示例加上 tool_search,给几项低频工具设置 defer_loading: true。用同一批真实请求对比输入 token、选工具正确率和耗时。
但是 - 名称和描述仍占上下文。工具少或大部分工具都会用到时,节省可能有限。
- 模型生成函数调用后,函数仍由应用执行,应用负责校验参数和权限。
核实记录
已读官方公告的服务端与客户端检索示例、MCP、支持范围及计费说明。未调用 API。
本地生成视频也能导出高帧率
FreeVideo v0.6.5·导出新增 48 fps 和 60 fps
为什么重要在本地生成 MiniMax H3 视频后,可以在同一工具里补帧出片。做运动镜头时可先检查插帧结果,再决定要不要用到成片。
细节 - 🟢 导出时补帧:导出窗口新增 48 和 60 fps。GPU 生成中间帧,保留切点和静帧,音轨直接复制。
- 🟢 图片单独落盘:生成或导入的图片可保存为输出目录中的独立文件,可在设置关闭。图片模型下载也能在预热阶段继续。
- 🟢 安装包和许可:项目采用 Apache-2.0,10 月公开。v0.6.5 提供 Windows 和 Linux 的 NVIDIA 安装包,以及 macOS 14+ Apple silicon 的预览安装包。已有 ComfyUI 也可接入。
怎么上手从 release 下载对应平台安装包。先拿一条有运动和硬切的短素材,比较默认帧率和 60 fps 导出的运动边缘、切点和声音。
但是 Mac 仍属预览。README 记录的测试机为 24 GB 统一内存的 M5,本期未跑安装、生成或导出。
核实记录
已对照 GitHub release 的导出、图片与安装说明,以及仓库 README 的许可、公开时间和 Mac 测试条件。
用 FFmpeg 调用 NVIDIA 光流插帧
FFmpeg 9.1 Gauss·新增光流插帧,改进 AAC 编码
为什么重要有兼容 NVIDIA 显卡的环境可以尝试把补帧接进现有 FFmpeg 脚本。固定设备的 macOS 录制任务也有新的设备标识可用。
细节 - 🟢 硬件光流插帧:官方变更日志列出
fruc_vulkan,用 NVIDIA 光流加速在现有帧之间估算并生成中间帧。 - 🟢 按标识选采集设备:AVFoundation 输入支持按设备的唯一 ID 或 USB 序列号选择设备,可在多台摄像头或录音设备之间指定目标。
- 🟢 稳定版和音频:9.1 于 11 月 20 日发布,官方下载页已提供源码。变更日志还列出 AAC 编码器改进及通过
libfdk-xhe-aac 支持 xHE-AAC 编码。
怎么上手换到 9.1 的测试环境后运行 ffmpeg -hide_banner -h filter=fruc_vulkan 查当前构建是否包含滤镜,再挑一段快速运动的片段对比。
但是 功能取决于构建选项及硬件。光流插帧需要兼容的 NVIDIA 环境,AVFoundation 的设备选择面向 macOS。
核实记录
版本和发布日期对照 https://ffmpeg.org/download.html#release_9.1。三项功能均见 n9.1 Changelog,滤镜机制另见 https://ffmpeg.org/ffmpeg-filters.html#fruc_005fvulkan。未在本地运行 9.1。