开发者开放之前一天,Google 已启动另一项分发。11 月 18 日,符合条件的 Google AI Ultra 订阅者开始获得新的 Project Genie 体验,AI Pro 用户则可加入候补名单。11 月 19 日,Google 又宣布开发者可以通过 Gemini API 和 Google AI Studio 使用 Genie 4。这一顺序把模型从以订阅为入口的交互体验,扩展到含有会话生命周期、传输方式、身份验证和按用量计费的 API 工作流。它并没有让模型变成通用游戏引擎或持久的物理模拟器。 Google 开发者开放公告 · Google 的 Project Genie 推出公告
开发者拿到的具体能力,是用文本、参考图像或两者共同设定一个世界,再在接收生成视频和同步音频时发送实时键盘动作与文本改动。画面规格为 720p、每秒 24 帧。Google 表示,这使开发者更易探索交互体验原型、空间概念和 Agent 训练环境。首批应用仍需围绕短会话、仅美国地区服务、生成费用和可能漂移的场景状态来设计。这些因素决定了一个生动的演示能否变成有用的产品实验。 Genie 4 Interactions API 文档
API 是第二条访问路径#
11 月 18 日的 Project Genie 更新与 11 月 19 日的开发者公告服务于不同用户。前者为符合条件的 AI Ultra 订阅者提供带有世界构建 Agent 和社区图库的浏览器体验。后者通过 Gemini Interactions API 和 AI Studio 交互画布提供开发者访问。消费者版体验并不等于 API 密钥,API 发布也不只是附上同一订阅界面的链接。开发者现在有了受支持的方式,可以创建会话、连接客户端、发送世界操控事件并停止服务端生成。 Google 关于 Project Genie 订阅者开放的说明 · Google 关于 API 开放的说明
这种区别改变了谁能测试系统,以及开发者可以控制什么。在 Project Genie 中,订阅者通过 Google 的产品流程输入提示、探索并混编世界。API 则让开发者能够把会话放进原型,连接自定义控制并决定生成的画面和音频如何进入应用。AI Studio 提供交互画布和起步应用,可供开发者构建更大集成前体验工作流。两种方式使用同一模型,但任务不同:一种暴露打包好的体验,另一种将会话机制交给开发者。 Google AI Studio Genie 文档
Google 将 Genie 4 描述为结合 Gemini 系列组件的世界生成系统。模型卡称 Gemini Omni Flash 负责让模拟贴近真实世界的外观和行为,而 Gemini 模型负责推理,以帮助维持连贯性和连续性。输入包括文本、图像和实时用户动作,输出是带同步音频的视频。这些都是 Google 对产品和文档的描述,不是对其世界模拟精度的独立测量。 Genie 4 模型卡 · Interactions API 快速入门
与普通离线视频生成的差异,在于实时交互循环。视频生成器收到提示后可以产出一个片段。Genie 4 则持续生成画面,同时接受用户操控移动或改变场景。API 文档将实时可操控世界、可玩视觉原型和交互式空间探索列为适用场景。Google 将离线视频片段生成、剪辑、扩展和升采样指向另一种 Gemini Omni 模型;实时语音 Agent、麦克风输入和工具调用则指向 Gemini Live。这种区分很重要,因为生成声音并不代表世界模型可以听见用户的语音。世界里可以出现生成对白,而输入仍是文本、初始图像或键盘动作。 Google 的模型选择指南
文本和图像为实时流设定起点#
每个会话从一个 world_setup 事件开始,可包含文本描述、16:9 参考图,或两者兼有。之后开发者可用 user_action 事件发送原生移动或镜头动作,例如 WASD 和方向键,也能发送 input 文本事件修改会话中的场景。服务输出规格为 1280×720、最高每秒 24 帧,并带 48 kHz 立体声音频。Google 的发布文章举例说明可以在探索时改变天气、添加角色或改变动作方向。对于互动场景原型,这比拼接一串单独生成的离线视频片段更直接。 API 事件协议和输出格式 · Google 开发者公告
这种交互有两种速度。Google API 文档称,在低往返网络延迟下,原生键盘和镜头动作大约 0.2 至 0.5 秒即可影响画面。改变场景的文字提示要经过世界规划,可能需 1 至 2 秒才会出现。初始画面在发送初始化后可能需 5 至 9 秒。这些时间是 Google 文档描述的流程和低网络往返延迟下的数据,不是适用于所有地区和应用的服务等级保证。设计响应式体验时,开发者应区别处理快速移动操控和较慢的语义场景调整。 Google 文档中的交互时序
API 提供两种传输方式。浏览器应用推荐 WebRTC,因为浏览器可以直接解码媒体轨道并使用抖动缓冲。Python、Node.js 脚本、帧捕获和自定义流水线可用 WebSocket,音视频以编码事件传输。Google 指出,WebSocket 有额外负担,丢包时也可能遭遇 TCP 队头阻塞。WebRTC 数据通道还限制控制消息为 64 KB,所以文档建议编码后的参考图控制在 48 KB 以下,较大的图像可改用 WebSocket。传输选择会改变集成复杂度和延迟表现。 Google 对 WebRTC 与 WebSocket 的比较
浏览器接入时,长期 API 密钥应留在服务端。Google 示例先由后端创建 interaction,再签发限定于该 interaction 的临时授权令牌。浏览器收到短期令牌后,通过 WebRTC 或 WebSocket 连接。这样开发者可避免把永久密钥嵌入客户端代码。创建会话、令牌作用域、正常结束和费用追踪,都会成为应用安全设计的一部分。 Google 关于临时令牌的建议
生成的音频是同步输出。Google 表示可同时生成音乐、环境声和互动对白。当前 API 文档说明音频随输出流传输,限制部分则指出 Genie 4 不接收实时麦克风或网络摄像头流。其输入路径是文本、单张初始图像和键盘或镜头操作。它也不支持函数调用、Google Search grounding 或结构化输出。开发者可在流外围添加应用控制,但世界生成端点本身不会执行那些 Agent 功能。 Genie 4 API 局限说明
按秒计费,清理会话就是成本控制#
Genie 4 需要付费层级的 Gemini API 密钥。Google API 文档称,每帧视频输出按 240 token 计费;24 帧每秒对应每秒 5,760 token,包含同步立体声音频时约为每秒 0.10 美元。按这个单价,一分钟生成约 6 美元,一次跑满两分钟的会话约 12 美元,尚未计入重试和应用侧其他费用。精确账单取决于实际生成时长和适用价格。连续流产品若在页面加载时就启动会话,或用户闲置时仍让生成继续,费用可能比预想更快累积。 Google Genie 4 计费说明
因此,结束会话既是连接管理,也是费用管理。API 将彻底结束 interaction 与断开本地客户端区分开来。调用 session.complete() 会通知服务器停止世界生成及 token 计费。仅断开连接或关闭浏览器标签页,只会断开传输,不会立即停止服务端生成。用户退出、页面关闭或空闲计时到期时,服务都应显式结束会话。如果应用遗留打开的会话,用户以为体验结束后,费用仍可能产生。 Google 的会话生命周期文档
服务端区域也会影响交互响应。Google 文档表示,目前 Genie 4 仅从美国数据中心提供服务,往返网络延迟超过 150 毫秒时,实时键盘操控会明显变慢。欧洲或亚洲浏览器用户即使遇到模型正常运行,也可能感到控制更迟钝。开发者应从目标地区测试 WebRTC,并决定是否需要北美中继。这对依赖反应速度的操作尤其重要。 Google 关于区域服务和延迟的提示
按秒计费也改变了团队比较实验的方式。只生成几秒场景的原型,试验成本可能很低;持续探索到会话上限、因漂移而重新开始,或不小心开启多个会话,都会快速增加账单。会话成本应包含初始化、重试、闲置时间和音视频生成,而非只统计开发者主动按键的时长。团队可设置会话预算、显示剩余时间,并在完成时关闭服务端 interaction。计量型连续流产品需要这些设计来控制成本。
世界沿滚动时间窗口生成#
Genie 4 是生成交互画面的世界模型,而不是拥有确定物体状态的持久 3D 场景图。Google 说它会根据用户动作和提示生成后续帧。API 文档提醒,地标、门或按钮可能在用户离开视线八秒以上、旋转一周或执行多次复杂编辑后移动或重置。运行 60 至 90 秒后视觉稳定性可能下降,硬性上限为 120 秒。短原型或许足以探索想法;但若多分钟模拟依赖物体持续固定在同一坐标,这是核心约束。 Google 对场景一致性的说明
一到两分钟的上限也关系“世界”在此接口中的含义。场景可以让人感觉连续,同时系统仍根据滚动的时间窗口预测下一帧。物体离开视野后再出现时,状态可能已变化。画面逐帧看起来仍合理,却无法通过持久状态测试。应用不能从一小段连贯体验推断出长期记忆。Google 模型卡也将物体持久性、复杂物理交互、音频准确度、可读文字、空间精度和长期一致性列为仍在研究的问题。 Genie 4 模型卡局限 · API 局限详情
文字提示与移动动作的延迟不同。网络往返时间较低时,WASD 和方向键动作可能在不到半秒内反映在画面上。文字指令则经世界规划,需要更久。这意味着一种设计模式是让键盘负责连续操控,让文本承担较大的语义改变;同时也说明开发者不能期待每条文字提示都像传统游戏里的即时按钮。API 同时暴露两种控制,但它们处于不同的响应时间尺度。 Google 的交互时序说明
可读文字和精确物体数量各有局限。Google 称,标牌、仪表和时钟会随时间变形,镜头移动时精确计数也可能漂移。只有在初始世界描述中明确提供,文字才较容易清晰显示。若空间原型依赖标签、面板、固定数量的物体或准确测量值,就需要另设验证环节。视觉上有真实感,不能替代应用所要求的精确状态。即使用户喜欢场景,系统也可能无法完成需要精确信息的任务。
输入还有安全过滤边界。API 文档说,带有可识别真人、公众人物或受版权保护品牌知识产权的提示或参考图,可能在启动时被拦截,也可能中止正在进行的流。产品公告称生成视频和音频带 SynthID 水印,输入与输出也会经过安全筛查。这会影响开发者能够构建什么,也影响如何处理意外终止的会话。测试阶段可以用良性边缘案例检查这些路径,不应假设应用认为无害的每个提示都能启动。 Google 关于安全和输入的说明 · Google 的推出与水印说明
世界模型仍不等于完整仿真栈#
Google 将世界生成定位于电影创作、空间设计、学习体验以及 Agent 或机器人训练等方向。这些都是合理探索用途,但逼真画面只是训练环境的一个要求。模拟 Agent 还要持续接收动作、保持物体状态、遵循有用的因果规则,并产生与任务相符的结果。Genie 4 自身的局限说明,物理交互、空间精度、因果关系和持久性仍在研发。模拟决策的后果越大,这些缺口就越重要。 Google 对预期用途和局限的说明
独立世界模型评测研究也强调这一点。WMEval 论文发布于 11 月 API 开放之前,通过在 Unity 模拟环境中重放相同动作,比较交互式世界模型的结果。九个场景测试动作可控性、物体与角色一致性、力学、流体行为、因果链和光照。作者报告说,视觉相似可能掩盖物理状态与因果结果的偏差。这篇论文评测的是当时的 Project Genie,不能当作 11 月发布的 Genie 4 开发者 API 的基准成绩。它在此提供的价值是测试原则:将生成世界与参考系统配对,检查状态,而非只看外观。 WMEval 论文
在把世界模型接入下游 Agent 前,这一原则就很有用。开发者可定义一条可重复动作路径,查看镜头控制是否有效、物体是否仍在预期位置,以及编辑后状态如何变化。机器人研究关心生成轨迹能否保存足够的物理量和因果结果,以满足实验要求。创意原型可能更重视视觉响应和氛围。不同用途需要不同的验收标准,应按标准判断模型是否合适。
WMEval 还说明了为什么单一感知指标不足。一段生成视频可以与参考画面很像,但物理过程或物体关系已经偏离;反过来,模拟行为连贯,画面风格却可能不同。该论文的协议同时使用模拟器派生状态和感知指标。它没有评测 11 月推出的 API,但说明在称任何世界模型为可靠模拟器之前,需要什么类型的独立证据。 WMEval 方法
API 合约比实时 Agent 更窄#
开发者应区分 Genie 4 的交互 API 与其他 Gemini 接口。Genie API 创建并串流一个世界。文档将实时语音 Agent、麦克风和摄像头理解、工具调用与 Google Search grounding 指向 Gemini Live。这可以避免类别混淆:原生音频生成意味着世界能输出同步声音,不代表它能听见实时来电者或理解网络摄像头。世界内可以有生成对白,用户仍以文字、初始图片或键盘动作输入。 Google 关于 Genie、Omni 和 Live API 的选择指南
世界内的文本提示不等于结构化动作调用。Genie 4 文档列出的不支持项包括函数调用、结构化输出、实时用户音频/视频输入,以及已完成会话的恢复。开发者可将生成流接入大型产品的一部分,但若要查询外部数据、操作系统或保持持久应用状态,仍需另一个模型或确定性应用逻辑。这种架构可用于原型,产品预期必须明确这些边界。
访问控制需要关注。API 的浏览器示例由服务器创建 interaction 并生成该会话范围的临时授权令牌。永久密钥留在服务端,浏览器只拿到临时令牌。开发者应采用此模式,而不是把长期密钥嵌进客户端。会话创建、令牌作用域、结束流程和用量核算都是应用安全设计的一部分。 Google 关于临时授权令牌的说明
AI Studio 降低了尝试门槛,提供交互画布和起步应用。API 允许把生成流接入自定义界面和监控。团队可以先在画布中感受提示、移动和音频如何工作,再用脚本动作序列构造 API 实验。这两个阶段应保持同样的测试标准。引人入胜的 Studio 会话有助于发现方向,但生产决策需要在目标传输、网络区域、会话长度和用户流程中进行测量。 Google 开发者发布公告与 AI Studio 画布
什么样的证据足以支持原型#
好的首轮测试可以很短。用文本提示和参考图像设定场景,设计一条可重复路径,包含几次移动、一次文字改动和返回早先视角。测量首帧延迟、键盘响应、文字改动延迟与生成成本。检查路径上的地标和物体是否保持一致。再按目标用户的网络条件重复测试。这能在添加大型应用前,分别回答输入、操控和状态问题。
会话清理应从第一天纳入测试。记录 complete() 何时停止服务端生成,浏览器断开时发生什么,以及超时客户端是否留下活动 interaction。关闭标签页会断开传输,却未必结束计费。后端应管理会话期限,并关闭遗弃任务。跟踪每位用户的生成秒数、提示重试和未完成会话。这样,令人期待的原型才可能变成可预测的产品成本;否则测试也会暴露该格式对目标用途过于昂贵。
对交互式学习或设计工具,应围绕用户能感知的结果定义价值。编辑是否足够快地出现?学习者探索时是否能理解状态变化?设计师是否能保留必须固定的视觉特征?如果产品需要精确文字、物体数量或长时间连续性,就直接测试这些要求。API 文档已经点出漂移、文字渲染和会话时长限制,因此首个原型应按任务验证这些约束,而不应只从演示视频推断能力。
对 Agent 或机器人训练,评测要求更高。团队应将生成轨迹与参考模拟器或受控结果比较,测试重复动作序列,并检查物理和状态失败。还应测量 Agent 从生成环境转移到外部模拟器或实体系统的能力。Google 将 Agent 训练和机器人研究称为未来用途。产品说明和交互 API 提供了实验入口,却不能证明迁移问题已经解决;独立评估仍不可缺少。
API 发布改变的是开发者访问方式。它降低了试验和构建的阻力,并把连续世界生成变成有计量成本、有状态的会话。开发者得到多种传输方式、实时控制、同步音频和 AI Studio 画布,也承担付费密钥、服务端会话管理、美国服务区域、短交互时长和视觉或物理漂移的限制。范围明确的原型能回答这种组合是否有用。关于模拟、机器人或持久交互世界的广泛判断,还需要超出发布演示的证据。