Открытию для разработчиков предшествовал отдельный запуск. 18 ноября Google начала предоставлять новую версию Project Genie подходящим подписчикам Google AI Ultra, а пользователи AI Pro могли встать в лист ожидания. На следующий день компания объявила доступ Genie 4 через Gemini API и Google AI Studio. Таким образом, модель перешла от интерактивного продукта для подписчиков к API-сценарию с жизненным циклом сессии, транспортами, аутентификацией и оплатой использования. Это не превращает её в универсальный игровой движок или постоянный физический симулятор. Объявление Google о доступе для разработчиков · Объявление Google о запуске Project Genie
Конкретное предложение — задать мир текстом, опорным изображением или обоими способами, а затем передавать клавиатурные действия и изменения текста во время приёма генерируемого видео со синхронным аудио. Поток работает в 720p и 24 кадрах в секунду. Google говорит, что так проще исследовать прототипы интерактивных приложений, пространственные идеи и среды обучения агентов. Первые приложения всё равно должны учитывать короткую сессию, серверы только в США, цену генерации и возможный дрейф состояния. Именно это определит, станет ли эффектная демонстрация полезным продуктовым экспериментом. Документация Genie 4 Interactions API
API даёт второй путь доступа#
Обновление Project Genie от 18 ноября и объявление для разработчиков от 19 ноября предназначены для разных аудиторий. Первое предлагает подходящим подписчикам AI Ultra браузерный интерфейс с агентом построения миров и галереей сообщества. Второе даёт разработчикам доступ через Gemini Interactions API и интерактивный canvas AI Studio. Потребительский интерфейс не равен API-ключу, а API-релиз не сводится к ссылке на тот же продукт по подписке. Разработчик получил поддерживаемый путь для создания сессии, подключения клиента, передачи событий управления и остановки генерации на сервере. Google о доступе подписчиков к Project Genie · Google об API-доступе
Это меняет и круг тестирующих, и их контроль. В Project Genie подписчик создаёт, изучает и изменяет мир в готовом продукте Google. Через API разработчик может встроить сессию в прототип, подключить собственные элементы управления и решить, как видео и звук войдут в приложение. AI Studio предоставляет canvas и стартовые приложения для знакомства с процессом до разработки крупной интеграции. Путь один использует готовый интерфейс, другой раскрывает механизм сессии. Документация Genie в Google AI Studio
Google описывает Genie 4 как систему генерации миров, объединяющую компоненты семейства Gemini. В карточке модели сказано, что Gemini Omni Flash отвечает за сходство симуляции с внешним видом и поведением реального мира, а модели Gemini обеспечивают рассуждение для поддержания согласованности и продолжения сцены. На входе — текст, изображения и действия пользователя в реальном времени, на выходе — видео со звуком. Это описание продукта и документации от Google, а не независимое измерение точности симуляции. Карточка Genie 4 · Введение в Interactions API
Отличие от обычной генерации видео состоит в интерактивном цикле. Видеомодель выдаёт клип по запросу. Genie 4 продолжает генерировать кадры, пока пользователь управляет движением или меняет сцену. Документация API называет варианты использования: управляемые миры реального времени, игровые визуальные прототипы и пространственное исследование. Офлайн-клипы, монтаж и повышение разрешения Google относит к другой модели Gemini Omni. Для голосовых агентов реального времени, микрофона и вызовов инструментов она указывает на Gemini Live. Это важно: создание аудио не означает, что модель мира слышит голос пользователя. В сцене может звучать сгенерированный диалог, но пользователь вводит текст, задаёт начальное изображение или нажимает клавиши. Руководство Google по выбору модели
Текст и изображение задают начало потока#
Сессия начинается одним событием world_setup. Оно может содержать текстовое описание, опорное изображение 16:9 или оба элемента. Затем разработчик отправляет user_action для собственного управления движением и камерой, например WASD и стрелками, либо текстовое событие input для изменения текущей сцены. Сервис генерирует видео 1280×720 со скоростью до 24 кадров в секунду и стереоаудио 48 кГц. Google приводит примеры: изменить погоду, добавить персонажа или направить действие в другую сторону, продолжая исследование. Это удобнее для интерактивного прототипа, чем склеивать последовательность отдельных офлайн-клипов. Протокол событий и формат вывода API · Объявление Google для разработчиков
У взаимодействия два темпа. По документации Google, при малой сетевой задержке клавиатурные и камерные действия влияют на картинку примерно за 0,2–0,5 секунды. Текстовые запросы на изменение проходят планирование мира и могут занимать одну-две секунды. Первый кадр после настройки сцены иногда появляется через пять-девять секунд. Это сроки описанного процесса при низкой RTT, не гарантия обслуживания для каждого региона и приложения. При проектировании нужно отделять быстрое управление движением от более медленного смыслового изменения сцены. Временные характеристики взаимодействия Google
API поддерживает два транспорта. Для браузерных приложений Google рекомендует WebRTC, так как браузер умеет непосредственно декодировать медиапотоки и буферизовать сетевые колебания. Python- и Node.js-сценарии, захват кадров и конвейеры могут использовать WebSocket с закодированными событиями аудио и видео. Google отмечает дополнительные накладные расходы WebSocket и возможные задержки TCP при потерях пакетов. Канал данных WebRTC ограничивает управляющее сообщение 64 КБ, поэтому документация советует держать закодированные референсные изображения меньше 48 КБ либо передавать крупные файлы через WebSocket. Выбор транспорта влияет на сложность интеграции и характер задержки. Сравнение WebRTC и WebSocket от Google
При работе в браузере долгосрочный API-ключ должен оставаться на сервере. Пример Google создаёт interaction на backend и выпускает эфемерный токен, ограниченный этой сессией. Браузер получает краткоживущий токен и подключается по WebRTC или WebSocket. Так постоянный ключ можно не хранить в клиентском коде. Создание сессии, область действия токена, штатное завершение и учёт расходов становятся частью безопасности приложения. Рекомендации Google по эфемерным токенам
Звук здесь является синхронным результатом генерации. Google указывает музыку, окружающие звуки и интерактивный диалог как возможные выходы мира. Текущая документация передаёт аудио в потоке вывода, но в разделе ограничений говорит, что Genie 4 не принимает прямой звук с микрофона или видео с веб-камеры. Вход — текст, одно стартовое изображение и клавиатурное или камерное управление. Также нет вызовов функций, grounding через Google Search и структурированного вывода. Разработчик может добавить контроль приложения вокруг потока, но сам endpoint генерации мира не выполняет эти функции агента. Ограничения API Genie 4
Оплата по секундам превращает завершение в контроль расходов#
Для Genie 4 нужен ключ Gemini API платного уровня. Google указывает оплату 240 выходных видеотокенов за кадр, то есть 5 760 токенов в секунду при 24 кадрах, или примерно 0,10 доллара за секунду с включённым стереоаудио. По указанной цене минута генерации стоит около 6 долларов, а полностью использованная двухминутная сессия — около 12 долларов, без учёта повторов и других расходов приложения. Точный счёт зависит от длительности генерации и действующего тарифа. Для непрерывного потока цена быстро вырастет, если запускать сессию при загрузке страницы или продолжать генерацию во время простоя пользователя. Документация Google о стоимости Genie 4
Завершение сессии нужно не только для соединения, но и для бюджета. API различает полное окончание interaction и отключение локального клиента. Вызов session.complete() просит сервер остановить генерацию мира и тарификацию токенов. Закрытие вкладки или отсоединение клиента обрывает транспорт, но не немедленно завершает серверную генерацию. Приложению следует явно закрывать сессию при выходе, закрытии страницы или истечении тайм-аута бездействия. Если оставить interaction открытым, расходы могут продолжаться после того, как пользователь решил, что всё завершилось. Документация Google о жизненном цикле сессии
Регион сервера влияет и на отзывчивость. Google указывает, что Genie 4 обслуживается только из дата-центров США и RTT выше 150 миллисекунд заметно задерживает клавиатурное управление. Пользователь браузера в Европе или Азии может получить более медленную реакцию управления даже при штатной работе модели. Разработчику следует проверить WebRTC из целевого региона и решить, нужен ли североамериканский relay. Это особенно важно для быстрых взаимодействий. Рекомендации Google о регионе и задержке
Оплата за секунды также меняет сравнение экспериментов. Прототип, генерирующий несколько секунд, может стоить недорого. Полное исследование до лимита, повторные запуски после дрейфа или несколько оставленных открытыми сессий быстро увеличат расход. Следует считать стоимость всей сессии, включая начальную настройку, повторные попытки, простой и аудио-видео генерацию, а не только время нажатия кнопок. Команда может ограничить бюджет сессии, показывать оставшееся время и завершать серверный interaction. Это продуктовые решения для управления тарифицируемым потоком.
Мир создаётся в пределах скользящего временного окна#
Genie 4 генерирует интерактивные кадры, но не поддерживает постоянный граф 3D-сцены с детерминированным состоянием каждого объекта. Google сообщает, что следующие кадры зависят от пользовательских действий и текстовых изменений. Документация предупреждает: ориентиры, двери и кнопки могут смещаться или сбрасываться, если пользователь смотрит в другую сторону более восьми секунд, разворачивается на 360 градусов или вносит несколько сложных изменений. Визуальная стабильность может снизиться спустя 60–90 секунд, жёсткий лимит — 120 секунд. Для короткого прототипа времени может хватить. Для многоминутной симуляции, где объект должен оставаться на координате, это ключевое ограничение. Документация Google о стабильности мира
Предел в одну-две минуты определяет и значение слова «мир» в этом интерфейсе. Сцена может выглядеть непрерывной, хотя система предсказывает новые кадры по скользящему временному окну. Объект, вернувшийся в поле зрения, может уже иметь изменившееся состояние. Кадр за кадром результат всё ещё может выглядеть правдоподобно, не проходя проверку постоянного состояния. Короткая связная сцена не доказывает долговременную память. В карточке Google устойчивость объектов, сложные физические взаимодействия, точность звука, читаемый текст, пространственную точность и долгосрочную согласованность также относит к активным направлениям исследований. Ограничения модели Genie 4 · Подробные ограничения API
Текстовые изменения имеют другую задержку, чем движения. При малой RTT WASD и стрелки влияют на кадр менее чем за полсекунды. Текстовая инструкция проходит планирование мира дольше. Это подсказывает схему интерфейса: клавиатура отвечает за непрерывное движение, а текст — за крупные смысловые изменения. Не следует ожидать, что каждое текстовое событие сработает как мгновенная игровая кнопка. API предоставляет оба вида контроля, но на разных временных уровнях. Рекомендации Google по задержкам
Читаемый текст и точный подсчёт предметов имеют отдельные ограничения. Google говорит, что вывески, счётчики и часы могут деформироваться, а число объектов дрейфует при движении камеры. Надпись чаще выглядит чётко, если она присутствует в начальном описании мира. Пространственный прототип, зависящий от меток, приборной панели, фиксированного числа объектов или точных показаний, потребует отдельной проверки. Визуальная правдоподобность не заменяет точное состояние, нужное приложению. Пользователю может нравиться сцена, даже если она не выполняет задачу с точными данными.
Входные данные также проходят фильтры безопасности. Документация предупреждает, что запросы или опорные изображения с узнаваемыми реальными людьми, публичными фигурами или защищённой брендом интеллектуальной собственностью могут быть заблокированы на старте или завершить активный поток. В объявлении Google сказано, что созданные видео и звук маркируются SynthID, а вход и выход проходят safety-проверки. Это влияет на возможные приложения и обработку неожиданного завершения сессии. Полезно проверить эти ситуации на безобидных пограничных случаях, а не предполагать, что каждый запрос, кажущийся приложению нормальным, стартует. Google о входных данных и безопасности · Объявление Google о запуске и SynthID
Модель мира ещё не является полным симуляционным стеком#
Google называет потенциальными применениями генерации миров кинопроизводство, пространственный дизайн, обучение и подготовку агентов или роботов. Это перспективные направления, но реалистичный фон — лишь одно требование к обучающей среде. Агент должен стабильно получать действия, сохранять состояние объектов, следовать полезным причинным правилам и давать результат, связанный с задачей. Описанные Google ограничения Genie 4 указывают на текущую работу над физическими взаимодействиями, пространственной точностью, причинностью и постоянством. Чем серьёзнее последствия симулированного решения, тем важнее эти пробелы. Предназначение и ограничения по версии Google
Независимые исследования по оценке моделей мира также подчёркивают эту разницу. Опубликованный до ноябрьского API релиза WMEval сравнивает интерактивные модели с симуляциями Unity, воспроизводя одинаковые траектории действий. Девять сцен проверяют управляемость, согласованность объектов и персонажей, механику, движение жидкости, причинные цепочки и освещение. Авторы отмечают, что визуальное сходство может скрыть расхождение физических состояний и причинных последствий. В статье тестируется доступная на тот момент версия «Project Genie»; её нельзя считать оценкой Genie 4 API, открытой разработчикам в ноябре. Здесь ценен метод тестирования: сравнивать с эталонной системой и проверять состояние, а не только картинку. Статья WMEval
Этот принцип полезен ещё до подключения модели к downstream-агенту. Разработчик задаёт повторяемую траекторию, проверяет работу камеры, расположение ожидаемого объекта и его состояние после правок. В робототехнике нужно понять, сохраняются ли физические величины и причинные результаты, необходимые эксперименту. В творческом прототипе могут быть важнее зрительная отзывчивость и атмосфера, чем точная механика. Пригодность определяется критериями конкретной задачи.
WMEval также иллюстрирует, почему недостаточно одной перцептивной метрики. Сгенерированное видео может быть похоже на референс, хотя физика или отношения объектов расходятся; связный симуляционный процесс может отличаться визуально. Протокол статьи сочетает состояния, рассчитанные симулятором, и перцептивные меры. Исследование не проверяло API, выпущенную в ноябре, но показывает, какие независимые свидетельства нужны, прежде чем называть модель надёжным симулятором. Методика WMEval
Контракт API уже, чем у live-агента#
Разработчику нужно отличать Genie 4 API от других интерфейсов Gemini. Genie API создаёт и передаёт поток мира. Документация предлагает Gemini Live для голосовых агентов реального времени, распознавания с микрофона и камеры, вызова инструментов и Google Search grounding. Это предотвращает категориальную ошибку: нативная генерация аудио означает, что мир выдаёт синхронный звук, но не то, что он слышит звонящего или обрабатывает живую веб-камеру. В мире может звучать сгенерированный диалог, а пользователь по-прежнему вводит текст, начальное изображение или нажатия клавиш. Сравнение API Genie, Omni и Live от Google
Текстовая команда внутри мира также не равна структурированному вызову действия. В документации перечислено отсутствие function calling, структурированного вывода, входного видео и аудио от пользователя в реальном времени, а также продолжения завершённой сессии. Разработчик может встроить сгенерированный поток в более крупное приложение, но для поиска внешних данных, транзакций или постоянного состояния приложения потребуется другая модель или детерминированная логика. Такая архитектура подходит прототипу, если её границы понятны до формирования ожиданий от продукта.
Управлению доступом следует уделить внимание. Пример API создаёт interaction на сервере и выпускает эфемерный токен для конкретной сессии. Постоянный ключ остаётся на backend, браузеру выдаётся только краткосрочный токен. Следует применять такую же схему, не встраивая постоянный ключ в клиент. Создание сессии, область токена, завершение и учёт расхода входят в систему безопасности приложения. Рекомендации Google по эфемерным токенам
AI Studio облегчает знакомство благодаря интерактивному canvas и стартовым приложениям. API даёт подключить поток к собственной оболочке и телеметрии. Команда может сначала посмотреть в canvas, как работают подсказки, движение и звук, затем построить API-тест с повторяемыми действиями. Критерии измерения нужно сохранить одинаковыми. Эффектная сессия в Studio полезна для изучения, но производственное решение требует замеров на целевом транспорте, сетевом регионе, длине сессии и пользовательском сценарии. Объявление Google об API и canvas AI Studio
Какие доказательства нужны для прототипа#
Первый тест может быть коротким. Создать мир текстом и референсным изображением, затем задать повторяемый маршрут с несколькими движениями, одной текстовой правкой и возвращением к уже виденному месту. Измерить время первого кадра, задержку управления клавишами, задержку текстовой правки и стоимость генерации. Проверить, остаются ли ориентиры и предметы стабильными. Повторить тест на сети целевых пользователей. Это отдельно отвечает на вопросы о вводе, управлении и состоянии, до разработки большого приложения.
Завершение сессии нужно проверять с первого дня. Записывать, когда complete() останавливает генерацию на сервере, что происходит при отключении браузера и не оставляет ли тайм-аут активный interaction. Закрытие вкладки отсоединяет транспорт, не обязательно завершая расходы. Backend должен ограничивать время сессии и закрывать заброшенные задачи. Важно отслеживать секунды генерации на пользователя, повторы запросов и незаконченные сессии. Так прототип может стать системой с предсказуемой стоимостью или показать, что формат слишком дорог для задачи.
Для интерактивного обучения или дизайна ценность следует определять по наблюдаемому результату. Появляется ли правка достаточно быстро? Понимает ли учащийся изменение сцены? Может ли дизайнер сохранить обязательные визуальные характеристики? Если нужны точные надписи, количество объектов или длительная непрерывность, это нужно тестировать непосредственно. Документация уже описывает дрейф, проблемы с текстом и лимит сессии. Прототип должен измерять соответствие этим требованиям, а не полагаться на демонстрационный ролик.
Для обучения агентов или роботов планка выше. Команде следует сравнить траектории с эталонным симулятором или контролируемыми результатами, повторять одни и те же действия и анализировать физические сбои и состояние. Также важно проверить перенос агента из генерируемой среды во внешний симулятор или реальную систему. Google называет обучение агентов и исследования робототехники будущими применениями. Документация и API позволяют экспериментировать, но не решают вопрос переноса; необходима независимая оценка.
API релиз меняет доступ разработчиков. Он уменьшает трение при тестировании и создании приложений вокруг Genie 4 и превращает генерацию мира в тарифицируемую сессию с состоянием. Разработчики получают варианты транспорта, управление в реальном времени, синхронный звук и canvas AI Studio. Также нужны платный ключ, управление серверной сессией, обслуживание в США, короткий горизонт взаимодействия и обработка визуального или физического дрейфа. Ограниченный прототип покажет пользу такого сочетания. Широкие заявления о симуляции, робототехнике и постоянных интерактивных мирах требуют доказательств помимо запускающего демо.