微软现已开放 Aion 1.0 Instruct 的下载。这是约 22.9 亿参数的文本模型,主仓库建于 11 月 18 日,采用 MIT 许可,非量化权重文件约 4.58 GB。另有约 1.3 GB 的 ONNX WebGPU 包,以较低精度存储权重。开发者可用这两种下载在符合条件的设备上试用。微软计划另行在 12 月开始让符合条件的 Windows Insider 设备转向 Aion,并将面向正式版设备的过渡目标定在 2027 年 1 月下旬。 微软模型卡 · WebGPU 版本 · Windows 过渡公告
值得关注的是,应用可以借助公开权重处理文本,无需把每次请求都交给模型服务。阅读软件可以改写一段话,研究工具可以从一堆笔记里提取标题,文件阅读器在断网时仍有机会完成摘要。难点转到了应用一侧。它得让模型装得进设备,适应用户的任务,并在各种机器上保持可靠。权重适合用来试验一个目标明确的文本功能。文件大小和许可却很难告诉我们,下一个真实用户打开自己的文档时,应用能不能处理好其中的文字。
三种获得 Aion 的方式#
通用下载面向自行选择运行时的开发者,包含权重、分词器、模型代码和聊天模板。微软给出约 22.9 亿参数,权重使用 bfloat16,打包开销之前每个参数占两字节。约 4.58 GB 的文件大小与这个数量相符。把权重加载来做推理时,运行时本身、处理输入与生成文本所用的张量也会占内存。文件大小能帮助估算下载量。一个功能至少需要多少内存,还取决于运行时、上下文和设备如何与其他程序共享内存。 Aion 仓库文件
WebGPU 版则是同一模型家族的另一种打包方式。它采用 4 位权重,激活值和生成过程所用的缓存保持半精度。一个 ONNX 模型图与单独的权重数据合计约 1.3 GB,按十进制文件大小计算约为 bfloat16 权重文件的 28%。应用得把权重下载到设备时,这个降幅很实际。运行仍要有兼容的 GPU 和运行时,权重本身体积变小之后也还有其他内存开销。模型卡写明,配合兼容的 ONNX Runtime,可面向浏览器和原生 WebGPU。 ONNX WebGPU 版说明
还有计划中的 Windows 内置版。微软称会进一步优化模型,并配套一个本地内容审核模型。在受支持的 Windows AI 功能中,Aion 将接替 Phi Silica。11 月 13 日的过渡公告将 Insider 部署的计划起点列为 12 月 4 日,正式版设备的目标时间为 1 月下旬。符合条件的 GPU 也会逐步扩大。对 Windows 应用开发者,推送时间和达到条件的设备,比 Hugging Face 仓库何时公开更直接。用下载版做原型可以了解这个模型家族。要测试系统组件,还要等拿到操作系统实际下发的版本和设备。 微软 Windows 过渡时间表
这三条路有不同的用处。做跨平台实验的人可以拿公开权重并登记所用文件。Windows 开发者可试用预览框架,为系统推送做准备。浏览器团队可以评估 ONNX 版,自行负责交付、加速与内存。底层都叫 Aion,一种路径受设备浏览器制约,另一种受 Windows 分批推送制约。要做有意义的兼容测试,先说明走了哪一种路径、使用哪一个模型文件,才能判断换一台机器后,其他读者能否期望类似结果。
可以试装,下载和启动仍需时间#
用户在拿到本地模型第一段回答之前,先遇到的是下载。假设持续 50 兆比特每秒,传输 1.3 GB 要约三分半钟,尚未计入协议开销与初始化。同等连接下,4.58 GB 要十二分多钟。这是一个用来理解规模的假设。应用能缓存时,用户也许只等一次。一个用户在首次启动时跳过了功能,以后可能就没机会知道,模型准备就绪后运行有多快。安装、首次加载与热启动后的响应,应当分别测量。
公开下载只是可靠本地体验的一部分。网页应用可能需要应付断网、浏览器可用存储,以及模型文件更新后的缓存。原生应用在相应系统规则下也要解决部署问题。受管理的组织可以在局域网分发模型,或把它放进应用更新。每种选择都影响哪些机器能立即使用,哪些先要下载。ONNX Runtime 的网页文档讨论了大模型文件大小、内存和外部数据。更小的文件让设计更有机会成立,首次启动仍需要反映实际传输与初始化过程。 ONNX Runtime 网页大模型文档
兼容设备同时要做好几件事。它要加载并准备模型、处理输入,然后循环生成文本。有独立 GPU 的笔记本、拿部分系统内存当显存的机器,以及使用另一种执行后端的机器,在速度和内存使用上可能相差很大。微软的预览示例也提到神经处理器初次编译,以及后续复用缓存。这是特定预览路径与先决条件下的情况。一轮公平的测试会记录模型版本、设备、运行时、输入长短、第一段输出的等待时间和完整耗时。预热后只测一个每秒速度,会漏掉日常使用时的几项时间成本。 微软 Aion 预览示例
不按请求交费,运行也有持续成本。本地工作占存储、内存、电力和处理能力。插着电的工作站上,这些开销可能几乎感觉不到。有人靠电池阅读长文档,可能会感到风扇转起来、机身变热或电量消耗更快。适合优先挑那些明显受益于更短连接等待或离线可用性的功能。评估时可以跟踪跑摘要期间界面顺不顺、其他工作被打断多少次,以及重复使用的次数是否值得一直留着模型。
应用大小和模型大小因此指向不同的产品决定。一个安装包仅 20 MB 的工具,可以把 1.3 GB 模型做成按需启用的能力,显示进度,也允许先使用其余功能。专门的研究应用则可以把权重纳入受管桌面环境的安装,因为负责人知道使用者会用到它。两种选择都可以运行同一模型。区别在于该功能多久给人带来一次值得这次安装的价值、怎样更新到兼容版本,以及磁盘或内存吃紧时如何处理。
上下文长度是词元上限#
主模型卡给出的上下文是 32,768 个词元。WebGPU 版默认的 4,096 包括提示和生成文本,配置可提高到模型的上限,但需预分配更多缓存。接收长文档的流程要给自己的指令与输出留空间,也要在运行时放得下。词元是输入拆分后的片段,与字数、页数没有固定对应。屏幕上看起来差不多的两份文件,可以因为语言、表格或结构用去不同容量。规格给上限,部署决定用户在实际设备上能接近它多少。 上下文与 WebGPU 配置
例如一份十二页的报告,内有一张预算表和四项带警示的建议。读者想要简短的摘要,四项警示和对应金额均要留下。应用可以检查警示是否进入答案、数字是否准确,以及引用处能否支撑这些说法。测试在输入没有超长之外又多问了一步。模型能读进一整份文档,仍可能漏掉中间的细节。应用怎样把文件转成文字也影响结果。如果表格变成一堆没有标记的数字,给模型更多上下文也留着同样的歧义。
不同功能适合不同结构的输入。改写通常需要选中的段落和语气要求。会议整理要留人名、决定和可复查的发言位置。回答长手册的问题时,可以先挑出相关段落送进模型,同时让读者看得到这些段落。缩短材料能节省内存,也可能帮助模型聚焦。最好记录处理的是整份文档还是检索出的片段,检索错了和生成写错,需要不同修复。读者最后看到的都是一个有问题的回答。
模型卡里的知识截止日期是 2025 年 12 月。这不支持假定模型从训练中知道该日期后发生的每件事。本地文档可以提供当前事实,应用也可在隐私方案允许时提供明确的查询。问今天的价格或最新的政策,和改写当前打开的政策文件是两种任务。让读者知道结果建立在哪份文档上,并展示对应段落,可以减少理解错误。文字通顺很容易看到,答案清不清楚自己的依据,需要专门设计测试。 模型综述和知识截止日期
公开测试能够支持哪些判断#
微软给出的 MMLU 为 55.15,严格 IFEval 平均值为 83.90,IFBench 的宽松提示级指标为 32.00。任务和指标各不相同。这些成绩指出哪些方面可以进一步测试,包括常识和同时满足多项要求的能力。某个应用多大概率达到质量标准,仍需另测。微软也写了事实细节和复杂推理的限制。WebGPU 卡片称量化版的对比数据将随后给出。团队若打算使用这个版本,应观察这个版本在它要支持的文档类型上的表现。 微软参考评测 · WebGPU 评测说明
语言也得这样看。微软列出包括英语、法语和中文在内的八种语言,并说明不同语言的质量可能有差别。俄文没有列入这八种。改写功能的测试集可放日常消息、专业词汇、双语人名和明确的语气约束。做摘要则可以放必须准确保留的表格和名字。只用某种语言里打磨得很好的示例,容易错过小模型怎样处理真实标点、缩写或混合语言。结果应让用户明白哪些功能和语言可放心使用。 支持的语言与限制
对比 4 位版和非量化版也要说明条件。较低精度的权重缩小了文件,同样的输入下可能对输出质量或格式支持产生影响。硬件和运行时又可独立影响延迟。小范围评估可以在两版上使用相同的提示、停止条件和示例,然后分别比较首段输出时间、峰值内存和几乎不用编辑就能使用的答案比例。对改写而言,遗失信息可能比文风更重要。对结构化提取,形状和事实是否保住又可能更重要。哪个包足够小且好用,要在服务的设备和读者那里量出来。
通用下载还有个工程环节。模型卡写的是使用仓库自带代码的 Transformers 配置,下载模型与运行仓库代码是两个动作。在受管环境中使用时,团队可指定看过的修订版本,审查运行依赖,再把它与受支持的 ONNX 路径在部署前对照。这是软件供应链需要做的普通工作,也是应用质量的一环。一个宣称本地运行的模型,安装期间仍可能需要拉依赖和资源。要承诺断网可用,就要在这些文件已就绪时完整验证离线运行。 主模型运行条件
本地处理改变了责任所在#
文档在设备上读入、处理和返回时,本地运行的隐私好处才具体。模型主机不必接到那条请求。应用的其余部分还得看自己的处理方式。阅读器可能向账号同步原文,诊断服务可能收集片段,混合功能可能在设备完成不了时建议改用远程模型。这些设计决定了什么会离开设备。没有足够内存、模型还没下载完,或结果质量低时,用户需要能理解接下来会发生什么。应用能说清走了哪条路径、存了哪些文件,本地模式就更有意义。
一次可做的核查是打开含合成文本的文档,完成初次下载,断开网络后重复请求。在应用承诺支持的情况下,这能验证功能是否可用。重新联网与登出可以看其他边界,例如存储会不会随账号变化,或者离线结果会不会排队同步。用户应能知道下载之前有哪些功能还能用,之后怎样移除文件。当同一个产品提供本地和托管处理时,这些细节让人能够理解自己启用了什么,无需熟悉模型运行时内部。
可靠的接入也要区分开放权重与 Windows 所计划的保护措施。微软表示,打算在 Windows 使用的版本还会配套本地审核模型。直接下载的开发者需要评估自己实际引入的组件,以及任务对用户的影响。生成一份供检查的摘要,范围比自动转发它小。私人笔记的读者可以检查草稿是否忠实并修改。如果另一个系统把顺畅的文字当成指令,后果就改变了。试用阶段先把生成结果作为可审阅的建议,使用者也更容易分辨模型在哪些地方有帮助。
使用本地模型的流程仍可以调用常规应用功能。区别在于谁发起动作,如何授权。文本工具可以提议一个标题,让读者决定是否采用。无障碍应用可以生成通俗解释,同时保留原文。记笔记时可以给可能的决定做标记,请人确认。这些用法的价值在于,不够完善的结果也容易检查。统计模型首次就给出可用答案的比例,比称它是全能助手更能说明它的用处。观察初始功能的实际表现后,还能安排下一项职责。
宽松许可使应用团队可以在许可范围内分发和研究公开权重。模型卡也给出了适用范围与限制。操作系统发行有自己的交付过程,预览框架则记录了相关验证包的适用条款。把预览包、开放权重和未来 Windows API 纳入同一产品之前,应当说明实际引入哪一种组件,由哪一种更新机制维护。下载权重停留在可固定的版本,而系统服务继续演进时,登记这个选择有助于减少意外。 权重许可 · Windows 预览包说明
Windows 过渡要单独验证#
微软称,使用常见 Windows AI API 的应用在从 Phi Silica 切换时,通常只需要少量调整。它特别提到自定义提示、定制 LoRA 与专门的输出解析,包括为特定地区文本溯源要求加入的不可见水印。应用依赖前一个模型的准确措辞时,即使 API 仍请求成功,行为也可能变化。对比要看输出与客户端流程,包括收到意外文本后怎样恢复。使用结构化输出的应用可在两个模型上保留一组难例,用于后续测试。 微软的迁移说明
设备更新时间不同,也会影响实际体验。一个机构有的机器仍用旧模型,有一小批参加预览,还有一些在普及开始后先收到了新版本。在内部质量测试中记录运行时与版本,可以看见变化是否集中在某一批机器。过渡期间,应用可以给两个版本保留一套范围有限且充分验证的基线。假定所有设备同时切换会让问题变得难查。微软公布的目标时间适合用来安排试点,也给正式版本到来之后验证提示与解析留出时间。 Windows AI 模型文档
这次开放下载,使按实际条件启动试验容易了一些。先选一项用户手头设备上的真实文本任务,再选用户装得下的包,观察模型在已预热、初次启动和断网时的质量与响应。覆盖应用承诺服务的语言,记录模型从哪里来、哪些东西发往外部。答案足够可靠的话,浏览器版或原生包可以给这一个任务增加有价值的本地路径。Windows 推送到相关机器之后,还有另一种使用方式可以检查。最值得看的,是当本地便利与实际运行成本摆在一起时,用户还会不会持续选择这项功能。