Aleph Alpha 公开 Kolibri 权重,模型卡写 10 月 3 日,仓库在 10 月 2 日已经建好
Aleph Alpha 博文页面标着 03/10/2026,题为 Kolibri Has Landed: A Sovereign Open-Weight Model。文中写当天发布 Kolibri:面向英语和德语的混合专家模型,总参数 78.1B,每个 token 激活 3.46B,按 Apache 2.0 提供完整权重,放在 Hugging Face。模型卡把 Release Date 写成 2026 年 10 月 3 日,总参数写成 78,103,074,560,激活参数写成 3,457,573,120,许可证为 apache-2.0。知识截止日期在博文的表和模型卡里都是 2026 年 6 月 18 日,英德相同。
博文的对照表写,Kolibri Origin 没有公开发布,预训练完成于 2026 年 6 月 11 日;Kolibri 预训练完成于 2026 年 9 月 11 日,Release 一栏写 2026 年 10 月 3 日。Origin 是 30.6B 总参数、每 token 激活 3.27B;Kolibri 是 78.1B 和 3.46B。预训练 token 从 7.51T 增到 20T。两版都是 50 层;Kolibri 全部是 MoE,并有 1 个共享专家。专家从 128 个里激活 8 个,改为 384 个里激活 6 个。最长训练长度从 65,536 改为 262,144。推理档位写成 none、low、medium、high。
博文开头写上下文最长到 100 万 tokens。同一篇的表把预训练上下文写成 16,384,最长训练长度写成 262,144。模型卡写上下文长度为 1,048,576 tokens,并建议为了服务效率和复杂任务不超过 262,144 tokens。博文写训练用 768 张 B200:16k 上预训练 20T token、用了 21 天;64k 的中期训练 3.44T token;256k 的长上下文适应写成 200B token。模型卡把这段长上下文扩展写成 201B。德文在博文里约占预训练 token 的 21.3%,英文约 62%,代码约 14%;模型卡写成约 62.5% 英文、约 23.9% 德文、约 13.6% 代码。博文写这 21 天有 38 次计划外中断,大约每 10,000 GPU 小时一次,流水线自动换节点,并从最多回退 250 步的检查点继续。
博文写评测用他们自己的 harness,适用时各模型取各自最高推理档。表上 Kolibri 的 AIME 2025 英文为 96.9,GPQA Diamond 英文为 84.3,LiveCodeBench v6 为 85.9;同一张总表里 Kolibri 的英文综合分为 75.5,Qwen3.8 27B 为 80.2。模型卡写公开这份权重是 float8_e4m3fn、按 128×128 分块,激活动态量化,评估时用 FP8 KV cache;嵌入、LM head、norm 和 MoE router 为 bfloat16。显存足迹写成约 78GB。最低配置写成 2×A100 80GB、2×H100 SXM5、1×H200、1×B200 或 1×B300。
Hugging Face 接口显示 Aleph-Alpha/Kolibri-1 的 createdAt 为 2026-10-02T05:54:02Z,lastModified 为 2026-10-03T08:43:53Z。BF16 仓库 Aleph-Alpha/Kolibri-1-BF16 的 createdAt 为 2026-10-02T08:07:59Z,lastModified 为 2026-10-03T08:44:27Z,许可证同样是 apache-2.0。GitHub 上的 Aleph-Alpha/aleph-alpha-inference 创建于 2026-09-28T07:57:16Z,最近推送为 2026-10-03T07:11:12Z,许可证为 Apache-2.0。博文写推理要这个包,或使用镜像 ghcr.io/aleph-alpha/aleph-alpha-inference,并给出以 vllm serve Aleph-Alpha/Kolibri-1 启动的命令。
- 未下载 FP8 或 BF16 权重,未安装推理包,也没有按博文里的命令启动。分数、768 张 B200 和 38 次中断都是 Aleph Alpha 写的。
- 两个仓库的 createdAt 都在 10 月 2 日,推理包仓库创建于 9 月 28 日。不能把权重写成 10 月 3 日才第一次出现在 Hugging Face。博文和模型卡把发布日写成 10 月 3 日。
- 博文同时写最长 100 万 tokens 和最长训练长度 262,144。模型卡建议服务时不超过 262,144。页面没有解释这两者的差。长上下文 token 数博文写 200B,模型卡写 201B。德文占比博文写 21.3%,模型卡写约 23.9%。
- 技术报告 PDF 可以下载。本期的数字取自博文和模型卡,没有逐项对照 PDF。博文写模型在德国建造、在德国和芬兰的基础设施上训练。这是他们的说法。
核验说明(Aleph Alpha):78.1B、3.46B、Apache 2.0、768 张 B200、21 天、38 次中断,以及英文综合分 75.5 对 Qwen3.8 27B 的 80.2,取自这篇标着 03/10/2026 的博文。页面没有时钟。未复测表内分数。
核验说明(Hugging Face):总参数 78,103,074,560、激活参数 3,457,573,120、上下文 1,048,576、约 78GB 和 apache-2.0,取自模型卡。createdAt 2026-10-02T05:54:02Z,lastModified 2026-10-03T08:43:53Z,取自模型接口。时间用 lastModified。未下载权重。
核验说明(Hugging Face):createdAt 2026-10-02T08:07:59Z,lastModified 2026-10-03T08:44:27Z,许可证 apache-2.0,取自模型接口。时间用 lastModified。未下载权重。
核验说明(GitHub):仓库创建于 2026-09-28T07:57:16Z,最近推送 2026-10-03T07:11:12Z,许可证 Apache-2.0,取自仓库接口。时间用最近推送。未安装,也没有启动服务。