Bittensor Subnet 3实现去中心化大模型训练突破

Bittensor的Subnet 3成功在无中央数据中心条件下训练出拥有720亿参数的AI模型,名为Covenant-72B。该模型由全球超过70名节点参与者协作完成,所有节点仅依赖家庭级互联网连接。在MMLU基准测试中,其零样本表现达67.1分,超越Meta LLaMA-2-70B的65.6分,为去中心化计算能力提供了可验证的实证支持。

两项核心技术驱动分布式训练效率跃升

Covenant-72B的训练覆盖1.1万亿词元,依赖500Mb/s普通网络带宽。核心创新包括:一是SparseLoCo技术,融合top-k稀疏化、2位量化与跨节点误差反馈,使通信开销下降146倍,无需中央协调即可保持全网同步;二是Gauntlet系统,通过损失评估与OpenSkill排名机制动态衡量节点贡献,所有数据上链存证,确保贡献记录可追溯、可验证。模型权重以Apache许可开源,实现完全开放访问。

市场反应与机构参与推动代币价值上升

Covenant-72B成果公布后,$TAO代币价格快速攀升14%,触及236美元。过去30天累计涨幅达36%,六个月交易量增长167%。灰度同期扩大TAO信托基金规模,为机构投资者提供直接接入渠道。这一技术成就与市场关注度叠加,凸显去中心化AI生态的潜力。该模型具备可复现性与可测量性,成为分布式大模型训练的可信基准,标志着社区驱动型AI发展进入新阶段。