泰达发布跨平台LoRA微调系统,赋能终端侧大模型训练

泰达公司在QVAC Fabric平台正式推出BitNet LoRA微调框架,专为优化微软BitNet单比特大语言模型的训练与推理流程设计。该系统突破性地支持在笔记本电脑、消费级GPU及智能手机等边缘设备上完成十亿参数级别模型的微调任务。

移动端首度实现模型微调,响应速度大幅跃升

该方案首次达成在移动GPU(涵盖Adreno、Mali及苹果Bionic)上对BitNet模型进行完整微调的能力。实测数据显示,1.25亿参数模型可在约10分钟内完成训练,而10亿参数模型的微调周期控制在1小时左右。即便在智能手机运行环境中,系统仍可支撑最高达130亿参数规模模型的扩展执行。

异构硬件全面适配,能效比实现质的飞跃

框架兼容英特尔、AMD与苹果芯片构成的多元计算生态,成为首个在非英伟达架构上实现单比特大模型LoRA微调的技术路径。在移动图形处理器上,其推理效率相较传统CPU提升2至11倍,内存占用较常规16位模型最高减少77.8%。

重塑智能计算范式,开启去中心化训练新纪元

泰达强调,此技术有望显著减少对高性能算力集群与云端资源的依赖,加速人工智能训练从集中式向分布式、本地化模式转型,为联邦学习、隐私保护计算等前沿场景提供关键技术支撑。