摘要:泰达公司推出BitNet LoRA微调框架,首次实现十亿级模型在手机与消费级设备上的高效训练,显著降低算力门槛,推动AI向分布式本地化演进。

泰达发布跨平台LoRA微调系统,赋能终端侧大模型训练
泰达公司在QVAC Fabric平台正式推出BitNet LoRA微调框架,专为优化微软BitNet单比特大语言模型的训练与推理流程设计。该系统突破性地支持在笔记本电脑、消费级GPU及智能手机等边缘设备上完成十亿参数级别模型的微调任务。
移动端首度实现模型微调,响应速度大幅跃升
该方案首次达成在移动GPU(涵盖Adreno、Mali及苹果Bionic)上对BitNet模型进行完整微调的能力。实测数据显示,1.25亿参数模型可在约10分钟内完成训练,而10亿参数模型的微调周期控制在1小时左右。即便在智能手机运行环境中,系统仍可支撑最高达130亿参数规模模型的扩展执行。
异构硬件全面适配,能效比实现质的飞跃
框架兼容英特尔、AMD与苹果芯片构成的多元计算生态,成为首个在非英伟达架构上实现单比特大模型LoRA微调的技术路径。在移动图形处理器上,其推理效率相较传统CPU提升2至11倍,内存占用较常规16位模型最高减少77.8%。
重塑智能计算范式,开启去中心化训练新纪元
泰达强调,此技术有望显著减少对高性能算力集群与云端资源的依赖,加速人工智能训练从集中式向分布式、本地化模式转型,为联邦学习、隐私保护计算等前沿场景提供关键技术支撑。
声明:本站所有文章内容,均为采集网络资源,不代表本站观点及立场,不构成任何投资建议!如若内容侵犯了原著者的合法权益,可联系本站删除。
