时间:2026-08-23 02:19 | 来源:墨客学术 | 作者:墨客学术 | 点击:次
空余内存4.1GB,将主要计算资源保留给主要算法,所有涉及的代码仓库或者模型权重均为Apache 2.0协议开源,采用GPU作为计算部件。
理论上, ,可以使用X5的这颗支持OpenCL的GPU运行HuggingFace上面的任何模型,摸着通用计算的尾巴,采用int4量化,几乎百分之零的CPU占用。
百分之零的BPU占用,内存和带宽占用理论上int8量化的一半,。