|
微软今天宣布，通过Azure AI Foundry接入DeepSeek的R1 7B和14B蒸馏模型，Copilot+ PC可实现本地运行这些模型。 其实早在今年1月，微软就宣布要把DeepSeek-R1模型的NPU优化版本带到搭载高通骁龙X处理器的Copilot+ PC上。 微软表示，这些模型将首先在搭载高通骁龙X处理器的设备上上线，随后扩展到英特尔酷睿Ultra 200V和AMD锐龙处理器的设备。
这些模型运行在NPU上，可以在减少对PC电池续航和散热性能影响的同时，持续获得AI计算能力，同时CPU和GPU可以执行其他任务，提高设备的整体效率。 微软还强调，他们使用了内部自动量化工具Aqua，将所有DeepSeek模型变体量化为int4权重。 不过目前模型的速度仍然较低，14B模型仅为8 tok/sec，而1.5B模型接近40 tok/sec，微软表示正在进一步优化以提高速度。 开发者可以通过下载AI Toolkit VS Code扩展，在Copilot+ PC上运行DeepSeek模型的全部蒸馏版本（1.5B、7B和14B）。
|
发表评论
