当天女同 偷拍，寒武纪开源了PyTorch设备后端膨大插件Torch-MLU，并兑现了寒武纪硬件对于PyTorch的原生支柱，充分擢升了开发者的使用体验和集收遵守。

早在2018年，寒武纪就初始了与PyTorch框架的集成适配责任。自PyTorch 1.3版块初始就支柱寒武纪MLU系列智能加快卡手脚PyTorch的加快后端，使开发者大概将原先基于GPU的深度学习采集高效迁徙到基于寒武纪MLU的PyTorch环境中。

跟着PyTorch社区发布PyTorch 2.4版块，配合新版块（≥ V1.22）的Torch-MLU插件，寒武纪硬件兑现了对PyTorch的原生支柱。开发者无需再安设寒武纪定制的Cambricon PyTorch，而是不错基于社区的PyTorch安设Torch-MLU插件，就可将寒武纪硬件的算力接入原生PyTorch。

与此同期，Torch-MLU的开源使寒武纪大概更快地反应开发者的反馈和问题，搭建了高效的调换桥梁，促进了与人人开发者的协谐和常识分享。寒武纪通过捏续孝顺开源社区的本色活动，展示着拥抱开源、支柱AI生态共建的决心。

↓GitEE仓库（点击文末“阅读原文”可径直跳转）↓

https://gitee.com/cambricon/torch_mlu

*具体版块与分支信息请参考仓库中的README文档。

一、 Torch-MLU的时候演进

1、设备后端接入PyTorch框架

PyTorch初期莫得提供第三方后端谐和接入决策。新设备后端若是想接入PyTorch，连接需要对PyTorch的中枢代码进行修改。比如开发者需要在中枢模块Dispatcher中加入对应后端的Dispatch Key，以及对其他模块中对于设备后端作念一些适配性修改。设备后端膨大插件需要配合修悛改的PyTorch才大概平时责任。

▲侵入式设备后端支柱

2023年8月PyTorch社区发布了PyTorch 2.1版块，重磅推出了基于PrivateUse1 Dispatch Key的新后端谐和接入参考野心。PrivateUse1野心决策通过PrivateUse1空洞层将设备厂商特有属性谐和封装，完善了PyTorch的设备膨大机制，为新硬件非侵入性接入PyTorch提供了阶梯。

▲设备后端原生支柱

乱伦

通过这些修订，PyTorch不仅增强了其手脚深度学习框架的纯真性和可膨大性，还为开发者和设备厂商提供了更顺畅和高效的合作环境。

2、寒武纪捏续孝顺PyTorch社区

PrivateUse1接入决策的推出为新后端谐和接入提供了启发性的想路，然则在初期仍有一些待完善的特质和模块，需要设备厂商的捏续插足和孝顺。

PrivateUse1支柱设备在Eager形态下的基本的运行和接入，但并不可完善支柱PyTorch的一些特质。比如Profiler模块，初期仅支柱GPU后端，不支柱外部自界说后端，基于PrivateUse1注册的设备后端无法使用PyTorch原生的Profiler。

PrivateUse1旅途的铁心给开发者带来了更多挑战，使他们在进行设备集成时濒临更多禁绝，影响了举座使用体验。

寒武纪在PrivateUse1接入决策的基础上优化了非CUDA设备的接入体验，在本年向PyTorch社区提交了数十个Patch，触及Profiler、Compile、Graph Capture、Autograd、Allocator、Storage， FSDP、Sparse等繁密模块，买通了这些模块与PrivateUse1的集成旅途，进一步完善了PrivateUse1机制。异日，第三方设备的厂商和开发者就大概充分哄骗这些已买通的集成旅途，愈加高效和方便地接入PyTorch。

3、安设Torch-MLU插件，保留原生体验

经由寒武纪对PyTorch社区的PrivateUse1机制进行完善后，自PyTorch 2.4版块起，寒武纪硬件兑现了PyTorch原生支柱。

开发者可径直基于社区PyTorch发布包安设Torch-MLU插件，即可将寒武纪MLU的算力无缝接入，同期保留原生PyTorch的使用体验。

二、开源规模

现时开源的Torch-MLU仓库支柱的社区版块:

PyTorch 2.1PyTorch 2.3PyTorch 2.4（2024年7月25日最新发布）

异日会随社区版块捏续更新。

三、拥抱开源社区，捏续生态孝顺

寒武纪恒久以来剿袭敞开、合作、分享的理念，积极参与开源社区的斥地，在多个蹙迫开源技俩中孝顺代码，如PyTorch、TensorFlow、Huggingface、Transformers、vLLM、Deepspeed等大模子纯属推理当用中的中枢组件。

近期，寒武纪开源了Triton-Linalg AI编译器前端，开发者或者硬件厂商不错以极低的开发本钱，快速集成支柱Triton谈话特质的后端提醒集，并对接表层AI应用。

这次开源Torch-MLU插件，亦然但愿异日能更好地领略和更快速地惩处开发者的问题，同期为寒武纪深度学习框架与开发者之间确立径直的交流渠说念。寒武纪投降，鼓动东说念主工智能限度异日发展的关节在于敞开性、合作精神和分享资源。通过开源技俩，开发者们不错诱骗一致，通过协谐和配合，使得时候效果取得凡俗应用。

异日，寒武纪将捏续孝顺开源社区，为AI开源生态注入新能源。同期通逾期候的开源，赋予开发者更多能力女同 偷拍，共同促进喜悦和多元的东说念主工智能天下。