首页 > 办公设备 > 业界动态> 正文

英特尔在GtiHub上开源NPU加速库,支持Windows和Linux

绿苹果 编辑: 王一飞 发布于:2024-03-04 10:59 PConline原创

近日一位ID为Tony Mongkolsmai的用户在推特平台上发帖称:英特尔已经在GitHub上开源了NPU加速库,日后开发人员优化AI应用更方便,目前NPU加速库支持Windows和Linux。

该加速库供开发人员使用使用NPU模型,可以按照相应的文档对AI应用进行优化,适配新一代的AI模型,当前参照GitHub文档可以允许TinyLlama和Gemma-2b-it。

英特尔NPU加速库其实可以理解为是一个Python库,利用NPU的强大的性能在硬件上执行高速计算,以此来提高应用的效率。目前英特尔NPU加速库还在进一步开发当中,未来也将推出更多提高性能的功能,截至目前加速库已经实现了8bit量化等一系列功能,不久还将支持NPU/GPU异构计算。

绿苹果

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部