AI 【新芒xAI】华为AI模型量化相关专利公布,可减少模型占用内存

【新芒xAI】华为AI模型量化相关专利公布,可减少模型占用内存

新芒x 2月7日消息 天眼查App显示,1月28日,华为技术有限公司申请的“人工智能模型的量化方法、处理系统和量化单元”专利公布。

摘要显示,量化单元可以基于运行AI模型的计算设备的各个计算单元的处理粒度,将量化矩阵分割成多个适用于各个计算单元的处理粒度的分块量化矩阵。

量化单元可以对分块量化矩阵进行量化处理,以得到量化后的分块量化矩阵,并存储在存储器中,可以减少AI模型占用的内存。

量化矩阵可以是权重矩阵,也可以是激活矩阵。量化单元量化过程中,是基于运行AI模型的计算设备的各个计算单元的处理粒度进行量化,并不需要基于张量级别进行离群值的统计,实现AI模型对权重矩阵和激活矩阵都可以进行实时量化。

文章来源信息声明: 本文信息出自权威媒体、企业官方及网络,并经新芒X编辑,转载请注明源出处、作者和链接。 图片部分来源于网络,在此表示感谢,如有侵权请联系我方处理。 文章发布日期后方火形图标后的数字,为文章热度,谨代表受欢迎程度。 新芒X平台仅对用户提供信息及决策参考,本文不构成投资建议。

作者: 新芒Group

新芒出品,专注专业。兼具内容品质和传播影响力
关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部