北大提出首个复数大模型,2比特量化,高效推理仅加法,可手机部署
新商网
商臣
2025-08-27
阅读
目前大模型在执行推理任务时通常需要消耗大量的存储和计算资源,这主要是由于传统的权重存储方式采用了FP16格式,导致占用空间较大。针对这一问题,研究人员提出了一种名为iFairy的新方案,该方案通过将模型的权重量化为复数集合{+1, -1, +i, -i}的形式,有效降低了对存储空间的需求。
在传统的深度学习模型中,权重通常以浮点数形式进行表示和存储。这种做法虽然能够提供较高的精度,但也带来了存储量大、计算开销高的问题。尤其是在处理大规模模型时,这种情况更加明显。为了解决这一挑战,研究团队开发了一种创新性的量化方法。
通过将权重转换为特定的复数集合{+1, -1, +i, -i},研究人员成功地将存储空间占用大幅减少。这种方法不仅降低了对硬件资源的需求,还显著提升了推理效率。这种新型的量化技术在保持模型性能的同时,实现了更高效的资源利用。
这项研究展示了通过创新性地调整权重表示方式,可以在不明显影响模型准确性的前提下,有效优化计算和存储资源的使用。这对于推动大模型技术的普及和应用具有重要意义。
责任编辑:宫樊
声明:本页面所载文章内容仅供参考,不构成任何投资或商业决策建议。除标注“原创来源:新商网”外,文中信息、观点、图文等内容均来源于第三方媒体或作者投稿,版权归原作者所有,相关内容仅代表作者个人观点。如内容存在侵权、失实等情况,请联系邮箱:tousu_newbe@sina.com