3D彩票

当计算力爆发,AI或将迎来“开挂”节奏

时间:2020-02-15 15:18:45

业内人士预计,量子处理器对于算力的改变将不可避免,并一定具有爆发性,以至于谷歌量子人工智能实验室主任哈特穆特·内文这样描述——“开始看起来没有什么明显的变化,没什么变化……突然间,你会被吓到尖叫,瞬间进入一个不可思议的世界!”

科技日报记者华凌

据了解,最先进的自然语言处理模型XLNet有约4亿模型参数,而据估算,人脑中细胞间互联轴突个数在百万亿到千万亿数量级,两者相差约六个数量级。显然AI在认知问题上离我们追求的所谓通用人工智能还有巨大差距,预计将需要计算能力和计算系统的能源效率比现在至少提高几个数量级。因此人工智能要进一步突破,必须采用新的计算架构,解决存储单元和计算单元分离带来的算力瓶颈。

显然,频繁的数据搬运导致的算力瓶颈及功耗瓶颈,已经成为对更为先进算法探索的限制因素。而计算力瓶颈对更先进、复杂度更高的 AI 模型研究产生影响。

2020年伊始,阿里达摩院发布《2020十大科技趋势》报告显示,在人工智能方面,计算存储一体化,类似于人脑,将数据存储单元和计算单元融合为一体,能显著减少数据搬运,极大提高计算并行度和能效。

为何如此耗费算力?具体而言,在经典的冯·诺伊曼计算机架构中,存储单元和计算单元泾渭分明。运算时,需要将数据从存储单元读取到计算单元,运算后会把结果写回存储单元。在大数据驱动的人工智能时代,AI 运算中数据搬运更加频繁,需要存储和处理的数据量远远大于之前常见的应用。当运算能力达到一定程度,由于访问存储器的速度无法跟上运算部件消耗数据的速度,再增加运算部件也无法得到充分利用,即形成所谓的冯·诺伊曼“瓶颈”,或“内存墙”问题。这就如同一台马力强劲的发动机,却因为输油管的狭小而无法产生应有的动力。

计算力也是生产力