根据8月13日的消息,NVIDIA的显卡在AI加速方面遥遥领先,不仅科技巨头们都在争相购买A100和H100等显卡,GeForce游戏显卡也成为一般用户进行AI计算的选择,相比之下,AMD显卡在这一领域稍显落后。
但是好消息是,AMD现在也在迎头赶上。华人大神、OctoML CTO陈天奇带领的团队在AMD显卡上推出了大型模型推理的解决方案,这意味着除了NVIDIA之外,行业内又有了其他选择,不再局限于争抢和加价NVIDIA显卡的情况。
根据他们的优化算法,在Llama2的7B和13B大型模型中,使用RX 7900 XTX显卡也能够达到令人满意的性能水平,其性能已经达到了RTX 4090显卡的82%或者RTX 3090 Ti显卡的94%。
不仅仅是性能上的追赶,AMD显卡在性价比方面也要更高。RX 7900 XTX与其他两款显卡一样都拥有24GB显存,但售价只需999美元,而RTX 4090和RTX 3090 Ti的售价分别是1599美元和1999美元,价格高出了60-100%。
当然,RX 7900 XTX的实际售价已经比999美元便宜很多,而NVIDIA显卡的价格一直保持稳定。
A卡在AI计算能力上的提升主要要归功于AMD最近在ROCm软件生态方面的改进。以前,ROCm对游戏卡和Windows平台的支持很差,但从今年4月份开始,ROCm不仅开始支持Windows系统,还增加了对RX 7900和工作站显卡的支持。
同时,AMD还发布了ROCm HIP SDK,使开发者可以轻松将为CUDA平台开发的代码迁移到AMD平台,这为陈天奇等大神在AMD显卡上推动AI能力提升奠定了基础。