华人大神出手 A卡“炼丹”能力追上来:RTX4090八成性能

除了玩游戏,NVIDIA的显卡还在AI加速上遥遥领先,不仅科技巨头都在抢A100/H100等显卡,GeForce游戏卡也是普通人搞AI炼丹的选择,AMD显卡在这方面落后不少。

好消息是AMD现在也能追上来了,深度学习领域的华人大神、OctoML
CTO陈天奇带领团队在AMD显卡上做出了大模型推理的方案
,这意味着业界又有NVIDI之外的选择,不用为N卡抢破头、加价而困扰了。

华人大神出手 A卡“炼丹”能力追上来:RTX4090八成性能

根据他的优化算法,在Llama2的7B和13B大模型中,用RX 7900 XTX显卡也能跑出让人满意的性能,性能已经达到了RTX
4090显卡82%或者RTX 3090 Ti显卡的94%水平。

华人大神出手 A卡“炼丹”能力追上来:RTX4090八成性能

不仅是性能追上来了,AMD显卡的性价比也要高得多,RX 7900 XTX跟其他两款显卡都是24GB显存,但只要999美元,RTX 4090、RTX
3090 Ti分别是1599、1999元,价格高出60-100%。

当然,RX 7900 XTX现在的价格早就松动了,实际售价比999美元便宜不少,而N卡价格一直坚挺。

华人大神出手 A卡“炼丹”能力追上来:RTX4090八成性能

究其根底,A卡在AI炼丹能力上的提升,尤其是RX 7900
XTX这样的游戏卡能有质变,还是AMD最近在ROCm软件生态上的改进,以前后者对游戏卡及Win平台的支持很差,4月份开始不仅支持Windows系统,也加入了对RX
7900及工作站显卡的支持。

同时AMD还发布了ROCm HIP
SDK,允许开发者将针对CUDA平台开发的代码轻松迁移到AMD平台,这有是陈天奇等大神可以在AMD显卡上推动AI能力提升的基础。

#免责声明#

①本站部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责。

②若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。

③如果本站有侵犯、不妥之处的资源,请联系我们。将会第一时间解决!

④本站部分内容均由互联网收集整理,仅供大家参考、学习,不存在任何商业目的与商业用途。

⑤本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与任何商业和非法行为,请于24小时之内删除!

给TA打赏
共{{data.count}}人
人已打赏
数码硬件

华人大神出手 AMD显卡AI“炼丹”能力追上来了:RTX 4090八成性能

2023-8-13 0:00:00

数码硬件

这次工艺登峰造极!小米MIX Fold 3龙鳞纤维版图赏

2023-8-15 0:00:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索