最近刚好在炼丹,跑过几个github 项目
来聊一聊吧
机器学习非常吃性能,一般稍微专业点儿的都用的是GPU跑,效率比纯CPU高好多倍。
就拿我最近在跑的一个github项目BCDU-NET来说吧,是基于Tensorflow跑的。
跑一个周期:
纯用CPU六核标压i7 大约需要3小时
而用Gpu,就是入门级的GTX1650,只要不到二十分钟就能跑完 效率提升600%
下面说一说GPU怎么选
目前机器学习用NVIDIA的显卡最多,CUDA生态很全,各种官方非官方包最多,教程也多,初学者找个视频学一学很快就能成为调包侠跑个Demo出来。
选GPU先看显存,因为显存不够根本就跑不起来。计算单元少一点可能跑的慢一些,做不到视频/图像的实时处理,但是显存不够直接就是不能跑。
2023年入门的GPU显存建议8GB起步,因为6G的话很多新的模型精度调到低的不能再低了也跑不动。
目前性价比比较高的的是桌面端的RTX4070,12G显存基本够小模型跑了,但是4070在笔记本移动端的显存只有8GB,入门也基本够了,精度低一点很多模型都能跑了。
而前一阵ChatGPT、文心一言带着火起来的大语言模型,那简直就是显存大户,12G也就是勉勉强强能运行起来看个效果,很多实验室都在跟风立题……扯远了,这也不是笔记本能干的事情了。
预算紧张的情况下CPU很多时候是可以做妥协的,一般来说标压酷睿i5/锐龙R5就基本够用了,CPU能喂饱显卡、带的动就行,GPU必须是NVdia品牌的(兼容性好、应用广泛、生态齐全),60系列起步,上不封顶。
<a data-draft-node="block" data-draft-type="mcn-link-card" data-mcn-id="1684115229422845952">没有什么游戏需求挨个点一遍看看哪个价格低有现货就买哪个
炼丹主要就是用到CUDA模块+显存,那个跑分时候的性能释放差个10W意义不大,因为只要是你同一型号的GPU,计算核心都是一模一样的,CUDA单元数量、带宽大小……都是一致的。不过建议买英特尔的CPU,因为有时候可能跑一些计算会用到AVX系列的指令集,英特尔表现更好一点。
最后聊一聊有什么需要注意的
机器学习跑在GPU上的时候非常消耗性能的,CUDA模块的占用和显存的占用基本都是满的,这时候GPU的发热量非常可观,对散热模组的要求非常高,时间一长很容易顶不住加剧硬件的老化。建议不要长时间在笔记本上跑项目,做个验证就行了,大项目放到服务器上跑。 |