只需一步,快速开始
举报
Nothing1024 发表于 2024-3-16 17:29 只能跑轻量一点的吧,大模型都比较吃GPU
kindlecon 发表于 2024-3-16 17:44 什么只能跑轻量啊,他纯内存都能跑,只是速度比GPU慢很多,256G,4bit应该130B都能跑。 别提那些小模型了。 ...
本版积分规则 发表回复 回帖后跳转到最后一页
Archiver|手机版|小黑屋|全球主机交流论坛
GMT+8, 2024-7-8 09:33 , Processed in 0.061831 second(s), 8 queries , Gzip On, MemCache On.
Powered by Discuz! X3.4
© 2001-2023 Discuz! Team.