有没有大神会用gpu跑llama3 8b的

lilyhcn1 · 发表于 2024-5-8 15:23:16

有张3060，但不会用。求大神指点

lilyhcn1 · 发表于 2024-5-8 19:07:21

Eureka 发表于 2024-5-8 15:37
在用rs2000（8H16G）跑llama3 8B，加了各种prompt后，生成速度5.74tokens/s，速度还不错。

显卡可以试着多 ...

找了挺多教程，没看懂。
是不是不能在windows平台下用，
windows平台好像只能用cpu跑，这个太慢了。

c782464295 · 发表于 2024-5-8 15:33:38

那么多教程，就是下载python装环境，下载模型和demo跑

acpp · 发表于 2024-5-8 15:35:05

直接用ollama简单点。

Eureka · 发表于 2024-5-8 15:37:08

本帖最后由 Eureka 于 2024-5-8 15:39 编辑

在用rs2000（8H16G）跑llama3 8B，加了各种prompt后，生成速度5.74tokens/s，速度还不错。

显卡可以试着多加几张，跑个llama3 70B，ollama支持多卡的，总显存有50G这样子就可以非常流畅的运行了。

isxuew · 发表于 2024-5-8 19:25:40

ollama，windows下也可以用显卡，直接run就完事了

Eureka · 发表于 2024-5-8 19:29:51

lilyhcn1 发表于 2024-5-8 19:07
找了挺多教程，没看懂。
是不是不能在windows平台下用，
windows平台好像只能用cpu跑，这个太慢了。 ...

https://ollama.com/
windows上官网下载安装，然后打开cmd运行

ollama run llama3

复制代码

会自动下载几个G的模型，下载完然后就可以用了

GPU我是N卡，什么都没配置，直接就用上GPU了。

lilyhcn1 · 发表于 2024-5-8 21:22:01

Eureka 发表于 2024-5-8 19:29
https://ollama.com/
windows上官网下载安装，然后打开cmd运行

！！！我也是这样啊，但GPU就没有用上。
那我重装试试

Eureka · 发表于 2024-5-8 21:51:32

lilyhcn1 发表于 2024-5-8 21:22
！！！我也是这样啊，但GPU就没有用上。
那我重装试试

据我的经验来看，运算的时候，GPU使用率不会太明显，只是显存会被占满，然后溢出，继续占用主板上的内存容量。

isxuew · 发表于 2024-5-8 21:57:48

lilyhcn1 发表于 2024-5-8 21:22
！！！我也是这样啊，但GPU就没有用上。
那我重装试试

只要看启动的时候的日志，就可以知道是cpu还是gpu了

		自动登录	找回密码
密码			注册