跑大语言模型，Nvidia A4000比Geforce 2080Ti能有提高吧？

主题：跑大语言模型，Nvidia A4000比Geforce 2080Ti能有提高吧？

正序浏览

主题图片汇总

主题内检索

八大行星

资深泡菜

泡网分: 30.342

主题: 509

帖子: 10427

2025-09-07 00:36

我用2080 Ti跑deepseek 14B非常快。跑32B性能也能满足需求。
A4000是16GB显存，2080Ti是11GB显存。
新入A4000，我打算两块显卡都装，看看效果。

A4000还有一个优势是只占单槽PCI-E插槽。这很重要。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 1 帖

浏览：221 回帖：6

第 1 页 / 共 1 页

游客没有回帖权限

八大行星

资深泡菜

泡网分: 30.342

主题: 509

帖子: 10427

2025-09-09 10:50

八大行星发表于 2025-09-09 07:50
A4000装到机器中了。
deepseek 32b 过去在2080 Ti上跑是2.4-2.9 Token/s，现在达到17.89 Token/s, 有趣的是看资源管理器，GPU完全是2080 Ti上运行，占用率45%左右。A4000 GPU占用率级别...

qwen3:30b 厉害了。达到57token/s。A4000 GPU占用率跑到100%，2080 Ti GPU占用率跑到85%。

登录后可直接显示原图

八大行星编辑于 2025-09-09 10:51

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 7 帖

八大行星

资深泡菜

泡网分: 30.342

主题: 509

帖子: 10427

2025-09-09 07:50

A4000装到机器中了。

deepseek 32b 过去在2080 Ti上跑是2.4-2.9 Token/s，现在达到17.89 Token/s, 有趣的是看资源管理器，GPU完全是2080 Ti上运行，占用率45%左右。A4000 GPU占用率级别为0。但A4000的显存在使用。

在Ollama中查看GPU/CPU使用状态，现在显示为100% GPU。看来装了一块A4000，看上去相当于只增加了16GB显存。话说这个代价是不是有点大？

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 6 帖

荣夏

泡菜

泡网分: 0.655

主题: 2

帖子: 386

2025-09-08 15:50

显存大小是王道
如果在意价格就3090

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

安徽省

第 5 帖

小胖子

资深泡菜

泡网分: 33.155

主题: 222

帖子: 5979

2025-09-08 14:30

把28ti换22G显存，应该更快。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

上海

第 4 帖

老雾

泡菜

泡网分: 10.166

主题: 0

帖子: 1615

2025-09-08 12:07

只要看显存就行了，大是基础。。。。

单机跑大模型，算力不重要。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

重庆

第 3 帖

Trompette

泡菜

泡网分: 2.417

主题: 6

帖子: 2351

2025-09-07 09:29

A4000 是 3070 的限功耗版

2080Ti 只是 CUDA 核少一些，代次也旧一代，但 2080Ti 的 Tensor 核，光追核都更多
跑 AI 绝对性能 2080Ti 好一些，考虑显存性价比还有 2080Ti 22G

除了非常限定体积的mini工作站（为追求性能的工作站限定体积，本身就很奇怪），绝大多数场景完全不需要考虑 A4000

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

印度

第 2 帖

< 返回版块列表

第 1 页 / 共 1 页

回复主题：跑大语言模型，Nvidia A4000比Geforce 2080Ti能有提高吧？

功能受限

游客无回复权限，请登录后再试

回复主题： 跑大语言模型，Nvidia A4000比Geforce 2080Ti能有提高吧？

回复主题：跑大语言模型，Nvidia A4000比Geforce 2080Ti能有提高吧？