主题：deepseek7b用4G显存能跑吗
正序浏览
主题图片汇总
主题内检索
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
河北省
第
1 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
湖北省
第
33 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
山东省
第
32 帖
couldiy 发表于 2025-02-12 19:44P-104/6 10G 显卡才2-300元，就是不知道跑llm有多快
这些卡日后很难了，因为CUDA新版不支持了，而ollama的cuda支持也在不停的升级，如果遇到新模型，基本上也得升级ollama否则也有可能无法使用新的模型
至于跑多快 ，看显存带宽，直接算就行，大差不差。可以把问题丢给deepseek 让它给你算。。。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
山东省
第
31 帖
CIO 发表于 2025-02-05 12:36推荐8G的，但电脑显存只有4G，要是能跑就费劲试试。
P-104/6 10G 显卡才2-300元，就是不知道跑llm有多快
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广东省
第
30 帖
虚化 发表于 2025-02-10 22:46只要花9k就能70b跑到20t/s，垃圾佬的玩法
https://www.bilibili.com/video/BV1DH4y1c7gK/?spm_id_from=333.337.search-card.all.click
这个 PCIe 交换芯片无敌了，明年4号机上计划！投资不大，3号机的显卡和内存都可以沿用
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
上海
第
29 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
福建省
第
28 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
上海
第
27 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
山东省
第
26 帖
虚化 发表于 2025-02-09 13:58mac mini m4丐版16g统一内存，cpu和gpu共用，带宽256GB/s，跑14b模型速度为10.70 tokens/s，完全是GPU在跑
14b模型的输出内容依旧是一本正经的胡说八道
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广东省
第
25 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
第
24 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
福建省
第
23 帖
闲聊状态 发表于 2025-02-09 09:05没有MAC 这个不清楚。。。
不过 在win下 这种情况就是"爆显存"，一部分层在CPU一部分在GPU，这样才能导致两边都在运行
Mac上真是奇了怪了。Ollama Ps 显示模型任务主要中GPU上跑。系统监视器中却看到CPU一点不闲着。看这个CPU占用率都超过100%了。CPU占用率显示超过100%是Mac上的一个老问题。
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
第
22 帖
washu 发表于 2025-02-09 12:30难怪，我说咋两边都在跑
so 13 楼的情况就是，显存足够大？
我又试了一下，Ollama可以自动分配CPU和GPU的使用比例。在大规模模型中，CPU能跑到45%以上，GPU则只看到一点点占用率，之前被我忽略不计了。
14b
登录后可直接显示原图
32b
登录后可直接显示原图
70b
登录后可直接显示原图
70b时GPU占用率
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
第
21 帖
mac mini m4丐版16g统一内存，cpu和gpu共用，带宽256GB/s，跑14b模型速度为10.70 tokens/s，完全是GPU在跑
14b模型的输出内容依旧是一本正经的胡说八道
14b模型的输出内容依旧是一本正经的胡说八道
登录后可直接显示原图
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
福建省
第
20 帖
闲聊状态 发表于 2025-02-09 09:05没有MAC 这个不清楚。。。
不过 在win下 这种情况就是"爆显存"，一部分层在CPU一部分在GPU，这样才能导致两边都在运行
难怪，我说咋两边都在跑
登录后可直接显示原图
so 13 楼的情况就是，显存足够大？
duoduobear 发表于 2025-02-08 16:34Mac电脑跑Ollama Deepseek，有一个和Windows平台不一样的地方。
在Windows平台上，我看到要么模型在CPU上运行，要么在GPU上运行...
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广西
第
19 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
山东省
第
18 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
河北省
第
17 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
福建省
第
16 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
福建省
第
15 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
第
14 帖
闲聊状态 发表于 2025-02-08 13:30内存带宽有限
现在带宽最大的集显就是 mac m4 max，这玩意不便宜，而且内存不能换
但是即使是mac m4 max 也就是500G左右的带宽，只相当于 4060TI 这个级别的显卡的带宽。
要不是 显存比金子还贵，比MAC的内存还贵，现在也不会...
Mac电脑跑Ollama Deepseek，有一个和Windows平台不一样的地方。
在Windows平台上，我看到要么模型在CPU上运行，要么在GPU上运行，但在M1 Macbook Pro上运行Ollama上的模型时，我看到CPU和GPU同时都在高负载状态，这是怎么一回事？Ollama在MacOS上的实现和Windows平台不同吗？
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
第
13 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
浙江省
第
12 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
山东省
第
11 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
第
10 帖
radius 发表于 2025-02-07 19:52为啥非要在本地跑？有保密需求？
可以咸鱼买个tesla M40 24G 显卡，不到1000。可能是性价比最高的跑AI得硬件了。
不过就算这样也不如API合算，1000块钱可以处理几亿个token了，你有啥资料需要那么多token ？
楼主在 8 楼回答了，我也是差不多，我问 DSR1 Web 公众版，老是服务器繁忙 --- 虽然隔壁泡菜说是我提问的水平太低，那我就自己电脑上跑个试试，如果不需要我额外增加硬件的话
就当作玩玩，顺便看下怎么提高提问水平，毕竟我问其它 Ai，比如 Kimi，豆包啥的都很正常，就 DSR1 不正常嘛
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广西
第
9 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
中国
第
8 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
第
7 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广东省
第
6 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
第
5 帖
回复主题： deepseek7b用4G显存能跑吗
功能受限
游客无回复权限，请登录后再试