DeepSeek开源了

主题：DeepSeek开源了

正序浏览

主题图片汇总

主题内检索

浏览：16758 回帖：614

游客没有回帖权限

Tianmou

资深泡菜

泡网分: 36.651

主题: 68

帖子: 9041

2025-02-19 12:50

老外把这个骂出翔了，我一看，好么，问的都是※※敏感问题

人家又不傻，能让它回答这些吗？？？

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

河北省

第 375 帖

barenboim

泡菜

泡网分: 3.4

主题: 7

帖子: 541

2025-02-19 10:36

AMD刚出的Strix Halo 128GB版可以分96G给显存

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广东省

第 374 帖

bird3000

陈年泡菜

泡网分: 60.983

主题: 55

帖子: 6173

2025-02-19 10:20

MM7 发表于 2025-02-19 09:08
https://www_toutiao_com/w/1823093755188227/
32B写代码的速度

嗯，这个速度和我的机器差不多，我的30~50token.不过爆显存后就明显慢下来了。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

浙江省

第 373 帖

MM7

资深泡菜

泡网分: 39.7

主题: 66

帖子: 3260

2025-02-19 09:08

bird3000 发表于 2025-02-19 06:49
你的电脑跑过70B，或者32B的模型吗？速度怎么样？会不会是模型本身的差别。

https://www_toutiao_com/w/1823093755188227/32B写代码的速度

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广东省

第 372 帖

MM7

资深泡菜

泡网分: 39.7

主题: 66

帖子: 3260

2025-02-19 09:05

duoduobear 发表于 2025-02-19 02:21
我的电脑内存运行速度2666MT/s
好在是四通道

的确有点慢了，现在主流都是4800/5200/5600MT/s

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广东省

第 371 帖

bird3000

陈年泡菜

泡网分: 60.983

主题: 55

帖子: 6173

2025-02-19 06:49

MM7 发表于 2025-02-18 19:17
偶的游戏本是原配水冷的，散热还好

你的电脑跑过70B，或者32B的模型吗？速度怎么样？会不会是模型本身的差别。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

浙江省

第 370 帖

duoduobear

子版版主

泡网分: 94.569

主题: 1039

帖子: 26234

2025-02-19 02:21

MM7 发表于 2025-02-18 19:25
对。不过偶的是超频了的，最高可超到6800M，DDR5用的是海力士的新Mdie颗粒，超频性能极好，SSD是宏基14000M/秒读写速度的超高速固态。一般电脑内存频率都是4800/5200/5600，不能超频，比起超频了的，性能要差一截。

我的电脑内存运行速度2666MT/s

好在是四通道

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 369 帖

duoduobear

子版版主

泡网分: 94.569

主题: 1039

帖子: 26234

2025-02-19 02:19

虚化发表于 2025-02-18 18:00
你的电脑内存更大，只能跑0.7t/s，跟他的电脑差距是CPU、4090显卡、还是SSD？

应该这些因素都有。
我的体会是虽然使用内存运行时CPU和GPU的占用率都不高，但更高性能的CPU和GPU仍然有优势。
内存带宽和SSD速度也都有影响。内存带宽是最主要影响。SSD速度对首次加载大模型和需要虚拟内存时有影响。

我的电脑128GB内存对比96GB内存则优势不大。如果我有150GB以上内存，完全不再需要虚拟内存，那么在加载模型和首次吐字期间应该会有优势。而现在128GB仍然不足够。

他的16GB显存容量也比我的8GB多一倍，这个也是重要因素。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 368 帖

虚化

资深泡菜

泡网分: 32.624

主题: 130

帖子: 7227

2025-02-18 20:02

MM7 发表于 2025-02-18 19:35
他这个瓶颈可能在GPU,内存,SSD，南桥芯片处理，主板总线带宽。3090用的显存是上一代的，存储速度要慢一截，内存频率以及读写速度还有SSD的读写速度。

发个eval rate的截图看看吧，如果这套配置真能跑3~5t/s，照方抓药就行了

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

福建省

第 367 帖

MM7

资深泡菜

泡网分: 39.7

主题: 66

帖子: 3260

2025-02-18 19:35

虚化发表于 2025-02-18 18:56
试试看，到底瓶颈在哪里？

他这个瓶颈可能在GPU,内存,SSD，南桥芯片处理，主板总线带宽。3090用的显存是上一代的，存储速度要慢一截，内存频率以及读写速度还有SSD的读写速度。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广东省

第 366 帖

MM7

资深泡菜

泡网分: 39.7

主题: 66

帖子: 3260

2025-02-18 19:25

duoduobear 发表于 2025-02-18 17:57
我可以代答，MM7的机器是i9-13900HK CPU, 4090 Laptop 16GB显存 GPU，96GB DDR5内存。

对。不过偶的是超频了的，最高可超到6800M，DDR5用的是海力士的新Mdie颗粒，超频性能极好，SSD是宏基14000M/秒读写速度的超高速固态。一般电脑内存频率都是4800/5200/5600，不能超频，比起超频了的，性能要差一截。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广东省

第 365 帖

MM7

资深泡菜

泡网分: 39.7

主题: 66

帖子: 3260

2025-02-18 19:17

bird3000 发表于 2025-02-18 16:41
估计散热受不了

偶的游戏本是原配水冷的，散热还好

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广东省

第 364 帖

虚化

资深泡菜

泡网分: 32.624

主题: 130

帖子: 7227

2025-02-18 18:56

bird3000 发表于 2025-02-18 18:07
我的PC，13700K，96G DDR5，3090 24G，感觉肯定跑不了1token....

试试看，到底瓶颈在哪里？
发布自安卓客户端

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

福建省

第 363 帖

bird3000

陈年泡菜

泡网分: 60.983

主题: 55

帖子: 6173

2025-02-18 18:07

duoduobear 发表于 2025-02-18 17:57
我可以代答，MM7的机器是i9-13900HK CPU, 4090 Laptop 16GB显存 GPU，96GB DDR5内存。

我的PC，13700K，96G DDR5，3090 24G，感觉肯定跑不了1token.

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

浙江省

第 362 帖

虚化

资深泡菜

泡网分: 32.624

主题: 130

帖子: 7227

2025-02-18 18:00

duoduobear 发表于 2025-02-18 17:57
我可以代答，MM7的机器是i9-13900HK CPU, 4090 Laptop 16GB显存 GPU，96GB DDR5内存。

你的电脑内存更大，只能跑0.7t/s，跟他的电脑差距是CPU、4090显卡、还是SSD？
虚化编辑于 2025-02-18 18:01

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

福建省

第 361 帖

虚化

资深泡菜

泡网分: 32.624

主题: 130

帖子: 7227

2025-02-18 17:57

MM7 发表于 2025-02-18 16:15
偶不想另外花钱投资玩AI了，只是把用来原来处理R5 8K视频的4090游戏本进行了极限升级，把内存从32G升级到96G，并超频到6000M，同时升级4T宏基的GM9000 PCIE5超级SSD固态硬盘，速写速度达到14000M/秒。这个应该是比较便宜...

昨天查了intel/amd的台式机芯片组最大支持192G内存，大部分主板只支持128G，即使主板支持192G的情况下DDR5内存还需要降频到5200才能稳定
超过192G只能工作站、服务器，那都是5万以上的级别

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

福建省

第 360 帖

duoduobear

子版版主

泡网分: 94.569

主题: 1039

帖子: 26234

2025-02-18 17:57

虚化发表于 2025-02-18 17:52
3~5t/s勉强能用，请问你的CPU、内存、显卡、SSD硬件配置是什么？

我可以代答，MM7的机器是i9-13900HK CPU, 4090 Laptop 16GB显存 GPU，96GB DDR5内存。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 359 帖

虚化

资深泡菜

泡网分: 32.624

主题: 130

帖子: 7227

2025-02-18 17:52

MM7 发表于 2025-02-17 17:55
对就是跑671B，偶给娃解北方八省的高考数学压轴题时内存显存100多G都占满了都不够，还使用了SSD做的虚拟内存，速度慢，大概3-5TOKEN/秒

3~5t/s勉强能用，请问你的CPU、内存、显卡、SSD硬件配置是什么？

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

福建省

第 358 帖

bird3000

陈年泡菜

泡网分: 60.983

主题: 55

帖子: 6173

2025-02-18 16:41

MM7 发表于 2025-02-18 16:15
偶不想另外花钱投资玩AI了，只是把用来原来处理R5 8K视频的4090游戏本进行了极限升级，把内存从32G升级到96G，并超频到6000M，同时升级4T宏基的GM9000 PCIE5超级SSD固态硬盘，速写速度达到14000M/秒。这个应该是比较便宜...

估计散热受不了

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

浙江省

第 357 帖

Trompette

泡菜

泡网分: 2.289

主题: 5

帖子: 2171

2025-02-18 16:18

barenboim 发表于 2025-02-18 15:19
解数学题我10年以前用的是wolfram alpha 不知道现在有没有进化

如果要真正解几何证明题，可以试试开源版的 AlphaGeometry 2，奥数级的几何题也大概率能证
唯一麻烦需要手工把文字题干，用谷歌的标准几何谓词改写（也许可以用 Deepseek？），证明输出的结果也是几何谓词形式

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

上海

第 356 帖

MM7

资深泡菜

泡网分: 39.7

主题: 66

帖子: 3260

2025-02-18 16:15

bird3000 发表于 2025-02-18 15:21
借这个帖子的热度，谈谈家庭部署AI模型的电脑配置吧，感觉最后模型运行的方向还是应该利用大的RAM，便宜，速度也不错。标配128G起步吧

偶不想另外花钱投资玩AI了，只是把用来原来处理R5 8K视频的4090游戏本进行了极限升级，把内存从32G升级到96G，并超频到6000M，同时升级4T宏基的GM9000 PCIE5超级SSD固态硬盘，速写速度达到14000M/秒。这个应该是比较便宜的方案了。对于要运行671B满血版的，建议组台式机至少RTX5090+512G DDR5内存+4T SSD硬盘。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广东省

第 355 帖

duoduobear

子版版主

泡网分: 94.569

主题: 1039

帖子: 26234

2025-02-18 15:48

bird3000 发表于 2025-02-18 15:21
借这个帖子的热度，谈谈家庭部署AI模型的电脑配置吧，感觉最后模型运行的方向还是应该利用大的RAM，便宜，速度也不错。标配128G起步吧

有过讨论

https://forum.xitek.com/thread-1988035-findpost-89780617.html#p_89780617

https://forum.xitek.com/thread-1997579-findpost-89772025.html#p_89772025

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 354 帖

bird3000

陈年泡菜

泡网分: 60.983

主题: 55

帖子: 6173

2025-02-18 15:21

借这个帖子的热度，谈谈家庭部署AI模型的电脑配置吧，感觉最后模型运行的方向还是应该利用大的RAM，便宜，速度也不错。标配128G起步吧

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

浙江省

第 353 帖

barenboim

泡菜

泡网分: 3.4

主题: 7

帖子: 541

2025-02-18 15:19

解数学题我10年以前用的是wolfram alpha 不知道现在有没有进化

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广东省

第 352 帖

duoduobear

子版版主

泡网分: 94.569

主题: 1039

帖子: 26234

2025-02-18 14:35

MM7 发表于 2025-02-18 14:06
DS-R1最擅长的就是数学计算与逻辑推理，比openai有过之而无不及。

671B 1.58bit似乎是比低参数的模型强，但这道推理题做得还是有欠缺。

登录后可直接显示原图

在我的机器上虽然运行慢，但也能用。而且这个速度和这台机器上跑70B 4bit是一样的。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 351 帖

MM7

资深泡菜

泡网分: 39.7

主题: 66

帖子: 3260

2025-02-18 14:06

Trompette 发表于 2025-02-18 13:32
大语言模型并不适合解数学题。与其说它解出了数学题，不如说它学习过类似的题目，记起了解法。

DS-R1最擅长的就是数学计算与逻辑推理，比openai有过之而无不及。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广东省

第 350 帖

bird3000

陈年泡菜

泡网分: 60.983

主题: 55

帖子: 6173

2025-02-18 13:37

Trompette 发表于 2025-02-18 13:32
大语言模型并不适合解数学题。与其说它解出了数学题，不如说它学习过类似的题目，记起了解法。

似乎最擅长的是写一些提纲，思路什么的，可以多写一些，供参考。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

浙江省

第 349 帖

bird3000

陈年泡菜

泡网分: 60.983

主题: 55

帖子: 6173

2025-02-18 13:34

duoduobear 发表于 2025-02-18 13:28
哈哈，很多人都说这样的速度没法用。但我并不同意，我自己就用得很开心。这个速度的确慢，但我交给它一个任务后，我可以去做别的事情，一会儿再回来看。我觉得能在合理时间完成任务即可。

这倒也是，睡觉前让它写篇报告，起来就能用了。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

浙江省

第 348 帖

Trompette

泡菜

泡网分: 2.289

主题: 5

帖子: 2171

2025-02-18 13:32

MM7 发表于 2025-02-18 11:53
70B的输出质量基本与32B差不多，而且在数学解题方面还更弱一点，这也是偶最后还是上了671B量化版的原因，根本不是同一种东西，32B与70B都是用蒸馏技术模仿671B的回答。可以用你的70B解下这个数学题：
在平面四边形ABCD中，AB=AC=CD...

大语言模型并不适合解数学题。与其说它解出了数学题，不如说它学习过类似的题目，记起了解法。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

上海

第 347 帖

duoduobear

子版版主

泡网分: 94.569

主题: 1039

帖子: 26234

2025-02-18 13:28

bird3000 发表于 2025-02-18 13:06
这个速度没办法用，估计问题复杂一点，思考过程长一点，时间要按小时算。
这个机器的显存太小了，大量数据跑在内存上，慢。

哈哈，很多人都说这样的速度没法用。但我并不同意，我自己就用得很开心。这个速度的确慢，但我交给它一个任务后，我可以去做别的事情，一会儿再回来看。我觉得能在合理时间完成任务即可。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 346 帖

< 返回版块列表

回复主题： DeepSeek开源了

功能受限

游客无回复权限，请登录后再试