主题:有烧deepseek的吗?
正序浏览
主题图片汇总
主题内检索
浏览:13283 回帖:268
游客没有回帖权限
泡菜
泡网分: 1.817
主题: 77
帖子: 1386
注册: 2020年10月
stephvagabond 发表于 2025-02-10 10:46
个人电脑部署deepseek都放弃吧。用现在差不多最好的家用电脑nvidia 4090显卡,也只能跑32b的deepseek,和全血的deespeek 671b差距太大。
顺便,最推的AI笔记本/平板/手机也都是智商税。可以打的都是把问题推到后端,由...

的确ds的本地部署太耗资源,大多数人的电脑都32b都跑不起来。
网上有人推荐苹果m4 pro芯片,只是内存要配大一点。
看评测相当不错,居然能勉强跑70b。惊艳!

登录后可直接显示原图

我准备等新一代的Mac studio
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
重庆
泡菜
泡网分: 0.656
主题: 16
帖子: 527
注册: 2022年2月
一晴方觉夏深 发表于 2025-02-09 23:23
肯定的,从14b升级到32b就是DeepSeek-R1的一个全新的安装。
我的理解是如果用AnythingLLM或LM Studio在本地建立的知识库模型,是脱离了DeepSeek的模型,由AnythingLLM或LM Studio来进行训练和管理。...

是的。但是不同结构与参数的模型相当于不同的智商的人类,模型升级就要升级模型的结构与参数
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广东省
泡菜
泡网分: 0.656
主题: 16
帖子: 527
注册: 2022年2月
stephvagabond 发表于 2025-02-10 10:46
个人电脑部署deepseek都放弃吧。用现在差不多最好的家用电脑nvidia 4090显卡,也只能跑32b的deepseek,和全血的deespeek 671b差距太大。
顺便,最推的AI笔记本/平板/手机也都是智商税。可以打的都是把问题推到后端,由...

家用笔记本电脑:
7b:nvidia rtx2050
14b:nvidia rtx3060
本地可以完美运行。
这里有满血版本地运行的配置:[转]用 2000 美元 EPYC 服务器本地跑起 Deepseek R1 671b 大模型-首席AI分享圈
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广东省
泡菜
泡网分: 0.174
主题: 14
帖子: 363
注册: 2004年10月
个人电脑部署deepseek都放弃吧。用现在差不多最好的家用电脑nvidia 4090显卡,也只能跑32b的deepseek,和全血的deespeek 671b差距太大。

顺便,最推的AI笔记本/平板/手机也都是智商税。可以打的都是把问题推到后端,由后端进行处理的。话说,推后端和你前端有毛关系?另外,就是不打游戏的话,8G(12G) RAM/128G(256FLASH 也足够用了。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
陕西省
资深泡菜
泡网分: 46.892
主题: 170
帖子: 9709
注册: 2002年1月
3990x + 256g内存可以跑么?
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
泡菜
泡网分: 5.681
主题: 186
帖子: 5415
注册: 2016年8月
本地部署对硬件要求很高,放弃了。

登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
上海
子版版主
泡网分: 94.589
主题: 1040
帖子: 26253
注册: 2003年10月
内容贡献勋章
washu 发表于 2025-02-09 09:23
好吧我这里果然是穷山僻壤,没人玩这个 今天早上看终于下好了,问了个小问题,内存 14G+,奇怪的是显存也爆掉了 --- 这玩意不是只用 CPU 和主内存的么

我看到网上有人展示更快的Ollama下载速度,地点是在北京。北京联通2000M宽带,下载峰值300MB/s,平均270MB/s,

登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
泡菜
泡网分: 1.817
主题: 77
帖子: 1386
注册: 2020年10月
rivalvive 发表于 2025-02-09 22:50
ds开源的是v3  14b只是开源权重 不同参数的模型不能进行简单的升级 更换模型需要重新蒸馏 个人电脑要实现模型升级 瓶颈在硬件的投入

肯定的,从14b升级到32b就是DeepSeek-R1的一个全新的安装。

我的理解是如果用AnythingLLM或LM Studio在本地建立的知识库模型,是脱离了DeepSeek的模型,由AnythingLLM或LM Studio来进行训练和管理。从14b升级到32b可以继续使用原有训练成熟的模型。 不知道对不对?

(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
重庆
泡菜
泡网分: 0.656
主题: 16
帖子: 527
注册: 2022年2月
一晴方觉夏深 发表于 2025-02-09 15:35
我已经从ollama下载deepseek-R1 的模型完成了本地部署并运行正常,也安装了chatbox实现了UI界面对R1的访问。
现在我想建立自己的模型,并进行知识投喂、训练。似乎这方面的软件比较多,该选哪个比较好呢?请给一些建议吧。
另外,我希望...

ds开源的是v3  14b只是开源权重 不同参数的模型不能进行简单的升级 更换模型需要重新蒸馏 个人电脑要实现模型升级 瓶颈在硬件的投入
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广东省
泡菜
泡网分: 1.817
主题: 77
帖子: 1386
注册: 2020年10月
couldiy 发表于 2025-02-09 21:25
搭车问一下,我也想这样部署,而且愿意付费请人帮我解除它的超级对不齐,有人想试试吗?


超级对不齐是啥意思?
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
重庆
泡菜
泡网分: 0.2
主题: 12
帖子: 139
注册: 2024年9月
一晴方觉夏深 发表于 2025-02-09 15:35
我已经从ollama下载deepseek-R1 的模型完成了本地部署并运行正常,也安装了chatbox实现了UI界面对R1的访问。
现在我想建立自己的模型,并进行知识投喂、训练。似乎这方面的软件比较多,该选哪个比较好呢?请给一些建议吧。
另外,我希望...


搭车问一下,我也想这样部署,而且愿意付费请人帮我解除它的超级对不齐,有人想试试吗?
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广东省
泡菜
泡网分: 1.817
主题: 77
帖子: 1386
注册: 2020年10月
washu 发表于 2025-02-07 18:27
有可能
我在隔壁帖子看到可以用诸如 Chatbox 等工具给 Ollama 喂 pdf,准备试试 --- DSR1 官网那个动不动就装死,实在是玩不动 不过我的电脑不知道跑步跑得起 14b,还在 pulling 模型...


可以通过Chatbox给Ollama喂pdf文档? 图片呢?

(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
重庆
泡菜
泡网分: 31.041
主题: 60
帖子: 490
注册: 2002年3月
wangjianshu95 发表于 2025-02-03 13:26
初次接触,感觉很爽,

两阙词写得很阔以嘛
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
泡菜
泡网分: 1.817
主题: 77
帖子: 1386
注册: 2020年10月
大爱河南 发表于 2025-02-07 09:29
dp称不上ai吧,总体是全互联网搜索和归总,相当于针对一个问题,个人百度一下后在归集总结。但个人会加入自己的看法,而dp没有。
用了两次,问询了一些问题,得不到自己想要的。但可能成为生产力,好比写文章等。

不论怎么缩写都不可能是dp,显然ds是不二之选
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
重庆
泡菜
泡网分: 19.251
主题: 206
帖子: 5798
注册: 2008年9月
年内主力装备
HUAWEI Pura 70 Ultra
HBP-AL00
在手机上试玩了一下用DeepSeek+剪映生成短视频故事,有点意思。收费功能不用,只用免费的
单帧输出

登录后可直接显示原图

登录后可直接显示原图

登录后可直接显示原图

wangjianshu95 编辑于 2025-02-09 16:10
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
江苏省
泡菜
泡网分: 1.817
主题: 77
帖子: 1386
注册: 2020年10月
我已经从ollama下载deepseek-R1 的模型完成了本地部署并运行正常,也安装了chatbox实现了UI界面对R1的访问。

现在我想建立自己的模型,并进行知识投喂、训练。似乎这方面的软件比较多,该选哪个比较好呢?请给一些建议吧。
另外,我希望自己建立的模型是独立于Deepseek以外,便于自建模型的移植——因为我目前的用的是低版本14b,要考虑以后电脑更换性能提升,deepseek也要升级到32b甚至是70b。也就是要考虑自建模型伴随deepseek模型的升级进行移植。 这个应该可以实现吧?

(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
重庆
泡菜
泡网分: 1.817
主题: 77
帖子: 1386
注册: 2020年10月
CarrodRen 发表于 2025-02-04 10:34
有点想试试~这类模型是不是可以自己喂数据,例如拍的相片,然后让它帮忙整理图片?删除重复的、模糊的,标识人名这些?


只能识别txt、pdf、doc之类的文本型文档。多媒体看不懂的哦,我都希望它帮我看视频学习知识呢!
可惜现在AI还太稚嫩
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
重庆
泡菜
泡网分: 57.262
主题: 84
帖子: 18778
注册: 2006年3月
内容贡献勋章
duoduobear 发表于 2025-02-08 16:05
14B需要11GB内存,70B需要45GB内存。

跑了一下 14b,没有使用 -gpu 关键字让它在 GPU 中运行(P2000 应该也跑不了),那它是不是应该只用 CPU 和系统内存?

但现在是,它先吃掉我 5G 显存,然后吃掉 12G 系统内存,然后 CPU 负荷大约 50%(据说默认是这样),GPU 负荷不高但也在跑

登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广西
泡菜
泡网分: 57.262
主题: 84
帖子: 18778
注册: 2006年3月
内容贡献勋章
duoduobear 发表于 2025-02-09 02:10
看你这个下载速度,我必须显摆一下,我是连接的远程电脑,这台电脑下载Ollama模型的速度是120MB/s。看上去网络带宽瓶颈是这台电脑的本地千兆有线网卡。而如此快的原因我猜是周围下载这个的人太多,局域网里或许有很多缓存。

好吧我这里果然是穷山僻壤,没人玩这个 今天早上看终于下好了,问了个小问题,内存 14G+,奇怪的是显存也爆掉了 --- 这玩意不是只用 CPU 和主内存的么
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广西
子版版主
泡网分: 94.589
主题: 1040
帖子: 26253
注册: 2003年10月
内容贡献勋章
washu 发表于 2025-02-08 17:01
那应该凑合,16G 主内存估计能跑 话说昨晚发抽又顺手休眠了,还得继续 pulling 那个 14b 一两百 kb/s 的速度

看你这个下载速度,我必须显摆一下,我是连接的远程电脑,这台电脑下载Ollama模型的速度是120MB/s。看上去网络带宽瓶颈是这台电脑的本地千兆有线网卡。而如此快的原因我猜是周围下载这个的人太多,局域网里或许有很多缓存。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
泡菜
泡网分: 11.189
主题: 0
帖子: 455
注册: 2008年7月
duoduobear 发表于 2025-02-08 05:17
我在两台电脑上都装了70B,超过14B需要24GB以上的显存,这超过大多数人的预算。那就都在CPU上跑吧。

真正的deepseek是671b moe大模型

70b,14b,7b都是千问或者llama,deepseek略微做了点微调(蒸馏)而已
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
资深泡菜
泡网分: 68.311
主题: 702
帖子: 22760
注册: 2005年12月
内容贡献勋章
wangjianshu95 发表于 2025-02-06 09:57
帮你问了一下,如下

有没有问它为什么不采用汪小菲专机运骨灰的说法?还可以追问它是如何判断、取舍的。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
泡菜
泡网分: 57.262
主题: 84
帖子: 18778
注册: 2006年3月
内容贡献勋章
duoduobear 发表于 2025-02-08 16:05
14B需要11GB内存,70B需要45GB内存。

那应该凑合,16G 主内存估计能跑 话说昨晚发抽又顺手休眠了,还得继续 pulling 那个 14b 一两百 kb/s 的速度
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广西
子版版主
泡网分: 94.589
主题: 1040
帖子: 26253
注册: 2003年10月
内容贡献勋章
washu 发表于 2025-02-08 13:02
在 CPU 跑那就要系统内存了,14b 要多大内存,70b 呢

14B需要11GB内存,70B需要45GB内存。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
陈年泡菜
泡网分: 94.594
主题: 15
帖子: 40977
注册: 2002年2月
内容贡献勋章
CATWK 发表于 2025-02-08 15:03
这个还是谷歌更靠谱,目前大语言模型只适合创作不严谨的小作文,涉及到理工科或者纵向的行业专业领域就没啥用了...

我需要总结提炼。
发布自 安卓客户端
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
泡菜
泡网分: 25.814
主题: 492
帖子: 15561
注册: 2005年11月
Bohnenkaffee 发表于 2025-02-08 11:10
没什么特殊用途,就是问(我的)未解之谜。


这个还是谷歌更靠谱,目前大语言模型只适合创作不严谨的小作文,涉及到理工科或者纵向的行业专业领域就没啥用了
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
泡菜
泡网分: 57.262
主题: 84
帖子: 18778
注册: 2006年3月
内容贡献勋章
duoduobear 发表于 2025-02-08 05:17
我在两台电脑上都装了70B,超过14B需要24GB以上的显存,这超过大多数人的预算。那就都在CPU上跑吧。

在 CPU 跑那就要系统内存了,14b 要多大内存,70b 呢
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广西
泡菜
泡网分: 27.921
主题: 336
帖子: 7008
注册: 2003年10月
我依偎着徕卡 发表于 2025-02-08 11:49
您才注册不久,20多年了,我帖子的文字水平一直这样  。改不了了,我自己叫网络聊天体句子和文字,吧意思看明白就可以了。但是有的是对方看不明白,那是认知水平了,当时抨击我的,后来事实都给我※※了。
回答
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
黑龙江省
泡菜
泡网分: 27.921
主题: 336
帖子: 7008
注册: 2003年10月
大爱河南 发表于 2025-02-08 11:12
我这阅读理解一定是体育老师教的。

您才注册不久,20多年了,我帖子的文字水平一直这样  。改不了了,我自己叫网络聊天体句子和文字,吧意思看明白就可以了。但是有的是对方看不明白,那是认知水平了,当时抨击我的,后来事实都给我※※了。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
黑龙江省
泡菜
泡网分: 0.34
主题: 8
帖子: 220
注册: 2024年4月
我依偎着徕卡 发表于 2025-02-08 10:08
新生事物是老事务的升级,电报升级到了视频电话,原理都是滴滴答答的 “点” ,点的组合就是两点成线 多点成面。
自行车升级成了摩托,古代的马车因蒸汽机的出现升级到了汽车,开始的风行的电动汽车经过汽油机的年代又是回到了电动汽车,阿法DOG战胜棋王,。。。...

我这阅读理解一定是体育老师教的。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
河南省
回复主题: 有烧deepseek的吗?
功能受限
游客无回复权限,请登录后再试