deepseek的方法在于用大模型教小模型，最终让小模型的得分超过大模型
但这种方法，所有大模型的问题很可能会延伸到小的里面
他最主要目的就是便宜，训练便宜，运行便宜

质量不太行，这两个答案

问了DeepSeek两个问题：
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning说了些什么，解释一下

《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》探讨了如何通过强化学习提升大语言模型（LLMs）的推理能力。以下是核心内容：
1. 背景与动机尽管LLMs在多种任务中表现出色，但其推理能力仍有提升空间。现有方法主要依赖监督学习，难以应对复杂推理任务。因此，研究提出通过强化学习来增强LLMs的推理能力。
2. 方法DeepSeek-R1框架结合了强化学习和推理任务，具体步骤如下：环境设置：将推理任务建模为强化学习环境，模型通过与环境互动生成推理步骤并接收反馈。奖励机制：设计奖励函数，根据推理步骤的正确性和效率给予奖励，鼓励模型生成更合理的推理路径。策略优化：使用策略梯度方法优化模型策略，使其在推理任务中表现更好。
3. 实验与结果研究在多个推理任务上测试了DeepSeek-R1，结果显示：性能提升：相比传统监督学习，DeepSeek-R1在复杂推理任务上表现更优。泛化能力：模型在未见过的任务上也展现出良好的泛化能力。效率提升：通过优化推理路径，模型在保持准确性的同时减少了推理步骤。
4. 讨论优势：强化学习能有效提升LLMs的推理能力，尤其在复杂任务中表现突出。挑战：奖励函数设计和训练稳定性仍需进一步研究。未来方向：可探索多任务学习、元学习等方法，进一步提升模型的推理能力。
5. 结论DeepSeek-R1通过强化学习显著提升了LLMs的推理能力，为未来研究提供了新的思路。
总结来说，该研究展示了强化学习在提升LLMs推理能力方面的潜力，并通过实验验证了其有效性。

Reinforcement Learning with Cold Start什么意思

"Reinforcement Learning with Cold Start" 指的是在冷启动情况下应用强化学习（Reinforcement Learning, RL）的挑战和方法。冷启动问题通常出现在系统或模型初始阶段，缺乏足够的初始数据或经验来有效学习。在强化学习中，冷启动问题尤为突出，因为智能体（agent）需要通过与环境的交互来学习策略，而在初始阶段，智能体可能对环境和任务一无所知。以下是关于“Reinforcement Learning with Cold Start”的详细解释：
1. 冷启动问题的定义冷启动问题是指智能体在初始阶段缺乏足够的※※数据或经验，导致难以做出有效的决策。在强化学习中，冷启动问题表现为：智能体对环境的动态特性（如状态转移、奖励函数）一无所知。初始策略可能是随机的或非常低效的。需要大量试错才能找到有效的策略，导致学习效率低下。
2. 冷启动问题的挑战探索与利用的权衡：在冷启动阶段，智能体需要在探索（尝试新动作以发现更好的策略）和利用（使用已知的最佳动作）之间找到平衡。样本效率低：冷启动阶段可能需要大量与环境交互的样本才能学到有效的策略，这对实际应用（如机器人控制、游戏等）来说成本较高。奖励稀疏性：在冷启动阶段，智能体可能很难获得正面的奖励信号，导致学习过程缓慢。
3. 解决冷启动问题的方法为了解决强化学习中的冷启动问题，研究者提出了多种方法：（1）基于模型的方法（Model-based RL）使用一个模型来模拟环境的动态特性，智能体可以通过模拟数据快速学习，减少对真实环境交互的依赖。例如，使用神经网络或高斯过程来建模状态转移和奖励函数。（2）预训练和迁移学习在冷启动阶段，利用预训练模型或从其他相关任务中迁移知识，帮助智能体快速适应新环境。例如，使用监督学习预训练策略网络，或从类似任务的策略中初始化参数。（3）基于示范的学习（Learning from Demonstrations）利用专家示范数据（如人类演示或其他智能体的策略）来引导智能体的初始学习。例如，使用逆强化学习（Inverse RL）或行为克隆（Behavior Cloning）来初始化策略。（4）探索策略的优化设计更高效的探索策略，帮助智能体在冷启动阶段快速发现有效的动作。例如，使用基于不确定性的探索（如贝叶斯RL）或好奇心驱动的探索（Curiosity-driven Exploration）。（5）分层强化学习（Hierarchical RL）将任务分解为多个子任务，智能体可以先学习简单的子任务，再逐步学习复杂的任务，从而缓解冷启动问题。
4. 应用场景冷启动问题在许多实际应用中都非常重要，例如：推荐系统：新用户或新物品缺乏※※数据，难以生成个性化推荐。机器人控制：机器人在新环境中需要快速学习有效的控制策略。游戏AI：智能体在新游戏中需要快速掌握规则并找到获胜策略。
5. 总结“Reinforcement Learning with Cold Start” 强调了在缺乏初始数据或经验的情况下，如何高效地应用强化学习。解决冷启动问题的方法包括基于模型的学习、迁移学习、示范学习、优化探索策略等。这些方法的目标是提高智能体在初始阶段的学习效率，减少对大量试错的依赖，从而更快地找到有效的策略。开启新对话
zyz1993 编辑于 2025-01-28 11:15

半夜可以注册了，可能是服务器宕机了，，，，问了一些问题还没来得及看

这家公司主业是量化交易的研究，deepseek是副业

我在本地电脑上试了
1.5B，7B，14B，32B都试了，70B太大跑不了；其实32B已经太慢了。
最简单的使用方法是这里：
https://ollama_com/library/deepseek-r1
免配置，开箱即用
arondes 编辑于 2025-01-28 00:50

刚看到前面回复的有个错别字，应该是：那个GitHub是全世界最大的开源代码和软件网站、、、

帖小广告的话它是最受人关注的场所。
臭手 编辑于 2025-01-27 21:03

在电脑上登录注册，没反应了。真是向歪果人示窝国威的？
zyz1993 编辑于 2025-01-27 20:36

外行试了一下，感觉跟什么豆包、文心之类的差不多，而且昨天还崩了一会儿。
感觉上他们自己也没做好商业化的准备似的，好像本来只弄个模型自己测试改进加训练用的，最多在学术上进行演示交流，还没做好完全商业化的各种工作，结果没想到一家伙火爆起来，好多商业化的步骤还没完善，包括自家服务器也没想到有这么大流量，直接崩了。
纯外行，对算法公式之类的完全看不懂，只是从使用感觉上觉得、、、速度好像比豆包快点，内容都差不多。当然也没做什么过于专业的试用，偶也没那素材。


那是的开源软件网站，而且国内也没限制那个网站，可以正常下载。
除非不开源，否则放在那里是观众最多的一个场合。贴个相亲广告也得找大城市人多的地方帖不是，贴在自家村里才有几个人能看到啊。

这不是代码的问题
你要用的话 关键是下载那个权重

没能力复现

但是 已经给deepseek 充了10块钱。。。
用在编程上真是挺好，而且用API写小作文 我觉得更符合我的期望，可以调Temperature ，但是我实在不能接受超过0.6时它的发散性思维能力。。。

现在DeepSeek是AI领域风口浪尖上的话题，DeepSeek竟然还开源了。这种共享精神是AI高速发展的一个重要支柱。

Github链接

有人试过它吗？

https://forum.xitek.com/thread-1997579-findpost-89738475.html#p_89738475

arondes：

我在本地电脑上试了
1.5B，7B，14B，32B都试了，70B太大跑不了；其实32B已经太慢了。
最简单的使用方法是这里：
https://ollama_com/library/deepseek-r1
免配置，开箱即用
arondes 编辑于 2025-01-28 00:50

https://forum.xitek.com/thread-1997579-findpost-89800121.html#p_89800121

Duoduobear：

671B 1.58bit动态

ollama run SIGJNF/deepseek-r1-671b-1.58bit:latest

注意磁盘空间，我下载中途c：盘满了。可以把Ollama模型放在其他盘上。比如D盘。需新建一个环境变量

OLLAMA_MODELS = D:\.Ollama\models

然后重启Ollama。