机器学习与系统

Stay Hungry, Stay Foolish

0%

发表于： 分类于： 评论：

简介

Ollama 连发两个大版本，分别是 v0.8.0和v0.9.0，0.8 版本后直接发 0.9 大版本，中间没有小功能迭代。

在 0.8 版本中，ollama 支持工具调用流式响应(stream response with tool calls)。

在 0.9 版本中，ollama 增强了对推理模型的支持，支持开启和关闭模型的推理模式。

发表于： 分类于： 评论：

要点

  1. 混合专家架构，原生支持多模态
  2. 发布 Llama 4 Scout和Llama 4 Maverick两款原生多模态大模型
  3. 支持 1000 万 Token 上下文，开辟了无限可能，包括多文档总结、解析大量用户活动以执行个性化任务以及在庞大的代码库上进行推理
  4. Llama 4 Scout 有 17B 活跃参数，配备了 16 位专家，是同类中最好的多模态模型。可以完全嵌入到一个 NVIDIA H100 GPU 中运行
  5. Llama 4 Maverick 同样有 17B 个活跃参数，但拥有 128 位专家。它在广泛的基准测试中超越了 GPT-4o 和 Gemini 2.0 Flash，并且在推理能力和编程等任务上与 DeepSeek v3 相比仅需不到一半的活跃参数就能达到相似的表现
  6. Llama 4 Scout 和 Llama 4 Maverick 都是从 Llama 4 Behemoth 蒸馏而来，Llama 4 Behemoth 有 288B 参数，还在训练中，拥有 16 位专家，是目前最强大的模型之一，在多个 STEM 基准测试上超越了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro

发表于： 分类于： 评论：

2025 年 2 月 24 号-2 月 28 号，DeepSeek 开源了大模型领域的多个关键软件，推动 AGI 向前发展。

你以为这就结束了？今天 (3 月 1 号） DeepSeek 又给出了一份汇总性的内容，总结自己利用这些关键技术，构建自己的推理系统的。

先说结论：

  1. 平均 1 天使用 226.75 个计算节点 ，每个节点 8 张 H800，假设每块 H800 GPU 的租赁成本为每小时 2 美元，日均成本为 87072 美元。
  2. 如果所有 token 都按 DeepSeek-R1 价格计算，日均收益将达 562027 美元。

基本上压榨全部的 GPU 资源了。