机器学习与系统

Stay Hungry, Stay Foolish

0%

发表于： 分类于： 评论：

要点

  1. 混合专家架构，原生支持多模态
  2. 发布 Llama 4 Scout和Llama 4 Maverick两款原生多模态大模型
  3. 支持 1000 万 Token 上下文，开辟了无限可能，包括多文档总结、解析大量用户活动以执行个性化任务以及在庞大的代码库上进行推理
  4. Llama 4 Scout 有 17B 活跃参数，配备了 16 位专家，是同类中最好的多模态模型。可以完全嵌入到一个 NVIDIA H100 GPU 中运行
  5. Llama 4 Maverick 同样有 17B 个活跃参数，但拥有 128 位专家。它在广泛的基准测试中超越了 GPT-4o 和 Gemini 2.0 Flash，并且在推理能力和编程等任务上与 DeepSeek v3 相比仅需不到一半的活跃参数就能达到相似的表现
  6. Llama 4 Scout 和 Llama 4 Maverick 都是从 Llama 4 Behemoth 蒸馏而来，Llama 4 Behemoth 有 288B 参数，还在训练中，拥有 16 位专家，是目前最强大的模型之一，在多个 STEM 基准测试上超越了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro

发表于： 分类于： 评论：

2025 年 2 月 24 号-2 月 28 号，DeepSeek 开源了大模型领域的多个关键软件，推动 AGI 向前发展。

你以为这就结束了？今天 (3 月 1 号） DeepSeek 又给出了一份汇总性的内容，总结自己利用这些关键技术，构建自己的推理系统的。

先说结论：

  1. 平均 1 天使用 226.75 个计算节点 ，每个节点 8 张 H800，假设每块 H800 GPU 的租赁成本为每小时 2 美元，日均成本为 87072 美元。
  2. 如果所有 token 都按 DeepSeek-R1 价格计算，日均收益将达 562027 美元。

基本上压榨全部的 GPU 资源了。

发表于： 分类于： 评论：
约翰 John 来源 昨天晚上和一位上市公司高管彻夜长谈。他的一席高论震撼了我，也解决了我的一个困惑：为何有的人年纪轻轻就有巨额收入，而且认知和悟性不是

发表于： 分类于： 评论：

SearXNG 是一个免费的互联网元搜索引擎，它整合了来自超过 70 个搜索服务的结果。用户不会被跟踪或进行特征分析，很好地保护了用户隐私。

发表于： 分类于： 评论：
他强调，聪明、正直且精力充沛的商业伙伴非常重要，他们可以提供你实现目标所需的技术和资源 第一章 积累财富 认识财富创造的原理 要想积累财富，必须知道