热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Ahmad
人工智能研究员和软件工程师，肩负构建 DGX B200 GPU 集群的使命
> 成为我们
> 拉里和谢尔盖
> 斯坦福的一间宿舍，咖啡因震颤，狂野的雄心
> 拼凑一个简陋的网络爬虫
> 意外地组织了整个互联网
> 叫它谷歌
> 构建搜索、电子邮件、地图、文档、操作系统、手机、浏览器、汽车、卫星、恒温器、AI实验室、TPU农场和量子计算机
> 2025年
> 每个人都在谈论AGI
> OpenAI：“我们需要数据、传感器、反馈和规模”
> 我们：盯着谷歌地图、YouTube、Gmail、Android、Waymo、Pixel、Fitbit、文档、日历、街景和地球引擎
> “该死。看来我们已经做到了。”
> YouTube：每天2.6M视频
> Android：30亿部手机，24/7流式传输传感器数据
> Gmail：18亿个人类先前的收件箱
> 搜索：全球规模的RLHF
> Waymo：7100万英里的真实自驾录像
> 谷歌地球：建模整个星球
> 还有你的日历
> 人们在书籍和PDF上训练LLMs
> 我们在训练人类
> 每一次点击、滑动、轻触、拼写错误的搜索、滚动和书签
> 来自地狱（或天堂）的反馈循环
> 取决于你问谁
> OpenAI：“我们需要1000亿美元用于GPU”
> 我们：已经构建了TPU
> 定制硅
> 数据中心与行星数据湖预先共址
> 没有出口，没有延迟
> 只有氛围和FLOPs
> 程序员：在GitHub仓库上微调
> 我们：20亿行内部代码
> 标记、类型、测试
> 每次提交都是一个训练信号
> 代码LLMs梦想成为我们的单一代码库
> AGI食谱？
> 多模态感知
> 真实世界反馈
> 巨大的代码库
> 可扩展计算
> 对齐信号
> 具身传感器
> 用户数据持续数天
> 是的，我们自2016年以来就有了这些
> 没有投资者演示文稿
> 没有万亿的炒作轮
> 只是25年的意外地球模拟
> 在生产中运行
> OpenAI筹集1000亿美元构建AGI
> 投资者称其为革命性
> 我们：安静地在街景中绘制1000万新英里
> 同步另外80PB的地球影像
> 收集另一年的Fitbit生物信号
> 享受你的基础模型
> 我们拥有基础
> 人们：“但谷歌在失误”
> 这是真的
> 我们在120个国家同时失误
> 拥有地球上最大的计算足迹和研究团队
> 失误得够严重，你就会回到胜利的轨道
> AGI？
> 我们不需要构建它
> 它已经在大楼里
> 由Chrome标签和文档修订驱动
> mfw我们花了20年索引现实
> mfw我们的数据好得让我们感到害怕
> mfw 唯一阻止我们实现AGI的，是四位副总裁和一位困惑的律师之间的会议
> 称之为研究
> 称之为规模
> 称之为“行星模拟即服务”
> 我们称之为星期二
57.79K
上周，Karpathy 发布了终极指南，教你如何快速进入 LLMs。
在这个项目中，你将构建所有基本要素，代码行数不超过 8k。
> 训练分词器——新的 Rust 实现
> 在 fineweb 上预训练一个变换器 LLM
> 在多个指标上评估核心分数
> 中途训练——来自 smoltalk 的用户助手对话，
> 多项选择题，工具使用
> SFT，然后在以下方面评估聊天模型：
> 世界知识 MCQ（arc-e/c，mmlu）
> 数学（gsm8k）
> 代码（humaneval）
> 可选地在 gsm8k 上对模型进行 RL，使用“grpo”。
> 高效推理：
> KV 缓存，快速预填充/解码
> 工具使用（Python 解释器，沙盒环境）
> 通过 CLI 或类似 ChatGPT 的 WebUI 访问
> 写一份单一的 Markdown 报告卡，
> 总结并游戏化整个流程。
你将构建的模型：
> 仅使用旋转（不使用位置嵌入）
> QK 归一化
> 解嵌入/未绑定嵌入
> 在标记嵌入后进行归一化
> ReLU² MLP
> 线性层中无偏置
> RMSNorm（无可学习参数）
> MQA（多查询注意力）
> Logit Softcap
> 优化器：Muon + AdamW
如果我几年前有这个，我就能避免一半的痛苦，跳过双倍的兔子洞。
祝你编程愉快！
38.23K
热门
排行
收藏