跳转至主要内容
行情
扫链
追踪
信号
牛人榜
兑换
资产
邀请计划
更多
产品
DeFi
市场
洞察中心
Eco Hub
安全中心
开发者中心
DEX API
探索 DEX API
DEX API 文档
API Key 管理
区块链浏览器
X Layer
探索 X Layer
X Layer 浏览器
跨链桥
开发者文档
测试网水龙头
GitHub
DApp 连接钱包
Boost
X Launch
参与 X Launch,抢先赚新币
Giveaway
完成指定任务,领取空投好礼
交易赛
交易热门代币,冲榜赢大奖
奖励中心
领取奖励和空投
预警
语言
货币
下载 OKX Wallet
Web3 指南
公告
返回
简体中文
繁體中文
English
Tiếng Việt
Русский
Español (Latinoamérica)
Bahasa Indonesia
Français
Deutsch
Italiano
Polski
Čeština
Română
Português (Portugal)
Português (Brasil)
Українська
Español (España)
Nederlands
العربية
日本語
Norsk (bokmål)
Suomi
Svenska
返回
返回
使用教程
学院
帮助中心
发现功能使用指南
热门话题
#
Bonk 生态迷因币展现强韧势头
Hosico
+6.22%
USELESS
+3.94%
IKUN
+14.45%
gib
-5.65%
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
Bonk
+4.48%
ALON
+6.33%
LAUNCHCOIN
+9.54%
GOONC
+0.1%
KLED
+13.75%
#
Solana 新代币发射平台 Boop.Fun 风头正劲
BOOP
-1.21%
Boopa
+13.5%
PORK
+2.6%
主页
汉松
大厂大模型应用开发 | AI 降临派 | 终身学习者 | Taste is all you need
查看原文
汉松
10月19日 21:31
从零实现 vLLM 的第四篇文章,我们将目光转向 Transformer 架构中另一个看似简单、却至关重要的组件:RMSNorm(均方根归一化)。 我们先来看看什么是归一化,假设你刚考完期末考试,三门课的成绩出来了: 数学:120分(满分150) 英语:80分(满分100) 物理:160分(满分200) 哪门课考得最好?如果你直接比较 120、80、160,会得出物理最好的结论。但真实情况是:三门课其实考得一样好。 数学:120/150 = 80% 英语:80/100 = 80% 物理:160/200 = 80% 这就是归一化的核心思想:把不同量纲、不同范围的数据转换到统一的标准下进行比较。 为什么神经网络需要归一化? 想象一下,你在玩传话游戏。第一个人说"我喜欢苹果",传到第十个人那里变成了"我喜欢菠萝"。这就是深度神经网络面临的问题。 每一层网络都会对输入做一些计算,然后把结果传给下一层。问题是,随着层数增加,这些数值会变得越来越不可控——要么爆炸式增长,要么消失得无影无踪。就像传话游戏一样,信息在传递过程中逐渐失真。 在模型中加入归一化层,能够降低梯度爆炸或者消失的概率,模型的训练过程变得更加稳定。归一化技术从一开始的 BatchNorm 先演进到 LayerNorm,最后进化到了 RMSNorm,成为大模型的标配。 我的文章会带大家走进归一化技术的演进史,感兴趣的可以查看原文。
63.93K
231
汉松
10月17日 11:44
Claude 的 Agent Skills 本质上是一种“上下文卸载”,把冗长的技能信息移出上下文,按需加载。巧的是最近 Manus 的 Peak 也分享一些“上下文卸载”的技巧。Manus 有很多工具,但是并不会把这些工具的完整定义告诉模型。那它怎么知道有哪些工具,又怎么调用它们呢?想象一下,给你一台新电脑,你怎么知道有哪些工具能用?普通用户会打开应用程序的列表,程序员会 `ls /usr/bin` 看一下有哪些命令可以用。 同样的,Manus 的解法是在系统提示词中,告诉模型在某个特定文件夹里,有许多预装的命令行实用工具。那些最常用的工具(ls、grep、cat、less、more等),就默认内置在系统提示里面的。不需要告诉模型如何使用这些工具,只需要列出工具名,然后告诉它可以使用 --help 参数来了解如何使用工具。最妙的是这些 shell 操作模型都是学过的,所以它的泛化能力很强,要加新的工具只需要往文件夹里面放一个命令就行。 我发现 Manus 真的是把 Unix 哲学贯彻到底了:KISS(Keep It Simple, Stupid)。
宝玉
10月17日 02:58
Agent Skills 是很好的东西,可以引导 Agent 获取某些技能,而且制作起来很方便。 制作一个技能,就好像给新员工写一份入职手册。不需要为每一个不同任务都专门打造一个独立的智能体,而是只要共享特定领域的专业知识,任何人都可以快速将智能体变成对应领域的高手。 我之前提到过朋友做一个基于他们 Design System 的 Agent,需要通过提示词引导 Agent 去 grep 检索文档,现在就更简单了,只要在全局或者项目目录下的 .claude/skills 下面添加目录,并且放一个包含meta信息的 SKILL\.md 文件,就可以引导 Agents 去学习使用这些 Skill。 官方也给了一个例子就是 PDF Skill,就是包含了一系列 PDF 操作的说明和脚本,Agent 借助这些脚本,就可以操作 PDF,比如提取表单之类。也就是说 Skill 不仅可以包含文档,还可以包含可执行的脚本。 需要注意的是 Skill 里面的 Meta 信息是默认会加载到上下文文的,其余信息用到才会加载。
136.51K
251
热门
排行
收藏