系列索引

从 Token 到 Transformer

从基础概念到模型结构,建立大模型的知识体系。

已发布 10 篇文章

AI Agent 实践笔记

工具调用、浏览器智能体与工程边界的实战观察。

已发布 3 篇文章

工程方法与工作流

从问题定义到交付复盘,沉淀可复用的研发方法。

已发布 2 篇文章

索引

文章归档

从工程实践、产品判断到工具链复盘,按时间线继续阅读。

最新

CauseScope:点击 React 界面,追到源码、状态与网络响应

CauseScope 是一个面向 React + Vite 的本地证据检查器:点击页面元素,追到精确 TSX、条件分支、状态更新与关联网络响应;缺失证据则明确标记为不可用。

react / vite / debugging / devtools / open-source

模型读到的不是文字:Token 如何把语言变成可计算的输入

从固定词表、子词切分到特殊标记,解释 Token 为什么是语言进入大模型的第一层接口,而不只是另一种“字数”。

llm / transformer / token / foundation

Token 预算:成本、延迟与上下文质量为何绑在一起

把 Token 当作系统预算来理解:它如何影响输入预处理、逐字生成、上下文容量、API 费用,以及真正有效的信息密度。

llm / transformer / token / foundation

从 Token ID 到向量:文本进入 Transformer 的第一分钟

用一条具体的数据链路说明 Token、ID、Embedding、位置与隐藏状态各自负责什么,以及它们为什么不能混为一谈。

llm / transformer / token / foundation

Embedding 不是“词义坐标”:模型如何学会表示

解释 Embedding 如何把离散 Token 放进可训练的连续空间,同时澄清“向量相近等于语义相同”和“Embedding 就是理解”等常见误区。

llm / transformer / token / foundation

没有位置,Attention 只看到一袋词

从“我打你”和“你打我”的差异出发,解释 Transformer 为什么需要位置信号,以及绝对位置、相对位置与 RoPE 在解决什么。

llm / transformer / token / foundation

Attention 做的不是“关注”:它在重写上下文

从一次代词消歧出发,拆开 Attention 的打分、归一化与信息汇聚过程,并说明它为何关键、昂贵且并非完整解释。

llm / transformer / attention / foundation

Q、K、V:Attention 如何把“找谁”和“拿什么”分开

用检索视角解释 Query、Key、Value 的职责、线性投影、缩放与掩码,并澄清它们不是固定语义标签。

llm / transformer / attention / foundation

多头注意力:为什么一套关系还不够

拆解多头注意力如何在不同表示子空间中并行路由信息、重新拼接结果,以及“每个头负责一种语义”为何只是方便的类比。

llm / transformer / attention / foundation

Attention 之外:FFN、残差与归一化撑起了 Transformer

还原一个完整 Transformer block:Attention 负责位置间通信,FFN 负责逐位置变换,残差与归一化让深层网络可以训练。

llm / transformer / architecture / foundation

Transformer、BERT 与 GPT:架构、训练目标和产品形态

区分 Transformer 架构与 BERT、GPT 模型家族,理解 encoder、decoder、双向掩码和因果语言建模如何塑造不同能力。

llm / transformer / bert / gpt

OpenClaw 的 Skill 不是工具:它是 Agent 的运行时说明层

从发现、优先级、gating、prompt 注入与安全边界拆解 OpenClaw Skill,解释一份 Markdown 如何改变 Agent 的决策,而又为什么不能把它等同于真实权限。

openclaw / ai-agent / tool-use / prompt-engineering

Page Agent 把 Web Agent 放进页面,代价也留在页面里

Alibaba Page Agent 用页面内 JavaScript 与文本化 DOM 构建自然语言操作层;这种 in-page 路线为何更适合产品集成,又在哪些权限、视觉与可靠性问题上需要克制。

ai-agent / web-agent / browser / alibaba

PageIndex 不是“不要向量”:它在重写长文档的检索路径

从一份年报的检索失败出发,分析 PageIndex 的树索引与推理式检索为什么适合结构化长文档,以及它在成本、评估和产品宣传之外的真实边界。

rag / llm / retrieval / ai-engineering

Superpowers 的真正作用:让 AI 编程慢在正确的地方

Superpowers 不负责让模型多写代码,而是用设计、计划、测试、评审与验证约束 Agent 的执行节奏;这套方法何时有效,何时又会显得过重。

ai-agent / engineering / workflow / tdd