Transformer 架构解析
整条链路拆成四段走一遍：先把「国王他有个女儿」分词成四个 token，词嵌入叠上位置编码凑成 4×512 的矩阵；Q、K、V 由这个矩阵乘三个可学习参数得到，八个头各看一个视角，Mask 挡住还没生成的词；编码器靠残差连接与层归一化稳住梯度，FFN 把 512 放大到 2048 再压回来；解码器从 bos 起步，一次一个词，把输出接回输入循环。末页把全程收在一张图上。
Atom 订阅
Atom 订阅
通过 Atom 订阅，第一时间获取最新文章和动态
Atom 链接
复制链接到你的 Atom 阅读器
https://www.shanfengpm.com/atom.xml最新文章
大模型核心原理
模型只做一件事，根据上文猜下一个词。四步拆开：分词把句子剁成 Token，词嵌入把 Token 变成带语义的向量，注意力让每个词按相关度去看邻居，最后按概率一个词一个词续写。案例部分用「国王有个女儿，」走了一遍全流程，训练三阶段则对齐成修内功、大佬教、接受审判。
提示工程与 Prompt 调优技巧
提示词只解决两件事，把背景信息给足，把复杂任务拆成步骤。六种技巧按代价排开：零样本最省，少样本改格式，思维链拆推理，自我一致性靠多次投票，思维树在分支里搜，反思机制让模型自己回看一遍。后半段转向防守与搭建，注入、泄露、越狱三类攻击怎么防，Coze 零代码怎么搭，百炼 API 怎么跑通第一个 Hello World。
AI 大模型初识
从深蓝赢下卡斯帕罗夫讲到 ChatGPT 与 DeepSeek，先建立「它到底在做什么」的直觉，再把幻觉与上下文窗口两条硬边界摆出来。落地部分收在四个方向：提示词、知识库、智能体、微调，各自解决不同层次的问题。最后是行业案例与岗位要求。
向量检索算法：从暴力搜索到 IVF 与 HNSW
暴力搜索精度 100%、复杂度 O(N)，规模一上来就不可用；ANN 用可接受的精度损失换毫秒级返回。两条路分开走：IVF 先聚类分簇，查询只比质心、搜邻近几簇，快但答案可能落在没搜的簇里；HNSW 借小世界网络与跳表分层下探，召回更高，还支持增量更新。最后一页的对比表把选型钉在「动态数据」这一行。
RAG 的分块策略详解
分块质量几乎决定 RAG 的性能上限，换更强的模型也补不回来。五种策略按依赖的确定性排开：固定长度只配当基线，结构感知靠父级路径提信噪比，语义与主题分块拿算力换块内聚，小-大和父子是建模与检索的分工。落点是一句可执行的话：固定检索与重排，只动分块参数。