山风Blog
Transformer 架构解析
整条链路拆成四段走一遍：先把「国王他有个女儿」分词成四个 token，词嵌入叠上位置编码凑成 4×512 的矩阵；Q、K、V 由这个矩阵乘三个可学习参数得到，八个头各看一个视角，Mask 挡住还没生成的词；编码器靠残差连接与层归一化稳住梯度，FFN 把 512 放大到 2048 再压回来；解码器从 bos 起步，一次一个词，把输出接回输入循环。末页把全程收在一张图上。
大模型核心原理
模型只做一件事，根据上文猜下一个词。四步拆开：分词把句子剁成 Token，词嵌入把 Token 变成带语义的向量，注意力让每个词按相关度去看邻居，最后按概率一个词一个词续写。案例部分用「国王有个女儿，」走了一遍全流程，训练三阶段则对齐成修内功、大佬教、接受审判。
提示工程与 Prompt 调优技巧
提示词只解决两件事，把背景信息给足，把复杂任务拆成步骤。六种技巧按代价排开：零样本最省，少样本改格式，思维链拆推理，自我一致性靠多次投票，思维树在分支里搜，反思机制让模型自己回看一遍。后半段转向防守与搭建，注入、泄露、越狱三类攻击怎么防，Coze 零代码怎么搭，百炼 API 怎么跑通第一个 Hello World。
AI 大模型初识
从深蓝赢下卡斯帕罗夫讲到 ChatGPT 与 DeepSeek，先建立「它到底在做什么」的直觉，再把幻觉与上下文窗口两条硬边界摆出来。落地部分收在四个方向：提示词、知识库、智能体、微调，各自解决不同层次的问题。最后是行业案例与岗位要求。
向量检索算法：从暴力搜索到 IVF 与 HNSW
暴力搜索精度 100%、复杂度 O(N)，规模一上来就不可用；ANN 用可接受的精度损失换毫秒级返回。两条路分开走：IVF 先聚类分簇，查询只比质心、搜邻近几簇，快但答案可能落在没搜的簇里；HNSW 借小世界网络与跳表分层下探，召回更高，还支持增量更新。最后一页的对比表把选型钉在「动态数据」这一行。
RAG 的分块策略详解
分块质量几乎决定 RAG 的性能上限，换更强的模型也补不回来。五种策略按依赖的确定性排开：固定长度只配当基线，结构感知靠父级路径提信噪比，语义与主题分块拿算力换块内聚，小-大和父子是建模与检索的分工。落点是一句可执行的话：固定检索与重排，只动分块参数。
RAG 怎么搭才不翻车
先分两层再谈优化：答案根本不在召回上下文里，属于知识库治理（版本冲突、覆盖缺失），调检索器救不了；答案在却答错，才轮到检索与生成。七类失败点归位，分块与 ANN 选型，检索前中后逐招拆开，实测数据把「混合检索不能无脑拼接」钉死。
构建高效智能体
先讲什么时候不该用智能体。五种工作流模式按路径确定性排成一条轴，加不加自主智能体只看一件事：下一步由谁决定。结尾三条原则比模式清单更耐用，附录里「优化工具花的时间比优化提示词更多」是全文最硬的一句。
提示词参考范例
一套能直接套的提示词骨架。通用结构分七块（角色、技能、要求、任务、工作流、示例、限制），基于知识的问答模板含 jinja2 变量版，智能体部分讲意图识别与工具调用，任务执行类是三步流程，后面跟市场分析、短视频剧本、学习规划、销售数据提取四个完整范例。
反思机制
不更新任何参数，把失败写成一段文字存进记忆，下一次带着这段文字再试。编程任务首次生成成功率 91%，比当时最好成绩高 11 个点；消融显示自生成测试的贡献比反思本身更大。