学习笔记合集
拾遗 · 学习笔记
学习笔记
把「学会了」拆成能回看的每一步。
学的时候记，不等到学会再写——所以会有卡住的地方、试错的做法、被推翻的判断。每条只回答三件事：它到底是什么，我在什么场景下用过，它替我省下了什么。不整理成知识图谱，也不假装成体系。
20 篇约 8.2 万字读完约 9 小时更新至 11-03
Transformer 架构解析
整条链路拆成四段走一遍：先把「国王他有个女儿」分词成四个 token，词嵌入叠上位置编码凑成 4×512 的矩阵；Q、K、V 由这个矩阵乘三个可学习参数得到，八个头各看一个视角，Mask 挡住还没生成的词；编码器靠残差连接与层归一化稳住梯度，FFN 把 512 放大到 2048 再压回来；解码器从 bos 起步，一次一个词，把输出接回输入循环。末页把全程收在一张图上。
大模型核心原理
模型只做一件事，根据上文猜下一个词。四步拆开：分词把句子剁成 Token，词嵌入把 Token 变成带语义的向量，注意力让每个词按相关度去看邻居，最后按概率一个词一个词续写。案例部分用「国王有个女儿，」走了一遍全流程，训练三阶段则对齐成修内功、大佬教、接受审判。
提示工程与 Prompt 调优技巧
提示词只解决两件事，把背景信息给足，把复杂任务拆成步骤。六种技巧按代价排开：零样本最省，少样本改格式，思维链拆推理，自我一致性靠多次投票，思维树在分支里搜，反思机制让模型自己回看一遍。后半段转向防守与搭建，注入、泄露、越狱三类攻击怎么防，Coze 零代码怎么搭，百炼 API 怎么跑通第一个 Hello World。
AI 大模型初识
从深蓝赢下卡斯帕罗夫讲到 ChatGPT 与 DeepSeek，先建立「它到底在做什么」的直觉，再把幻觉与上下文窗口两条硬边界摆出来。落地部分收在四个方向：提示词、知识库、智能体、微调，各自解决不同层次的问题。最后是行业案例与岗位要求。
向量检索算法：从暴力搜索到 IVF 与 HNSW
暴力搜索精度 100%、复杂度 O(N)，规模一上来就不可用；ANN 用可接受的精度损失换毫秒级返回。两条路分开走：IVF 先聚类分簇，查询只比质心、搜邻近几簇，快但答案可能落在没搜的簇里；HNSW 借小世界网络与跳表分层下探，召回更高，还支持增量更新。最后一页的对比表把选型钉在「动态数据」这一行。
RAG 的分块策略详解
分块质量几乎决定 RAG 的性能上限，换更强的模型也补不回来。五种策略按依赖的确定性排开：固定长度只配当基线，结构感知靠父级路径提信噪比，语义与主题分块拿算力换块内聚，小-大和父子是建模与检索的分工。落点是一句可执行的话：固定检索与重排，只动分块参数。
RAG 怎么搭才不翻车
先分两层再谈优化：答案根本不在召回上下文里，属于知识库治理（版本冲突、覆盖缺失），调检索器救不了；答案在却答错，才轮到检索与生成。七类失败点归位，分块与 ANN 选型，检索前中后逐招拆开，实测数据把「混合检索不能无脑拼接」钉死。
构建高效智能体
先讲什么时候不该用智能体。五种工作流模式按路径确定性排成一条轴，加不加自主智能体只看一件事：下一步由谁决定。结尾三条原则比模式清单更耐用，附录里「优化工具花的时间比优化提示词更多」是全文最硬的一句。
提示词参考范例
一套能直接套的提示词骨架。通用结构分七块（角色、技能、要求、任务、工作流、示例、限制），基于知识的问答模板含 jinja2 变量版，智能体部分讲意图识别与工具调用，任务执行类是三步流程，后面跟市场分析、短视频剧本、学习规划、销售数据提取四个完整范例。
反思机制
不更新任何参数，把失败写成一段文字存进记忆，下一次带着这段文字再试。编程任务首次生成成功率 91%，比当时最好成绩高 11 个点；消融显示自生成测试的贡献比反思本身更大。
思维树
把思维链从一条线扩成一棵树，模型可以同时保留多个候选、往前看几步、走不通退回来换分支。24 点游戏上成功率从 4% 提到 74%，代价是调用次数成倍增加。
自我一致性
同一份思维链提示，只换解码方式：随机采样四十条推理路径，边缘化掉过程、只数哪个最终答案出现得最多。GSM8K 上准确率从 56.5% 提到 74.4%，采样条数越多越准。
思维链
2022 年那篇 CoT 论文的精读。提示词里的示例从「问题 + 答案」换成「问题 + 推理 + 答案」，百亿参数以上的模型才真正学会推理；三组消融说明多给算力没用，用自然语言写中间步骤才有用。
提示词怎么写才稳定可控
从「列了一堆要求却跑偏」到「按任务把要素配齐」：四层结构拆解、推理激发的递进链，以及可直接抄的模板库。
AI 需求怎么选落地方式
过完四道闸门、确认值得做之后，选型到底在选什么：提示词、RAG、Agent、微调，按什么顺序加。
大模型四大致命伤
做 AI 产品，先认清模型什么做不了。幻觉、记忆受限、时效与私有数据、不可控与延迟，四个致命伤对应四道产品闸门。
幻觉透镜 HalluLens
把「幻觉」和「事实性」拆开，才谈得上建基准。三个新任务专测训练数据之外的幻觉，题目现场生成防泄漏，而且必须报拒答率，否则一个全答「不知道」的模型幻觉率就是零。分类框架可迁移，具体排名已经过期。
大模型认知基础
大模型认知基础课程资料，涵盖 AI、机器学习、深度学习、大模型、RAG、Agent 与微调。
AI 产品姿态
两页材料，讲 AI 产品经理与传统 PM 的差别在哪。第一页是确定性与概率思维的分野，第二页是五维能力模型与三级进阶路径。
中国 AIGC 应用全景图谱
量子位智库 2025 年出的 AIGC 应用全景图谱，按 to C 与 to B 两大类铺开，右侧单列底层开发与 AI 编程工具。
