大模型学习

一、AI大模型开发是干什么的

image-20250514142639276

如果把大语言模型（LLM）比作一位 “八卦大神”——什么都懂、回答超快，但有个毛病——记不住你公司内部那些机密八卦。那怎么让大神既能胡侃天下，又能精准回答「我们公司去年 KPI 完成率是多少」这种内部问题？答案就是：AI 大模型开发。

1.两句话速懂“开发”在忙啥

  • 驯化大神：把开源或商用的大模型（Llama、Qwen、ChatGPT…）拉到私有环境，微调 / 精调 / LoRA，一顿参数调教，让 TA 会说“公司方言”。

  • 喂料喂得优雅：建好 企业知识库 + 数据管道 + 向量数据库，让模型随时能翻公司档案，回答又准又不泄密。

2.上图内容

图中组件 干啥的 人话
👤 员工/用户 提问题 “老板让我写周报怎么办？”
🔵 企业 AI 应用 前台小二：收问题、拼上下文、最后把答案端回来 “周报加 emoji，一定行”
📚 企业知识库（向量数据库） 储藏室：把公司 PDF、Excel、飞书、Slack 聊天记录都切碎 Embedding，装成“知识肉松” “碎碎念也是营养”
🔄 数据管道 厨房后勤：24 × 7 把新文件/数据库/SaaS 数据抽取 ➜ 清洗 ➜ Embedding ➜ 入库 “扫地僧 + 搬运工”
🧠 大语言模型（LLM） 八卦大神：收到“问题 + 上下文” ➜ 生成答案 ➜ 交回应用 “嘴上天下，心中公司”

3. 开发者该做的 3 件“大事”

  1. 模型进笼（部署）
    • 裸机、Docker、K8s、轻量 GPU？自己选擇。
    • 记得把 A100 → RTX4090 → M2 性能差异算清楚，免得月底电费爆炸。
  2. 管好“饭桶”（数据管道）
    • ETL：抽取(Extract)→ 转换(Transform)→ 加 Embedding→ 加指标监控。
    • 建议：用 Airflow / Dagster 定时跑；Embedding 推荐 BGE/bge-large-zh、text-embedding-3。
  3. 调口味（参数 & 推理优化）
    • MoE、量化、LoRA：让模型吃得少、说得快。
    • 提示工程：给模型写“心法口诀”，准确率蹭蹭涨。

二、基本概念

image-20250514142148809

​ 左边一摞“文本 1~3”＝训练语料，中间一颗胖嘟嘟的 LLM＝大脑，右边蹦出来一条 错误的回复＝“嗯？你说啥？”，结果被老板（右侧三条）无情吐槽——

错在哪 图里解决方案 现实比喻
1. 没问清楚 提示工程 你问“给我写份报告” VS. “用 3 点总结 + emoji + 100 字以内写份报告”——差别可不是一点点
2. 缺乏相关知识 RAG（检索增强生成） 模型像记忆力超差的实习生：书上都背过，但公司内网全忘光。给 TA 配根“外挂 U 盘”随查随用
3. 能力不足 微调 / LoRA 学生考 55 分→补课冲 90 分：用少量“精品题”再练一遍，模型也能升级打怪

1. LLM 是什么？

  • 全称：Large Language Model，大语言模型。
  • 本质：吃下海量 Token，学会用概率“猜下一个词”。
  • 能力包：对话、总结、写代码、讲段子，但默认没有你公司机密。

记忆盲区：训练时看到过“天王盖地虎”，却没见过你们的 ERP 表结构；所以直接问 KPI，它只好胡编。

2. 为什么会答非所问

  1. 提问含糊　→　模型抓不到重点（图中那位表情夸张的哥们 = “放飞自我”的输入）。
  2. 上下文缺失　→　模型脑袋空空，只好瞎猜。
  3. 参数还不够“贴题”　→　汎用模型懂世界，却不懂你行业黑话。

3. 三板斧让“笨嘴”秒变神算

板斧 操作要点 效果
提示工程 (1) 角色设定：“你是资深财务分析师…” (2) 任务分步：先思考→再输出。 (3) 约束格式：表格 / JSON。 问题更聚焦，答案更靠谱
RAG ① 把 PDF/数据库 → Embedding ② 语义检索召回相关段落 ③ 连同问题一起喂给 LLM 模型“现学现卖”，行业私料也了如指掌
微调 / LoRA ◎ 收集少量高质量对话 ◎ 低秩适配（LoRA）或全参微调 ◎ Epoch 别太多，别把通识干掉 模型学会公司术语、流程，回答更专业

小贴士：先用提示工程 + RAG 把 80% 场景搞定，再决定要不要花 GPU 钱去微调。

一句话总结:

LLM ≈ 天赋型学霸，
提示工程=提问技巧，RAG=小抄，微调=订制补习。
三板斧在手，再“笨嘴”的模型也能变成贴心神算！

三、RAG原理

image-20250514145009578

​ 左边一摞“文本 1-3”→切成“小段落”→塞进向量数据库；用户一丢问题，系统马上在库里嗅出最相关 Top-N 段落，打包塞进 Prompt，LLM 咂摸咂摸——答案到手。整个流程像极了“搜狗＋九阳豆浆机”：先把资料“打碎”再“现磨”。

1. RAG 是啥？

  • 全称：Retrieval-Augmented Generation，检索增强生成。
  • 一句话：给大模型配个“小搜索引擎”，先查资料再写稿，避免张口就编。

2. 五步“磨豆浆”流程

步骤 图中位置 关键动作 小贴士
① 备料 “文本 1-3” 把个人/企业文档、FAQ、数据库导出来 PDF→TXT、Excel→CSV，全都喂进来
② 切块 Split “段落 1-3” 按句/段落/滑窗切成 200-500 Token 小片 重叠 10-20%，防止断章取义
③ Embedding “Embeddings”箭头 用文本向量化模型把每段转成 768-dim 数字 OpenAI-text-emb 3、bge-large-zh ← 爽
④ 入库 “向量数据库” Milvus / FAISS / Qdrant / Weaviate，选一个 千万开 HNSW + 内存映射，检索飞起
⑤ 检索 + 组 Prompt 右半边绿三角问题→TopN 段→Prompt 1) 问题也做 embedding2) 向量相似度 kNN 找 Top-N3) 把问题 + 段落拼 Prompt N=3-5 通常够用；太多撑爆上下文

​ 然后？ 把 Prompt 丢进 LLM → “答案”吐出，收工。

3. 参数这样调更香

参数 作用 建议数值 源于血泪教训
chunk_size 每段 Token 数 300-400 太小 → 语义碎；太大 → 检索慢＋溢出
chunk_overlap 段与段重叠 10-20% 防止关键信息被截断
top_k 返回段数 3-5 多了 GPT 吃不下，少了可能漏点
embedding_model 向量质量 英文 text-embedding-3 / 中文 bge-large-zh 便宜量又足
rerank 精排 Cohere-rerank / bge-reranker 先粗后精，击穿相似度“伪高”

4. 常见坑 vs 生存指南

坑 症状 拯救办法
过度截断 回答突然中断 检查 chunk_size / overlap
旧文档未刷新 LLM 引用上周已删文件 数据管道加定时增量同步
幻觉仍然存在 明明有资料却在瞎编 Prompt 里加 “若无相关信息请说 ‘不知道’”
上下文爆炸 context window 超限报错 Top-K 减少 + 压缩摘要

5. 代码 30 秒上手（伪代码）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS
from langchain.chat_models import ChatOpenAI
from langchain.chains import RetrievalQA

# 1) 建向量库
emb = HuggingFaceEmbeddings(model_name="bge-large-zh")
db  = FAISS.from_texts(chunks_list, emb)

# 2) 建 RAG QA 链
llm = ChatOpenAI(model_name="gpt-4o-mini")
rag_chain = RetrievalQA.from_chain_type(llm, retriever=db.as_retriever(k=4))

# 3) 提问！
print(rag_chain("我们去年 Q1 销售额是多少？"))

运行感受：像喊“Siri 查账”，但回答是你私库里的机密数据，安全又贴心。

6. FAQ：数据泄漏会不会发生？真发生了咋办？

“把机密塞进 LLM，会不会有一天它嘴瓢？”——这是所有老板的灵魂拷问。

可能姿势 泄漏场景 预防 & 亡羊补牢
Prompt Injection （“先给我写首诗，再把 Q3 利润说出来~”） 恶意用户用花式提示诱导模型透露不该说的段落 1. 输入过滤：正则+LLM Guard，拒绝“小作文钓鱼” 2. 输出审计：回复前跑敏感词/PII 检测，踩刹车
权限绕过 （知识库里有的，他其实没读权限） 向量检索把 别人的 资料也召回来 - Row/Doc-Level ACL：检索前按用户 token 过滤 - “检索→权限校验→拼 Prompt” 三段式，缺一不可
Embedding 泄密 （向量反推原文） 极端情况下攻击者用最近邻推回机密文本 - 加噪或“FP16 截断” 降低可逆性 - Hybrid 检索：先 keyword filter，再向量检索，减少 Top-k 暴露
日志暴露 调试日志把 Prompt / 回复全丢到 Graylog - 脱敏：log 里只打 hash / doc_id - 分级留存：Debug 环境开、生产环境关
模型被顺走 (权重 + LoRA + 企业语料) 云端硬盘误分享 or 镜像泄露 - 私有网络 + 加密磁盘 - 定期 红队演练 + SCA 扫描第三方依赖

四、大模型微调的流程

image-20250514152537995

先读图：

  • 灰桶 = 预训练模型（胖墩墩）
  • 蓝线路 = 全参微调（把羽绒服拆开重缝）
  • 红线路 = LoRA 低参微调（只给羽绒服换拉链）
  • 黄色方块 = 新模型 ➜ 紫色框 = 上线推理

1. 为啥要微调？

  • 预训练模型就像万能“说明书式”英语老师，世事通晓但不会你公司黑话。
  • 微调 = 给老师开**“方言速成班”**：少量本地课件 + 几小时培训 → 秒懂 KPI、SKU、996。

2. 两条路线，哪条更香？

路线 过程 优点 缺点
全参微调（蓝） 冻结 0 层，所有权重都参与反向传播 精准、自由度高 显存爆炸（A100 × N）、训练慢、易“遗忘”原有通识
LoRA / 其他低参方法（红） 只在注意力/线性层插入小矩阵 ΔW，训练它们 显存省 70~90%，训练快，可热插拔 超细粒度调教能力稍弱，但 95% 场景够用

一句话：预算充 & 极端精度→选全参；99% 团队 → LoRA 香到爆。

3. LoRA 流程 5 步曲

  1. 准备数据

    • 任务数据（图左上灰桶）：Chat log、工单、FAQ。
    • 新标记数据（绿虚框箭头）：挑 300~1000 条高质量问答手动标注（少而精）。

  2. 挑选微调算法

    • LoRA / QLoRA / LLaMA-Adapter，可用 PEFT 库一句话挂载：

      1
      2
      3
      from peft import LoraConfig, get_peft_model
      model = AutoModelForCausalLM.from_pretrained("Qwen-7B")
      model = get_peft_model(model, LoraConfig(r=8, lora_alpha=32))

  3. 训练

    • 8G 显存也能跑（QLoRA + 4bit）。
    • Epoch 3~5 通常够；别让模型“过拟合＋失忆”。

  4. 合并 or 分离权重

    • 分离：仅保存 LoRA ΔW，推理时“外挂”——便于多版本切换。
    • 合并：把 ΔW 烘焙进原模型 → 单文件部署，免二次加载。

  5. 验证 & 推理

    • 校验关键用例，AB 测试：新模型 vs 原模型。
    • 监控：回复延迟、token 使用量、幻觉率。

4. 常见翻车点 & 急救包

症状 可能原因 急救
显存 OOM LoRA r 太大 / batch_size 炸 减 r（8→4）、改 QLoRA 4bit、Gradient Accumulation
输出口胡 训练样本少、指令格式混乱 加“系统提示”限定格式；样本做清洗、分模板
模型忘词汇 Epoch 太多或学习率过高 lr 1e-4→5e-5，早停；混合旧公开语料作正则
线上延迟高 合并权重 × INT8 Quant 没做 做 bitsandbytes 8bit 或 GGUF + kv-cache

小结

全参微调：重造整车，贵但自由。
LoRA 微调：换新拉链、贴车贴，既省油又拉风。
对 99% 私有部署来说：LoRA = 最低成本拿下“懂行话”的模型升级。

模型微调=小批量训练模型

五、AI大模型私有化部署和微调

image-20250514153355532

image-20250514154056597

两张截图速览

  1. 可选基座模型（图 1）：Qwen、GLM、Mistral、Gemma……像点菜菜单，参数量 = 热量。
  2. 硬件要求表（图 2）：T4、A10、4090、A100，各自显存/价格一目了然——“GPU 选型天梯”。

1. 选模型：别一口气点 72 B

型号 规模 许可证 适合人群 点评
Qwen2-7B 70 亿 免费商用 轻量问答 & 简易 RAG “小而美，烤串随身带”
Qwen2-57B-A14B 570 亿 免费商用 GPU 大户 & 深度生成 “火锅翻台率低，请备冰箱”
GLM-4-9B 90 亿 免费商用 中英混写、代码场景 “双语 Rapper”
Mistral-7B-v0.3 70 亿 Apache-2 欧系口味、吞吐高 “内卷之王”
Gemma2-27B 270 亿 商用友好 通用创作、多语种 “中量饭盒”

挑选：
★ 7-9 B：单张 8-12 G 显存即可跑；
★ 30 B+：24 G 以上显存、或多卡/量化；
★ 50 B+：公司基建级别再考虑。

2. 部署算力：先看钱包再谈 BF16

GPU 显存 参考价* 推荐用途
T4 16 G ¥ 8 k Demo、轻量推理
4090 24 G ¥ 15 k 极客个人、LoRA 微调
A10 24 G ¥ 19 k 中小企业推理
A100-40G 40 G ¥ 70 k 多模态 / 30 B 训练

*截图中价格，仅作量级参考。

  • 显存线：8 G 起步 → <20 G 能跑 7-13 B 量化 → ≥40 G 才敢原生 30 B+。
  • 存储线：一个 7 B fp16 权重 ≈ 14 GB；72 B ≈ 150 GB。
    • NVMe：1 TB 企业盘 ¥ 600；
    • 对比：多买 1 TB = 少买半张 4090。——硬盘便宜，显存贵爆。
    • 实战：留 “2×模型大小 + 数据集 + Checkpoint” 空间即可，别囤太多旧权重。

3. 微调会“直接改参数值”吗？

  • 全参微调：Yes，真把原权重 W 改掉 → 容易“忘记”旧知识。
  • LoRA / QLoRA：No，新增 ΔW 小矩阵，原权重只读不写。推理时 W' = W + ΔW，热插拔更安全。

4. 微调一定要本地 RAG 吗？

  • 不必。
    • 微调 = 教模型新技能；
    • RAG = 给模型实时查资料。
  • 两者可独立，也能组合：“LoRA + RAG” → 既懂行话、又随查最新文档，性价比 > 单做全参微调。

5. 关系图：四大法宝如何排队？

1
2
3
4
5
6
┌────────┐   Prompt 工程   ┌──────────┐
│  用户   ├───────────────►│   LLM    │
└────────┘                └──────────┘
        ▲                       ▲
        │                       │
 RAG（查私库）        LoRA/全参微调（学私话）
  • LLM：通才大脑。
  • 提示工程：提问艺术，让大脑别跑偏。
  • RAG：外挂记忆条，实时供料。
  • 微调：基因编辑，长期升级。

类比：写论文

  • Prompt = 提醒自己“请写 200 字摘要”；
  • RAG = 打开 Google Scholar 查文献；
  • 微调 = 把专业术语背进脑子；
  • LLM = 真正写的人。

6. “多模态”是啥思路？（LangChain 视角）

一句话：让链条里能同时吃文本、图像、音频等多种输入，最后统一输出。

  1. 输入路由

    1
    2
    3
    4
    5
    6
    7
    from langchain.schema import Document, Image
    router = MultiModalRouter({
        "text": text_chain,
        "image": image_chain,
        "audio": audio_chain
    })
    response = router.run([Document("请总结…"), Image(bytes=img)])

  2. 融合策略

    • 串行：先用 ImageCaptionChain → 生成描述 → 传入文本链。
    • 并行：文本 Embedding + 图像 CLIP Embedding → 拼接向量 → 检索。

  3. 典型应用

    • 图文并茂客服：截图 + 问题同时发，模型读图再答。
    • 报表问答：上传 Excel，截一张 KPI 图，问“哪个指标最异常？”

小结

私有化部署三步走：
1️⃣ 选模型（别贪大） 2️⃣ 选卡（显存>8 G） 3️⃣ 微调 / RAG 组合拳。
存储“白菜价”、显存“天价”——硬盘随便加，GPU 慎重买。

六、学习路线规划

image-20250514144158041

下图像一颗“连连看”技能树：从左到右，颜色越绿代表离落地越近。
下面先逐格拆解，再证明这条路线为什么 既科学又不绕路。

1. 蓝色起点：语言层的“内功心法”

节点 是什么 干什么 与谁强关联
Prompt 给模型下指令的艺术 让 LLM 按套路出牌 Embedding（要把示例塞进向量）；LLM（谁执行指令）
Embedding 把文本→向量的算法（BGE、text-emb-3…） 供检索 / 相似度计算 VectorDB（存）·RAG（查）
LLM GPT、Qwen、Llama… 真正“说”话的人 Prompt（输入）·LangChain（调度）
LangChain Python 编排框架 把 Prompt / LLM / 工具 串成流程 Agent（代理）·Tools（外部函数）

2. 青绿色中段：检索 + 行为的“外功装备”

节点 是什么 干什么 与谁强关联
VectorDB FAISS、Milvus… 存 Embedding，kNN 检索 RAG
RAG 检索增强生成 先查资料再回答 LLM·Prompt·VectorDB
Tools 代码、API、SQL… LLM 可调用的外部能力 Agent（调用者）
Agent 带决策循环的链 判断何时用哪 Tool/RAG LangChain·Tools

3. 深绿色模型池：底座选择 & 轻量升级

节点 是什么 干什么 与谁强关联
OpenAI GPT-4o 等 SaaS 即拿即用，最强通用 Prompt·RAG
ChatGLM 开源中文大模型 私有部署友好 LoRA微调·私有化
Llama 2 Meta 开源 LLM 英语/多语强，将来多模态 LoRA微调·Huggingface
LoRA 微调 低秩适配 省显存“改基因” Llama2/ChatGLM·Huggingface

4. 终端实战：从实验室到生产

节点 是什么 干什么 与谁强关联
实战项目 Demo / PoC / 产品 落地检验 ROI 全链条
私有化 内网部署、隔离数据 安全合规、省 token 费 ChatGLM·LoRA·RAG
多模态 文本+图像+音频… 涵盖更复杂场景 LangChain（路由）·LLM
Huggingface 最全模型/权重集市 下载、上传 LoRA/adapters Llama2·LoRA

5. 为什么这条“从左到右”很合理？

  1. 先内功再外功
    • 没学 Prompt → LLM 随机发挥。
    • 先搞 Prompt / Embedding / LLM，等于把“语言这口锅”先烧热。
  2. RAG→Tools→Agent = 功能递进
    • RAG 只会“找资料”。
    • Tools 让模型“能动手”。
    • Agent 再给它“大脑”+“循环”，才能自动决策。
  3. 模型池 & 微调放在后段
    • 业务跑通 → 再决定开源 or SaaS。
    • 场景稳定 → 再花钱显存搞 LoRA，精准升级。
  4. 最右侧是真·生产保障
    • 私有化：把安全、算力、成本一次梳理。
    • 多模态：应对截图、语音、PDF 混杂的真实工单。
    • 实战项目：ROI 才是 “老板 OK” 的最终判定。

一句话：
蓝 → 青 → 绿 → 深绿 就像“练招式 → 穿装备 → 选武器 → 打 Boss”。
步步递进，先让模型会说话，再让它能查资料，再让它动手，最后让它贴合你公司真场景。

上述这么多内容，在这里主要可以分为四大块：

  • AI大模型应用开发
  • RAG和Agent应用开发
  • LoRA微调和模型私有化部署
  • AI大模型6大项目实战

除此之外，也要提一提学习AI的全面路径：

  1. 机器学习相关
    • 微积分、线性代数、概率论、最优化
    • 线性回归、梯度下降逻辑回归、Softmax
    • 神经网络、Optimizer优化器
  2. 深度学习相关
    • PyTorch深度学习框架
    • CNN卷积神经网络
    • NLP基础与相关算法模型RNN、LSTM、Word2Vec、GloVe、fastText、ELMo等
    • NLP任务实战：情感分析、阅读理解、文本摘要、命名实体识别、机器翻译等
  3. 大模型理论基础
    • 学习目标：了解LLM和深度学习算法的基本原理，掌握Transformer框架的特点和GPT各个版本的演化过程
    • Transformer架构和动手实现
    • Transformer变体，如Bert、GPT架构