AI Infra
先搞懂它是什么,再按「概念 → 生产 ML → LLM serving」学。
独立线;不必和 Agent / DE 绑进度。
这是什么
AI Infra = 让模型在生产里跑得起来的层:算力、训练/推理服务、调度、网关、监控、成本。
不是写 Prompt / Agent 编排本身,也不是纯数据分析。
| 层 | 典型内容 |
|---|---|
| 硬件/集群 | GPU、K8s 调度 |
| 训练 | 分布式训练、实验追踪、checkpoint |
| 推理 | vLLM 等 serving、量化、吞吐/延迟 |
| 平台 | API 网关、观测、评测/CI(LLMOps) |
入门默认偏 推理 + 平台(上线);训练集群以后按需。
最短清单
| # | 资源 | 链接 | 角色 |
|---|---|---|---|
| 1 | Chip Huyen《Designing Machine Learning Systems》笔记仓 | https://github.com/chiphuyen/dmls-book | 概念地图 |
| 2 | Made With ML | https://madewithml.com/ · https://github.com/GokuMohandas/Made-With-ML | 免费生产向实战 |
| 3a | DeepLearning.AI LLMOps | https://www.deeplearning.ai/courses/llmops | 短课:流水线 |
| 3b | Efficiently Serving LLMs | https://www.deeplearning.ai/courses/efficiently-serving-llms | 短课:推理 serving |
| 3c | Fast & Efficient LLM Inference with vLLM | https://www.deeplearning.ai/courses/fast-and-efficient-llm-inference-with-vllm | 短课:vLLM |
细节:comparison.md · path.md · resources.md
企业过关加餐:AI Engineer Production Track(应用上线,不替代上方主线)。查课流程见 skill tencent-udemy-search。
进度
- 读完「这是什么」+ comparison
- dmls-book / 原书:建立端到端系统图
- Made With ML:跟一条 deploy 路径
- 短课至少完成 LLMOps 或 Serving / vLLM 之一
- (可选)本地或云上起一个最小 vLLM / 开源推理 demo
- (可选)Production Track
原则
- 先地图,再工具;别一上来只背组件名
- 企业课须过质检才跟;主线默认免费清单