Data Engineering Zoomcamp
- 仓库:https://github.com/DataTalksClub/data-engineering-zoomcamp(约 4.4 万⭐,2026-08)
- 主办:DataTalks.Club
- 体量:约 9 周,免费
- 角色:主线实战课
- 状态:DE101 之后进入(或有 SQL/Python 基础可直接上)
是什么
偏生产向的数据管道实战课:Docker、Terraform、云(常见 GCP)、工作流、Spark、Kafka、dbt 等,边做作业边搭项目。
有 cohort(社区期次);也可以按仓库材料自学。
教学模式
- 视频讲解 + 书面材料
- 每周作业 / 项目
- 社区(Slack 等,以仓库说明为准)
难度
★★★ — 比 DE101 更重工程与云环境;卡点常在账号、权限、作业环境,不只概念本身。
建议模块关注点
仓库模块直链见 path.md。
| 方向 | 为什么重要 |
|---|---|
| 容器与本地可复现环境 | DE 日常基本功 |
| 仓内建模 + SQL | 几乎所有 DE 岗位核心 |
| 编排与调度 | 「管道」真正跑起来 |
| 批 / 流(Spark、Kafka) | 规模化数据 |
| dbt 转换 | 分析师/工程师协作常见层 |
进度
- Course README / setup
- 01 Docker & Terraform
- 02 Workflow
- 03 Warehouse
- 04 Analytics eng
- 05–07 + projects
学习笔记
(跟课过程中往下记)
备注
- 仓库体积与云费用:跟课前先读官方 setup,控制云账单