jackfrued/Python-100-Days

作者：骆昊

说明1：最近有一个非常火的岗位叫做 FDE（前沿部署工程师），国内首套 FDE 实战课已经为大家准备好了，请点击传送门。

说明2：如果访问 GitHub 比较慢的话，可以关注我的知乎账号（Python-Jack），上面的“从零开始学Python”专栏比较适合初学者，其他的专栏如“数据思维和统计思维”、“基于Python的数据分析”、“说走就走的AI之旅”、“AI智能体开发”等也在持续创作和更新中，欢迎大家关注、点赞和评论。如果有一起打卡学习或付费咨询的需求，可以加入付费交流群，新用户可以通过下方二维码付费之后添加我的私人微信（微信号：jackfrued），然后邀请大家进入付费学习打卡群，添加微信时请备注好自己的称呼和需求，我会为大家提供力所能及的帮助。

说明3：本项目对应的部分视频已经同步到 Bilibili，有兴趣的小伙伴可以点赞、投币、关注，一键三连支持一下！

简单的说，Python是一个“优雅”、“明确”、“简单”的编程语言。

• 学习曲线低，非专业人士也能上手
• 开源系统，拥有强大的生态圈
• 解释型语言，完美的平台可移植性
• 动态类型语言，支持面向对象和函数式编程
• 代码规范程度高，可读性强

Python在以下领域都有用武之地。

• 后端开发 - Python / Java / Go / PHP
• DevOps - Python / Shell / Ruby
• 数据采集 - Python / C++ / Java
• 量化交易 - Python / C++ / R
• 数据科学 - Python / R / Julia / Matlab
• 机器学习 - Python / R / C++ / Julia
• 自动化测试 - Python / Shell

作为一名Python开发者，根据个人的喜好和职业规划，可以选择的就业领域也非常多。

• Python后端开发工程师（服务器、云平台、数据接口）
• Python运维工程师（自动化运维、SRE、DevOps）
• Python数据分析师（数据分析、商业智能、数字化运营）
• Python数据科学家（机器学习、深度学习、算法专家）
• Python爬虫工程师（不推荐此赛道！！！）
• Python测试工程师（自动化测试、测试开发）

说明：目前，数据科学赛道是非常热门的方向，因为不管是互联网行业还是传统行业都已经积累了大量的数据，各行各业都需要数据科学家从已有的数据中发现更多的商业价值，从而为企业的决策提供数据的支撑，这就是所谓的数据驱动决策。

给初学者的几个建议：

• Make English as your working language. （让英语成为你的工作语言）
• Practice makes perfect. （熟能生巧）
• All experience comes from the mistakes you've made. （所有的经验都源于犯过的错误）
• Don't be a freeloader. （学会分享，不要只当伸手党）
• Embrace AI to boost your productivity.（拥抱AI，提升效率）

1. Python简介
   • Python编年史
   • Python优缺点
   • Python应用领域
2. 安装Python环境
   • Windows环境
   • macOS环境

1. 编写代码的工具
2. 你好世界
3. 注释你的代码

1. 一些常识
2. 变量和类型
3. 变量命名
4. 变量的使用

1. 算术运算符
2. 赋值运算符
3. 比较运算符和逻辑运算符
4. 运算符和表达式应用
   • 华氏和摄氏温度转换
   • 计算圆的周长和面积
   • 判断闰年

1. 使用if和else构造分支结构
2. 使用match和case构造分支结构
3. 分支结构的应用
   • 分段函数求值
   • 百分制成绩转换成等级
   • 计算三角形的周长和面积

1. for-in循环
2. while循环
3. break和continue
4. 嵌套的循环结构
5. 循环结构的应用
   • 判断素数
   • 最大公约数
   • 猜数字游戏

1. 例子1：100以内的素数
2. 例子2：斐波那契数列
3. 例子3：寻找水仙花数
4. 例子4：百钱百鸡问题
5. 例子5：CRAPS赌博游戏

1. 创建列表
2. 列表的运算
3. 元素的遍历

1. 列表的方法
   • 添加和删除元素
   • 元素位置和频次
   • 元素排序和反转
2. 列表生成式
3. 嵌套列表
4. 列表的应用

1. 元组的定义和运算
2. 打包和解包操作
3. 交换变量的值
4. 元组和列表的比较

1. 字符串的定义
   • 转义字符
   • 原始字符串
   • 字符的特殊表示
2. 字符串的运算
   • 拼接和重复
   • 比较运算
   • 成员运算
   • 获取字符串长度
   • 索引和切片
3. 字符的遍历
4. 字符串的方法
   • 大小写相关操作
   • 查找操作
   • 性质判断
   • 格式化
   • 修剪操作
   • 替换操作
   • 拆分与合并
   • 编码与解码
   • 其他方法

1. 创建集合
2. 元素的变量
3. 集合的运算
   • 成员运算
   • 二元运算
   • 比较运算
4. 集合的方法
5. 不可变集合

1. 创建和使用字典
2. 字典的运算
3. 字典的方法
4. 字典的应用

1. 定义函数
2. 函数的参数
   • 位置参数和关键字参数
   • 参数的默认值
   • 可变参数
3. 用模块管理函数
4. 标准库中的模块和函数

1. 例子1：随机验证码
2. 例子2：判断素数
3. 例子3：最大公约数和最小公倍数
4. 例子4：数据统计
5. 例子5：双色球随机选号

1. 高阶函数
2. Lambda函数
3. 偏函数

1. 装饰器
2. 递归调用

1. 类和对象
2. 定义类
3. 创建和使用对象
4. 初始化方法
5. 面向对象的支柱
6. 面向对象案例
   • 例子1：数字时钟
   • 例子2：平面上的点

1. 可见性和属性装饰器
2. 动态属性
3. 静态方法和类方法
4. 继承和多态

1. 扑克游戏
2. 工资结算系统

1. 打开和关闭文件
2. 读写文本文件
3. 异常处理机制
4. 上下文管理器语法
5. 读写二进制文件

1. JSON概述
2. 读写JSON格式的数据
3. 包管理工具pip
4. 使用网络API获取数据

1. CSV文件介绍
2. 将数据写入CSV文件
3. 从CSV文件读取数据

1. Excel简介
2. 读Excel文件
3. 写Excel文件
4. 调整样式
5. 公式计算

1. Excel简介
2. 读Excel文件
3. 写Excel文件
4. 调整样式
5. 生成统计图表

1. 操作Word文档
2. 生成PowerPoint

1. 从PDF中提取文本
2. 旋转和叠加页面
3. 加密PDF文件
4. 批量添加水印
5. 创建PDF文件

1. 入门知识
2. 用Pillow处理图像
3. 使用Pillow绘图

1. 发送电子邮件
2. 发送短信

1. 正则表达式相关知识
2. Python对正则表达式的支持
   • 例子1：输入验证
   • 例子2：内容提取
   • 例子3：内容替换
   • 例子4：长句拆分

1. 重要知识点
2. 数据结构和算法
3. 函数的使用方式
4. 面向对象相关知识
5. 迭代器和生成器
6. 并发编程

1. 用HTML标签承载页面内容
2. 用CSS渲染页面
3. 用JavaScript处理交互式行为
4. Vue.js入门
5. Element的使用
6. Bootstrap的使用

1. 操作系统发展史和Linux概述
2. Linux基础命令
3. Linux中的实用程序
4. Linux的文件系统
5. Vim编辑器的应用
6. 环境变量和Shell编程
7. 软件的安装和服务的配置
8. 网络访问和管理
9. 其他相关内容

1. 关系型数据库概述
2. MySQL简介
3. 安装MySQL
4. MySQL基本命令

1. 建库建表
2. 删除表和修改表

1. insert操作
2. delete操作
3. update操作

1. 投影和别名
2. 筛选数据
3. 空值处理
4. 去重
5. 排序
6. 聚合函数
7. 嵌套查询
8. 分组操作
9. 表连接
   • 笛卡尔积
   • 内连接
   • 自然连接
   • 外连接
10. 窗口函数
    • 定义窗口
    • 排名函数
    • 取数函数

1. 创建用户
2. 授予权限
3. 召回权限

• JSON类型
• 窗口函数
• 公共表表达式

1. 视图
   • 使用场景
   • 创建视图
   • 使用限制
2. 函数
   • 内置函数
   • 用户自定义函数（UDF）
3. 过程
   • 创建过程
   • 调用过程

1. 执行计划
2. 索引的原理
3. 创建索引
   • 普通索引
   • 唯一索引
   • 前缀索引
   • 复合索引
4. 注意事项

1. 安装三方库
2. 创建连接
3. 获取游标
4. 执行SQL语句
5. 通过游标抓取数据
6. 事务提交和回滚
7. 释放连接
8. 编写ETL脚本

1. Hive概述
2. 环境搭建
3. 常用命令
4. 基本语法
5. 建表操作
6. 写入数据
7. 常用函数
8. 分组聚合
9. 抽样操作
10. 排序操作
11. 横向展开
12. 性能优化

1. Web应用工作机制
2. HTTP请求和响应
3. Django框架概述
4. 5分钟快速上手

1. 关系型数据库配置
2. 使用ORM完成对模型的CRUD操作
3. 管理后台的使用
4. Django模型最佳实践
5. 模型定义参考

1. 加载静态资源
2. Ajax概述
3. 用Ajax实现投票功能

1. 实现用户跟踪
2. cookie和session的关系
3. Django框架对session的支持
4. 视图函数中的cookie读写操作

1. 通过HttpResponse修改响应头
2. 使用StreamingHttpResponse处理大文件
3. 使用xlwt生成Excel报表
4. 使用reportlab生成PDF报表
5. 使用ECharts生成前端图表

1. 配置日志
2. 配置Django-Debug-Toolbar
3. 优化ORM代码

1. 什么是中间件
2. Django框架内置的中间件
3. 自定义中间件及其应用场景

1. 返回JSON格式的数据
2. 用Vue.js渲染页面

1. REST概述
2. DRF库使用入门
3. 前后端分离开发
4. JWT的应用

1. 使用CBV
2. 数据分页
3. 数据筛选

1. 网站优化第一定律
2. 在Django项目中使用Redis提供缓存服务
3. 在视图函数中读写缓存
4. 使用装饰器实现页面缓存
5. 为数据接口提供缓存服务

1. 文件上传表单控件和图片文件预览
2. 服务器端如何处理上传的文件

1. 网站优化第二定律
2. 配置消息队列服务
3. 在项目中使用Celery实现任务异步化
4. 在项目中使用Celery实现定时任务

1. Python中的单元测试
2. Django框架对单元测试的支持
3. 使用版本控制系统
4. 配置和使用uWSGI
5. 动静分离和Nginx配置
6. 配置HTTPS
7. 配置域名解析

1. 网络爬虫的概念及其应用领域
2. 网络爬虫的合法性探讨
3. 开发网络爬虫的相关工具
4. 一个爬虫程序的构成

1. 使用requests三方库实现数据抓取
2. 页面解析的三种方式
   • 正则表达式解析
   • XPath解析
   • CSS选择器解析

1. 多线程
2. 多进程
3. 异步I/O

1. 安装Selenium
2. 加载页面
3. 查找元素和模拟用户行为
4. 隐式等待和显示等待
5. 执行JavaScript代码
6. Selenium反爬破解
7. 设置无头浏览器

1. Scrapy核心组件
2. Scrapy工作流程
3. 安装Scrapy和创建项目
4. 编写蜘蛛程序
5. 编写中间件和管道程序
6. Scrapy配置文件

1. 数据分析师的职责
2. 数据分析师的技能栈
3. 数据分析相关库

1. 安装和使用anaconda
   • conda相关命令
2. 安装和使用jupyter-lab
   • 安装和启动
   • 使用小技巧

1. 创建数组对象
2. 数组对象的属性
3. 数组对象的索引运算
   • 普通索引
   • 花式索引
   • 布尔索引
   • 切片索引
4. 案例：使用数组处理图像

1. 数组对象的相关方法
   • 获取描述性统计信息
   • 其他相关方法

1. 数组的运算
   • 数组跟标量的运算
   • 数组跟数组的运算
2. 通用一元函数
3. 通用二元函数
4. 广播机制
5. Numpy常用函数

1. 向量
2. 行列式
3. 矩阵
4. 多项式

1. 创建Series对象
2. Series对象的运算
3. Series对象的属性和方法

1. 创建DataFrame对象
2. DataFrame对象的属性和方法
3. 读写DataFrame中的数据

1. 数据重塑
   • 数据拼接
   • 数据合并
2. 数据清洗
   • 缺失值
   • 重复值
   • 异常值
   • 预处理

1. 数据透视
   • 获取描述性统计信息
   • 排序和头部值
   • 分组聚合
   • 透视表和交叉表
2. 数据呈现

1. 计算同比环比
2. 窗口计算
3. 相关性判定

1. 索引的使用
   • 范围索引
   • 分类索引
   • 多级索引
   • 间隔索引
   • 日期时间索引

1. 安装和导入matplotlib
2. 创建画布
3. 创建坐标系
4. 绘制图表
   • 折线图
   • 散点图
   • 柱状图
   • 饼状图
   • 直方图
   • 箱线图
5. 显示和保存图表

1. 高阶图表
   • 气泡图
   • 面积图
   • 雷达图
   • 玫瑰图
   • 3D图表

1. Seaborn
2. Pyecharts

1. 人工智能发展史
2. 什么是机器学习
3. 机器学习应用领域
4. 机器学习的分类
5. 机器学习的步骤
6. 第一次机器学习

1. 距离的度量
2. 数据集介绍
3. kNN分类的实现
4. 模型评估
5. 参数调优
6. kNN回归的实现

1. 决策树的构建
   • 特征选择
   • 数据分裂
   • 树的剪枝
2. 实现决策树模型
3. 随机森林概述

1. 贝叶斯定理
2. 朴素贝叶斯
3. 算法原理
   • 训练阶段
   • 预测阶段
   • 代码实现
4. 算法优缺点

1. 回归模型的分类
2. 回归系数的计算
3. 新数据集介绍
4. 线性回归代码实现
5. 回归模型的评估
6. 引入正则化项
7. 线性回归另一种实现
8. 多项式回归
9. 逻辑回归

1. 算法原理
2. 数学描述
3. 代码实现

1. 算法分类
2. AdaBoost
3. GBDT
4. XGBoost
5. LightGBM

1. 基本构成
2. 工作原理
3. 代码实现
4. 模型优缺点

1. 词袋模型
2. 词向量
3. NPLM和RNN
4. Seq2Seq
5. Transformer

1. 数据探索
2. 特征工程
3. 模型训练
4. 模型评估
5. 模型部署

1. 软件过程模型

   • 经典过程模型（瀑布模型）

     • 可行性分析（研究做还是不做），输出《可行性分析报告》。
     • 需求分析（研究做什么），输出《需求规格说明书》和产品界面原型图。
     • 概要设计和详细设计，输出概念模型图（ER图）、物理模型图、类图、时序图等。
     • 编码 / 测试。
     • 上线 / 维护。

     瀑布模型最大的缺点是无法拥抱需求变化，整套流程结束后才能看到产品，团队士气低落。

   • 敏捷开发（Scrum）- 产品所有者、Scrum Master、研发人员 - Sprint

     • 产品的Backlog（用户故事、产品原型）。
     • 计划会议（评估和预算）。
     • 日常开发（站立会议、番茄工作法、结对编程、测试先行、代码重构……）。
     • 修复bug（问题描述、重现步骤、测试人员、被指派人）。
     • 发布版本。
     • 评审会议（Showcase，用户需要参与）。
     • 回顾会议（对当前迭代周期做一个总结）。

     补充：敏捷软件开发宣言

     • 个体和互动 高于 流程和工具
     • 工作的软件 高于 详尽的文档
     • 客户合作 高于 合同谈判
     • 响应变化 高于 遵循计划

     

     角色：产品所有者（决定做什么，能对需求拍板的人）、团队负责人（解决各种问题，专注如何更好的工作，屏蔽外部对开发团队的影响）、开发团队（项目执行人员，具体指开发人员和测试人员）。

     准备工作：商业案例和资金、合同、憧憬、初始产品需求、初始发布计划、入股、组建团队。

     敏捷团队通常人数为8-10人。

     工作量估算：将开发任务量化，包括原型、Logo设计、UI设计、前端开发等，尽量把每个工作分解到最小任务量，最小任务量标准为工作时间不能超过两天，然后估算总体项目时间。把每个任务都贴在看板上面，看板上分三部分：to do（待完成）、in progress（进行中）和done（已完成）。

2. 项目团队组建

   • 团队的构成和角色

     

   • 编程规范和代码审查（flake8、pylint）

     

   • Python中的一些“惯例”（请参考《Python惯例-如何编写Pythonic的代码》）

   • 影响代码可读性的原因：

     • 代码注释太少或者没有注释
     • 代码破坏了语言的最佳实践
     • 反模式编程（意大利面代码、复制-黏贴编程、自负编程、……）

3. 团队开发工具介绍

   • 版本控制：Git、Mercury
   • 缺陷管理：Gitlab、Redmine
   • 敏捷闭环工具：禅道、JIRA
   • 持续集成：Jenkins、Travis-CI

   请参考《团队项目开发的问题和解决方案》。

1. 选题范围设定

   • CMS（用户端）：新闻聚合网站、问答/分享社区、影评/书评网站等。

   • MIS（用户端+管理端）：KMS、KPI考核系统、HRS、CRM系统、供应链系统、仓储管理系统等。

   • App后台（管理端+数据接口）：二手交易类、报刊杂志类、小众电商类、新闻资讯类、旅游类、社交类、阅读类等。

   • 其他类型：自身行业背景和工作经验、业务容易理解和把控。

2. 需求理解、模块划分和任务分配

   • 需求理解：头脑风暴和竞品分析。
   • 模块划分：画思维导图（XMind），每个模块是一个枝节点，每个具体的功能是一个叶节点（用动词表述），需要确保每个叶节点无法再生出新节点，确定每个叶子节点的重要性、优先级和工作量。
   • 任务分配：由项目负责人根据上面的指标为每个团队成员分配任务。

   

3. 制定项目进度表（每日更新）

   模块	功能	人员	状态	完成	工时	计划开始	实际开始	计划结束	实际结束	备注
   评论	添加评论	王大锤	正在进行	50%	4	2018/8/7		2018/8/7
   	删除评论	王大锤	等待	0%	2	2018/8/7		2018/8/7
   	查看评论	白元芳	正在进行	20%	4	2018/8/7		2018/8/7		需要进行代码审查
   	评论投票	白元芳	等待	0%	4	2018/8/8		2018/8/8

4. OOAD和数据库设计

• UML（统一建模语言）的类图

  

• 通过模型创建表（正向工程），例如在Django项目中可以通过下面的命令创建二维表。

  python manage.py makemigrations app
  python manage.py migrate

• 使用PowerDesigner绘制物理模型图。

  

• 通过数据表创建模型（反向工程），例如在Django项目中可以通过下面的命令生成模型。

  python manage.py inspectdb > app/models.py

1. Docker简介
2. 安装Docker
3. 使用Docker创建容器（Nginx、MySQL、Redis、Gitlab、Jenkins）
4. 构建Docker镜像（Dockerfile的编写和相关指令）
5. 容器编排（Docker-compose）
6. 集群管理（Kubernetes）

1. 基本原则
2. InnoDB引擎
3. 索引的使用和注意事项
4. 数据分区
5. SQL优化
6. 配置优化
7. 架构优化

1. 设计原则
   • 关键问题
   • 其他问题
2. 文档撰写

1. 数据库的配置（多数据库、主从复制、数据库路由）
2. 缓存的配置（分区缓存、键设置、超时设置、主从复制、故障恢复（哨兵））
3. 日志的配置
4. 分析和调试（Django-Debug-ToolBar）
5. 好用的Python模块（日期计算、图像处理、数据加密、三方API）

1. RESTful架构
   • 理解RESTful架构
   • RESTful API设计指南
   • RESTful API最佳实践
2. API接口文档的撰写
   • RAP2
   • YAPI
3. django-REST-framework的应用

1. 使用缓存缓解数据库压力 - Redis
2. 使用消息队列做解耦合和削峰 - Celery + RabbitMQ

1. 测试的种类
2. 编写单元测试（unittest、pytest、nose2、tox、ddt、……）
3. 测试覆盖率（coverage）

1. 部署前的准备工作
   • 关键设置（SECRET_KEY / DEBUG / ALLOWED_HOSTS / 缓存 / 数据库）
   • HTTPS / CSRF_COOKIE_SECUR / SESSION_COOKIE_SECURE
   • 日志相关配置
2. Linux常用命令回顾
3. Linux常用服务的安装和配置
4. uWSGI/Gunicorn和Nginx的使用
   • Gunicorn和uWSGI的比较
     • 对于不需要大量定制化的简单应用程序，Gunicorn是一个不错的选择，uWSGI的学习曲线比Gunicorn要陡峭得多，Gunicorn的默认参数就已经能够适应大多数应用程序。
     • uWSGI支持异构部署。
     • 由于Nginx本身支持uWSGI，在线上一般都将Nginx和uWSGI捆绑在一起部署，而且uWSGI属于功能齐全且高度定制的WSGI中间件。
     • 在性能上，Gunicorn和uWSGI其实表现相当。
5. 使用虚拟化技术（Docker）部署测试环境和生产环境

1. AB的使用
2. SQLslap的使用
3. sysbench的使用

1. 使用Shell和Python进行自动化测试
2. 使用Selenium实现自动化测试
   • Selenium IDE
   • Selenium WebDriver
   • Selenium Remote Control
3. 测试工具Robot Framework介绍

1. 商业模式和需求要点
2. 物理模型设计
3. 第三方登录
4. 缓存预热和查询缓存
5. 购物车的实现
6. 支付功能集成
7. 秒杀和超卖问题
8. 静态资源管理
9. 全文检索方案

1. MySQL数据库调优
2. Web服务器性能优化
   • Nginx负载均衡配置
   • Keepalived实现高可用
3. 代码性能调优
   • 多线程
   • 异步化
4. 静态资源访问优化
   • 云存储
   • CDN

1. 计算机基础
2. Python基础
3. Web框架相关
4. 爬虫相关问题
5. 数据分析
6. 项目相关

• 面试宝典

  • Python 面试宝典
  • SQL 面试宝典（数据分析师）
  • 商业分析面试宝典
  • 机器学习面试宝典

• 机器学习数学基础

• 深度学习

  • 计算机视觉
  • 大语言模型