到目前为止,我们写过的 FastAPI 接口大多在函数里临时构造结果。请求到来时,Python 创建字典或对象;请求结束后,如果没有把这些数据保存到外部介质,它们就只能留在当前进程的内存中。服务一旦重启,数据也会随之消失。
真实项目不能只依赖进程内存。用户注册之后,下次访问时账号仍然应该存在;一条任务被标记为完成,服务重启后也不能恢复成原来的状态。让数据跨越请求和进程继续存在,就是持久化。
最简单的持久化方式是写文件:
1import json 2 3tasks = [ 4 {"id": 1, "title": "学习 PostgreSQL", "status": "todo"}, 5] 6 7with open("tasks.json", "w", encoding="utf-8") as file: 8 json.dump(tasks, file, ensure_ascii=False)
对于一次性脚本或很小的本地工具,这种方式完全可用。但当文件成为 Web 应用的主要数据来源后,问题很快就会出现:
因此,数据库就成为了更好的选择。
数据库是把数据组织、查询、约束、事务、并发控制和故障恢复放进一套经过长期验证的解决方案中,让应用不必从零实现这些复杂能力
PostgreSQL、MySQL 和 SQLite 都属于常见的数据库管理系统,但它们的运行方式并不完全相同。
PostgreSQL 和 MySQL 通常作为独立服务运行,应用通过连接与它们通信;SQLite 则常作为库嵌入应用进程,直接读写数据库文件。
我们的任务管理系统包含清晰的用户、项目和任务关系,还需要唯一性、外键和事务,因此关系型数据库很合适。后续课程会以 PostgreSQL 为具体实现,学习这些通用概念。
关系型数据库从逻辑上使用表组织数据。一张任务表可以表示为:
表中的几个基础概念分别是:
tasks
title
status
todo
这里的 database schema 表示数据库的整体逻辑结构。PostgreSQL 还把数据库内部的命名空间称为 Schema,例如默认的 public。两个概念使用了同一个词,但所指的范围不同,下一篇会结合 PostgreSQL 的层级继续区分
这里还有两个容易忽略的规则。
第一,表中的行没有默认顺序。即使某次查询恰好按照 id 返回,也不能依赖这个现象;只有显式使用 ORDER BY,结果顺序才有保证。
id
ORDER BY
1SELECT id, title, status 2FROM tasks 3ORDER BY id;
第二,SQL 本身不会自动给每行分配业务主键。如果建表时没有声明主键或唯一约束,数据库可以接受内容完全相同的多行。实际业务表通常都需要一个稳定的主键来识别记录。
一张表可以保存一类记录,但真实数据通常不是彼此孤立的。关系型数据库使用键把不同表连接起来。我们可以把上一节的 tasks 表与它依赖的 users、projects 表放在一起观察。
users
projects
users 表保存用户自身的信息:
projects 表保存项目。owner_id 不再重复记录用户名和邮箱,只记录所属用户的 id:
owner_id
tasks 表采用同样的方式,通过 project_id 记录任务属于哪个项目:
project_id
现在顺着表中的值来看:projects 表中编号为 10 的项目,其 owner_id 是 1,因此它属于 users 表中编号为 1 的小明;tasks 表中前两行的 project_id 都是 10,因此这两条任务属于同一个“数据库学习”项目。
这两层引用关系可以写成:
任务通过 tasks.project_id 引用 projects.id,项目通过 projects.owner_id 引用 users.id。一个项目可以有多条任务,一个用户可以拥有多个项目。箭头指向外键引用的目标。
FOREIGN KEYS
id · owner_id
projects.owner_id 引用 users.id,tasks.project_id 引用 projects.id。这样既能表达表之间的关系,又能避免同一事实被复制到多张表中。围绕这些字段,数据库通常会定义三种规则:
projects.owner_id
users.id
tasks.project_id
projects.id
外键负责维护参照完整性,但它不会自动表示所有业务要求。例如外键列如果允许 NULL,子表记录仍然可以暂时没有对应的父表记录;如果这列必须有引用,还要同时添加 NOT NULL。
NULL
NOT NULL
数据库中的完整性大致可以从三个层面理解:
CHECK
PRIMARY KEY
FOREIGN KEY
我们选择 PostgreSQL 作为主要数据库。它是关系型数据库管理系统,采用客户端与服务端架构,适合从本地开发一直使用到生产环境。
选择 PostgreSQL,并不是因为所有项目都只能使用它,而是它能把接下来要学习的能力连成一套完整体系:
PostgreSQL 是独立运行的服务。FastAPI 不会直接操作 PostgreSQL 的数据文件,而是通过数据库驱动建立连接,再向服务端发送 SQL
FastAPI 进程通过 Python 数据库驱动和数据库连接访问 PostgreSQL 服务,只有 PostgreSQL 服务负责管理数据库的数据文件。应用不会直接操作这些文件。
FLOW / RELATIONSHIP
FastAPI 进程
Python 数据库驱动
发送 SQL、读取结果
数据库连接
应用与服务的通信通道
PostgreSQL 服务
数据文件
由 PostgreSQL 管理
SQL 是应用与关系型数据库沟通的主要语言。它更接近描述想要什么结果,例如,下面的语句描述了我们想读取项目 10 中尚未完成的任务,并按编号排序:
1SELECT id, title 2FROM tasks 3WHERE project_id = 10 4 AND status <> 'done' 5ORDER BY id;
至于是扫描整张表,还是通过索引定位数据,由 PostgreSQL 的查询规划器结合表结构、索引和统计信息决定。SQL 相同,数据规模不同,数据库选择的执行方式也可能不同。
学习时通常会按用途对 SQL 语句分类。下面的分类便于建立概念,但不是唯一的分类标准:
CREATE
ALTER
DROP
SELECT
INSERT
UPDATE
DELETE
MERGE
BEGIN
COMMIT
ROLLBACK
GRANT
REVOKE
业务开发中常说的 CRUD,可以对应到 INSERT、SELECT、UPDATE 和 DELETE。但真正掌握数据库不能停留在四条语句上,还要理解关系、连接、约束、事务和执行计划。
后续文章会先直接学习 SQL,再进入 Python 驱动和 ORM。ORM 能帮助我们组织数据访问代码,但它最终仍然要生成 SQL。不了解数据库实际执行的语句,遇到慢查询、事务错误或关系加载问题时就很难定位原因。
当浏览器请求任务列表时,真正的调用过程比 SELECT 一行代码更长:
浏览器发起请求,FastAPI 路由与业务逻辑调用驱动取得连接并发送 SQL。PostgreSQL 解析检查语句、规划查询并执行数据读取,然后驱动将结果转换为 Python 值,FastAPI 序列化 HTTP 响应。
浏览器请求
FastAPI
路由与业务逻辑
数据库驱动
取得连接、发送 SQL
解析与检查
SQL 语法与对象引用
查询规划器
选择执行计划
执行器
读取、过滤、关联数据
驱动转换结果
数据库结果 → Python 值
HTTP 响应
FastAPI 序列化
数据库收到 SQL 后,首先需要分析语法与对象引用,然后由规划器比较可选路径。例如,一条查询可能顺序扫描整张表,也可能使用索引;涉及多张表时,还要选择连接顺序和连接算法。执行器按照最终计划取得数据,并把结果返回客户端。
读取数据也不等于每次都直接读取磁盘。PostgreSQL 和操作系统都会利用内存缓存,执行器只负责按照计划访问存储系统。我们写业务 SQL 时通常不控制这些细节,但分析性能时需要知道它们存在。
一次请求也不应该每执行一条 SQL 就重新建立物理连接。Web 应用通常使用连接池复用有限数量的数据库连接。连接池能降低连接成本,却不能让数据库拥有无限并发能力;池大小、请求时长和事务边界仍然需要共同设计
数据库的另一项核心能力,是让多条相关操作保持一致。假设完成任务时既要修改当前状态,又要写入状态历史:
完成任务需要先更新 tasks.status,再写入 task_status_history。两步应放在同一事务中,全部成功时提交,任何一步失败时回滚。
ONE TRANSACTION
更新 tasks.status
保存当前状态
写入 task_status_history
保存状态变更历史
如果第一步成功、第二步失败,系统就会出现状态已经改变但没有历史记录的不完整结果。事务可以把两步组成一个工作单元:全部成功时提交,任意一步失败时回滚。
事务通常用 ACID 概括:
ACID 不是数据库自动理解业务的承诺。一致性依赖我们正确设计约束与事务边界,隔离性还受隔离级别和具体读写方式影响。即使两段代码都放进事务,也不代表所有并发竞态会自动消失。
PostgreSQL 使用多版本并发控制,也就是 MVCC,让语句根据事务隔离规则读取一致的数据快照,并配合锁处理写入冲突。这使多个请求可以同时访问数据库,但应用仍然需要识别重复提交、丢失更新和死锁等情况。后续事务与并发章节会逐步展开这些问题。
此段落已有评论,按 Enter 查看评论及回复列表。
连接 GitHub 后查看和发表评论,也可在 GitHub 查看公开讨论。
1. 数据与持久化
到目前为止,我们写过的 FastAPI 接口大多在函数里临时构造结果。请求到来时,Python 创建字典或对象;请求结束后,如果没有把这些数据保存到外部介质,它们就只能留在当前进程的内存中。服务一旦重启,数据也会随之消失。
真实项目不能只依赖进程内存。用户注册之后,下次访问时账号仍然应该存在;一条任务被标记为完成,服务重启后也不能恢复成原来的状态。让数据跨越请求和进程继续存在,就是持久化。
最简单的持久化方式是写文件:
对于一次性脚本或很小的本地工具,这种方式完全可用。但当文件成为 Web 应用的主要数据来源后,问题很快就会出现:
因此,数据库就成为了更好的选择。
数据库是把数据组织、查询、约束、事务、并发控制和故障恢复放进一套经过长期验证的解决方案中,让应用不必从零实现这些复杂能力
2. 数据库系统
PostgreSQL、MySQL 和 SQLite 都属于常见的数据库管理系统,但它们的运行方式并不完全相同。
PostgreSQL 和 MySQL 通常作为独立服务运行,应用通过连接与它们通信;SQLite 则常作为库嵌入应用进程,直接读写数据库文件。
我们的任务管理系统包含清晰的用户、项目和任务关系,还需要唯一性、外键和事务,因此关系型数据库很合适。后续课程会以 PostgreSQL 为具体实现,学习这些通用概念。
3. 关系模型
关系型数据库从逻辑上使用表组织数据。一张任务表可以表示为:
表中的几个基础概念分别是:
tasks;title列和status列;todo;这里的 database schema 表示数据库的整体逻辑结构。PostgreSQL 还把数据库内部的命名空间称为 Schema,例如默认的 public。两个概念使用了同一个词,但所指的范围不同,下一篇会结合 PostgreSQL 的层级继续区分
这里还有两个容易忽略的规则。
第一,表中的行没有默认顺序。即使某次查询恰好按照
id返回,也不能依赖这个现象;只有显式使用ORDER BY,结果顺序才有保证。第二,SQL 本身不会自动给每行分配业务主键。如果建表时没有声明主键或唯一约束,数据库可以接受内容完全相同的多行。实际业务表通常都需要一个稳定的主键来识别记录。
4. 键、关系与完整性
一张表可以保存一类记录,但真实数据通常不是彼此孤立的。关系型数据库使用键把不同表连接起来。我们可以把上一节的
tasks表与它依赖的users、projects表放在一起观察。users表保存用户自身的信息:projects表保存项目。owner_id不再重复记录用户名和邮箱,只记录所属用户的id:tasks表采用同样的方式,通过project_id记录任务属于哪个项目:现在顺着表中的值来看:
projects表中编号为 10 的项目,其owner_id是 1,因此它属于users表中编号为 1 的小明;tasks表中前两行的project_id都是 10,因此这两条任务属于同一个“数据库学习”项目。这两层引用关系可以写成:
任务通过 tasks.project_id 引用 projects.id,项目通过 projects.owner_id 引用 users.id。一个项目可以有多条任务,一个用户可以拥有多个项目。箭头指向外键引用的目标。
FOREIGN KEYS
tasks
project_id
projects
id · owner_id
users
id
projects.owner_id引用users.id,tasks.project_id引用projects.id。这样既能表达表之间的关系,又能避免同一事实被复制到多张表中。围绕这些字段,数据库通常会定义三种规则:users.id;tasks.project_id引用projects.id;外键负责维护参照完整性,但它不会自动表示所有业务要求。例如外键列如果允许
NULL,子表记录仍然可以暂时没有对应的父表记录;如果这列必须有引用,还要同时添加NOT NULL。数据库中的完整性大致可以从三个层面理解:
NOT NULL、CHECKPRIMARY KEYFOREIGN KEY5. PostgreSQL
我们选择 PostgreSQL 作为主要数据库。它是关系型数据库管理系统,采用客户端与服务端架构,适合从本地开发一直使用到生产环境。
选择 PostgreSQL,并不是因为所有项目都只能使用它,而是它能把接下来要学习的能力连成一套完整体系:
PostgreSQL 是独立运行的服务。FastAPI 不会直接操作 PostgreSQL 的数据文件,而是通过数据库驱动建立连接,再向服务端发送 SQL
FastAPI 进程通过 Python 数据库驱动和数据库连接访问 PostgreSQL 服务,只有 PostgreSQL 服务负责管理数据库的数据文件。应用不会直接操作这些文件。
FLOW / RELATIONSHIP
FastAPI 进程
Python 数据库驱动
发送 SQL、读取结果
数据库连接
应用与服务的通信通道
PostgreSQL 服务
数据文件
由 PostgreSQL 管理
6. SQL
SQL 是应用与关系型数据库沟通的主要语言。它更接近描述想要什么结果,例如,下面的语句描述了我们想读取项目 10 中尚未完成的任务,并按编号排序:
至于是扫描整张表,还是通过索引定位数据,由 PostgreSQL 的查询规划器结合表结构、索引和统计信息决定。SQL 相同,数据规模不同,数据库选择的执行方式也可能不同。
学习时通常会按用途对 SQL 语句分类。下面的分类便于建立概念,但不是唯一的分类标准:
CREATE、ALTER、DROPSELECTINSERT、UPDATE、DELETE、MERGEBEGIN、COMMIT、ROLLBACKGRANT、REVOKE业务开发中常说的 CRUD,可以对应到
INSERT、SELECT、UPDATE和DELETE。但真正掌握数据库不能停留在四条语句上,还要理解关系、连接、约束、事务和执行计划。后续文章会先直接学习 SQL,再进入 Python 驱动和 ORM。ORM 能帮助我们组织数据访问代码,但它最终仍然要生成 SQL。不了解数据库实际执行的语句,遇到慢查询、事务错误或关系加载问题时就很难定位原因。
7. 一条查询如何执行
当浏览器请求任务列表时,真正的调用过程比
SELECT一行代码更长:浏览器发起请求,FastAPI 路由与业务逻辑调用驱动取得连接并发送 SQL。PostgreSQL 解析检查语句、规划查询并执行数据读取,然后驱动将结果转换为 Python 值,FastAPI 序列化 HTTP 响应。
FLOW / RELATIONSHIP
浏览器请求
FastAPI
路由与业务逻辑
数据库驱动
取得连接、发送 SQL
解析与检查
SQL 语法与对象引用
查询规划器
选择执行计划
执行器
读取、过滤、关联数据
驱动转换结果
数据库结果 → Python 值
HTTP 响应
FastAPI 序列化
数据库收到 SQL 后,首先需要分析语法与对象引用,然后由规划器比较可选路径。例如,一条查询可能顺序扫描整张表,也可能使用索引;涉及多张表时,还要选择连接顺序和连接算法。执行器按照最终计划取得数据,并把结果返回客户端。
读取数据也不等于每次都直接读取磁盘。PostgreSQL 和操作系统都会利用内存缓存,执行器只负责按照计划访问存储系统。我们写业务 SQL 时通常不控制这些细节,但分析性能时需要知道它们存在。
一次请求也不应该每执行一条 SQL 就重新建立物理连接。Web 应用通常使用连接池复用有限数量的数据库连接。连接池能降低连接成本,却不能让数据库拥有无限并发能力;池大小、请求时长和事务边界仍然需要共同设计
8. 事务与并发
数据库的另一项核心能力,是让多条相关操作保持一致。假设完成任务时既要修改当前状态,又要写入状态历史:
完成任务需要先更新 tasks.status,再写入 task_status_history。两步应放在同一事务中,全部成功时提交,任何一步失败时回滚。
ONE TRANSACTION
更新 tasks.status
保存当前状态
写入 task_status_history
保存状态变更历史
如果第一步成功、第二步失败,系统就会出现状态已经改变但没有历史记录的不完整结果。事务可以把两步组成一个工作单元:全部成功时提交,任意一步失败时回滚。
事务通常用 ACID 概括:
ACID 不是数据库自动理解业务的承诺。一致性依赖我们正确设计约束与事务边界,隔离性还受隔离级别和具体读写方式影响。即使两段代码都放进事务,也不代表所有并发竞态会自动消失。
PostgreSQL 使用多版本并发控制,也就是 MVCC,让语句根据事务隔离规则读取一致的数据快照,并配合锁处理写入冲突。这使多个请求可以同时访问数据库,但应用仍然需要识别重复提交、丢失更新和死锁等情况。后续事务与并发章节会逐步展开这些问题。