PostgreSQL技术大讲堂 - 第23讲：缓冲区管理器

2023-07-21作者：fuhua-pet来源：www.fuhua-pet.com

PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。

第23讲：缓冲区管理器

内容1 : 缓冲区概述

内容2 : 缓冲区管理器结构

内容3 : 缓冲区管理器锁

内容4 : 缓冲区管理器如何工作

内容5 : 环形缓冲区

内容6 : 脏块写

缓冲区概述

· 缓冲区结构(存放各种类型的数据块)

数据文件页—表和索引块

可用空间地图块

可见性地图块

缓冲区数组索引--buffer_ids

· Buffer Tag结构

RelFileNode (分别为表对象oid、数据库oid、表空间oid)

页面的fork number (分别为0、1、2)

页面number 示例：

缓冲区标记{(16821、16384、37721)、0、7}

1、标识第七个块中的页

2、其关系的OID和fork号分别为37721和0(0即为存放表数据的文件)

3、该块存放在OID为16384的数据库中，表空间的OID为16821

· Backend进程读数据块到缓冲区

· 写脏块

下面进程工作时会导致脏块写：

· Checkpointer

· background writer

缓冲区管理器结构

· 管理器结构

· 第一层(Buffer Table)

在这一层内置的hash函数将buffer_tags映射到插槽，插槽中记录了buffer_tags和描述层的buffer_id的映射关系。

· 第二层(Buffer Descriptor)

描述层包含了很多重要的信息，包括buffer_tag与缓冲池插槽id的映射关系，访问次数统计，锁等信息。

· Tag

· buffer_id

· refcount (被进程访问过一次加一，被时钟扫描过后减一，为零时可用)

· usage_count

· context_lock and io_in_progress_lock

· Flags

dirty bit

valid bit

io_in_progress bit

· freeNext

· Buffer Descriptors Layer (Loading the first page)

先请求一个缓冲区空间，buffer table层把描述层的buffer_id与buffer_tag进行映射;然后在描述层把buffer_tag与缓冲区id进行映射;最后把数据块读到相应的缓冲区槽中。

· 第三层(Buffer Pool)

缓冲池是存储数据文件页(如表和索引)的简单数组。缓冲池数组的索引称为buffer_ids。

缓冲池被分割成大小为8 KB的插槽，等于页面大小。因此，每个槽可以存储整个页面。缓冲区管理器锁

· Buffer Manager Locks

缓冲区管理器为许多不同的目的使用许多锁

锁是缓冲区管理器同步机制的一部分;它们与任何SQL语句和SQL选项都不相关

· Buffer Table 层的锁

BufMappingLock保护整个缓冲表的数据完整性。它是一个轻量锁，可以在共享和独占模式下使用。在缓冲区表中搜索条目时，后端进程保存共享的BufMappingLock。当插入或删除条目时，后端进程持有独占锁。

· Buffer Descriptor 层锁

每个缓冲区描述符使用两个轻量级锁

· content_lock

· io_in_progress_lock

· content_lock

content_lock是一种典型的强制访问限制的锁。它可以用于共享和独占模式。

当执行下列操作之一时，将获取独占内容锁：

· dml操作

· 物理删除元组或压缩存储页上的可用空间(vacuum和HOT处理)

· 冻结存储页中的元组

· io_in_progress_lock

io_in_progress锁用于等待缓冲区上的I/O完成。当PostgreSQL进程从存储器加载/写入页面数据时，该进程在访问存储器时持有相应描述符的独占io_in_progress锁。

· spinlock

下面显示如何固定缓冲区描述符：

1、获取缓冲区描述符的自旋锁。

2、将其refcount和usage_count的值增加1。

3、松开旋转锁。

下面显示如何将脏位设置为“1”：

1、获取缓冲区描述符的自旋锁。

2、使用按位操作将脏位设置为“1”。

3、松开旋转锁。

缓冲区管理器如何工作

· 访问已存放在缓冲区中的数据块

· 加载数据块到空的缓冲池插槽

· 加载数据块到一个需要释放的缓冲池插槽

· 缓冲区块替换机制

替换页面算法

· 时钟扫描(8.1开始及以后的版本)

· LRU算法(8.1以前的版本)

· 时钟扫描算法

缓冲区描述符显示为蓝色或青色框，框中的数字显示每个描述符的使用计数，每扫描一次则减一，缓冲区每被访问过一次则加一。

Ring Buffer

· Ring Buffer

· Bulk-reading

需要大块的缓冲池时，如果扫描缓冲池时其大小超过(共享缓冲区/4)四分之一的空间时，还没有找到足够的缓冲池，则分配256KB环形缓冲区。

· Bulk-writing

执行下面列出的SQL命令时。在这种情况下，环缓冲区大小为16MB。

COPY FROM command.

CREATE TABLE AS command.

CREATE MATERIALIZED VIEW or REFRESH MATERIALIZED VIEW command.

ALTER TABLE command.

· Vacuum-processing

当自动真空机进行真空处理时。在这种情况下，环缓冲区大小为256 KB。

脏块写

· Flushing Dirty Pages

检查点进程和后台写入进程将脏页刷新到存储区，检查点与后台写进程分离。

检查点进程将检查点记录写入WAL段文件，并在检查点启动时刷新脏页。

后台写进程的作用是减少检查点密集写的影响。后台写进程持续一点一点地刷新脏页，对数据库活动的影响最小。

默认情况下，后台写入程序每200毫秒唤醒一次(由bgwriter_delay定义)，并最多刷新为100页(由bgwriter_lru_maxpages 定义)

共享池缓冲区参数设置

· 共享缓冲区相关参数

shared_buffers参数设置 show shared_buffers;

Alter system set shared_buffers=256M;

wal_buffers参数设置 show wal_buffers;

Alter system set wal_buffers =4M;

effective_cache_size 参数设置 show effective_cache_size;

提供可用于磁盘高速缓存的内存量的估计值。它只是一个建议值，而不是确切分配的内存或缓存大小。它不会实际分配内存，而是会告知优化器内核中可用的缓存量。在一个索引的代价估计中，更高的数值会使得索引扫描更可能被使用，更低的数值会使得顺序扫描更可能被使用。在设置这个参数时，还应该考虑PostgreSQL的共享缓冲区以及将被用于PostgreSQL数据文件的内核磁盘缓冲区。默认值是4GB。

以上就是【PostgreSQL从小白到专家】第23讲 - 缓冲区管理的内容，欢迎一起探讨交流钉钉交流群：35，82，24，60，往期视频及文档内容联系CUUG