DM8数据库逻辑结构

DM8数据库逻辑结构

_

一、达梦数据库基本介绍

1. 达梦数据库概述

达梦数据库管理系统是基于Client/Server方式的数据库管理系统,可以安装在多种计算机操作系统平台上,典型的操作系统有:Windows、Linux、HP-UNIX、Solaris、FreeBSD和AIX等。目前支持的国产操作系统有凝思、中标麒麟、银河麒麟、中科方德、统信等。对于不同的系统平台,有不同的安装步骤。

DM安装成功后,可以在安装目录的doc子目录下找到DM的其他用户手册和技术文档。

2. 数据库类型

DM数据库是新一代大型通用关系型数据库,全面支持ANSI SQL标准和主流编程语言接口/开发框架,同时具有行列融合存储技术,在兼顾OLAP和OLTP的同时,满足HTAP混合应用场景。

2.1 OLTP(Online Transaction Processing,联机事务处理)

核心:处理短、快、高频的业务交易,面向业务读写。

  • 业务特征:大量并发小事务,增删改查,事务要求强一致性

  • 查询特点:SQL简单,只查少量行;单次执行很快

  • 典型场景:电商下单、银行转账、ERP、会员系统、网站用户登录、工单系统

  • 代表数据库:MySQL、PostgreSQL、Oracle、SQL Server

2.2 OLAP(Online Analytical Processing,联机分析处理)

核心:大批量数据统计、多维分析,面向报表与数据分析。

  • 业务特征:很少写入,大量批量查询;一次性扫描海量数据,聚合计算(求和、分组、统计)

  • 查询特点:SQL复杂,多表关联、分组聚合,查询耗时较长

  • 典型场景:经营报表、用户行为分析、销售趋势、财务大屏

  • 代表数据库:ClickHouse、Doris、Hive、Greenplum

2.3 HTAP(Hybrid Transactional/Analytical Processing,混合事务分析处理)

核心:一套数据库同时支持OLTP业务读写+OLAP实时分析,不再需要拆成两套独立数据库。

传统方案痛点:OLTP库产生业务数据→同步到OLAP数据仓库做分析(ETL,延迟高)HTAP把事务和分析能力融合,一份数据,同时支撑业务交易+实时统计分析。

  • 场景:业务库里面直接实时算报表,不需要单独同步数据仓库

  • 代表数据库:TiDB、OceanBase、Snowflake、PostgreSQL+插件

3. DM产品架构

根据不同的应用需要和配置,DM提供了多种不同的产品系列:

  • DM Standard Edition(标准版):DM标准版是为政府部门、中小型企业以及互联网/内网应用提供的数据管理和分析平台。拥有数据库管理、安全管理、开发支持等所需的基本功能,也支持用户并发访问等。

  • DM Enterprise Edition(企业版):DM企业版支持多CPU,支持PB级海量数据存储和大量的并发用户,并为高端应用提供了数据守护、大规模并行处理MPP、数据共享集群、分布计算集群等高可靠性、高性能和高扩展等数据库解决方案。

  • DM Security Edition(安全版):DM安全版拥有企业版的全部功能,采用数据库管理员(DBA)、数据库审计员(AUDITOR)、数据库安全员(SSO)、数据库对象操作员(SYSDBO)四权分立安全机制。

4. DM数据库常用架构

  • 单机架构:适用于要求不高的应用场景。

  • 守护集群(DMDataWatch):适用于高可用业务环境,构建数据守护集群,保障业务连续运行。

  • 读写分离集群(DMRWC):适用于读请求多、写请求少的业务场景,分担主库查询压力。

  • 数据共享集群(DMDSC):适用于高并发密集交易型业务场景,支撑核心联机事务业务。

  • 分析型大规模数据处理集群(DMMPP):适用于海量数据存储、多维统计分析场景。

  • 透明分布式数据库(DMTDD):具有分布式特性的可扩展、高可用、高性能数据库解决方案。

5. 软硬件环境需求

管理员应该根据DM及应用系统的需求来选择合适的硬件资源,硬件配置应尽可能高一点,尤其是数据库服务器。下列分别是软硬件资源需求:

名称

要求

CPU

支持国产与国际主流CPU处理器

内存

256M(建议512M以上)

硬盘

5G以上可用空间

网卡

10M以上支持TCP/IP协议的网卡

光驱

32倍速以上光驱

显卡支持

1024x768 256以上彩色显示

显示器

SVGA显示器

操作系统

Windows(简体中文服务器版 sp2 以上)/Linux(glibc2.3 以上,内核 2.6,已安装 KDE/GNOME 桌面环境,建议预先安装 UnixODBC 组件)

网络协议

TCP/IP

系统盘

至少1G以上的剩余空间

6. 达梦数据库与Oracle产品对标

Oracle产品

达梦数据库产品

Oracle Database Software

达梦数据库管理系统DM8

Oracle DataGuard

DMDataWatch主备集群

Oracle RAC

DMDSC磁盘共享集群

Oracle Exadata

DMMPP大规模并行处理集群

Oracle Berkeley DB

DMEDB嵌入式数据库

Oracle ODI

DMETL数据抽取、转换、加载工具

Oracle Golden Gate

DMHS异构数据同步工具

Oracle Spatial and Graph

DMGDB图数据库

Oracle Database Cloud Service

DMCDB云数据库系统

二、DM逻辑存储结构

1. 数据库与实例

在DM7之前,数据库与实例经常混为一谈,意义也非常接近。在DM7以后,数据库与实例两个概念有明显区别,可以说是两个完全不同的实体。

1.1 数据库

单独说数据库时,含义分为三种:可以指DM整套数据库软件产品;也可以指代正在内存中运行的DM数据库实例;还可以指代保存在磁盘上的DM数据库全套物理文件。

当数据库与实例同时出现时:数据库=存放在磁盘上的数据文件集合,包含数据文件、日志文件、控制文件、临时数据文件等,是静态保存的文件。

1.2 实例

实例一般是由DM后台进程/线程 + 一块共享内存组成。通俗说,实例是访问磁盘数据库的工具,依靠内存与后台进程,实现数据库读写操作。DM数据库是存储在服务器的磁盘上,而DM实例则存储于服务器的内存中。

启动DM实例后,就能够读写操作DM数据库里的数据。正常情况下,一个实例同一时间只能连接、操作一个数据库,数据库状态为装载、打开或挂起。常规场景下,一套数据库也只能由一个实例提供访问。

但是在DM数据共享集群(DMDSC)架构下,情况不一样:多个实例可以同时挂载、打开同一个数据库,这套数据库文件存放在多服务器共用的共享磁盘中。也就是说,多台服务器能够同时访问这一份数据库。

1.3 数据库与实例

  • 任何时候:一个实例仅能关联一个数据库,完成数据库的装载、打开或挂起操作。

  • 单机架构:一个数据库仅允许一个实例对其进行访问操作。

  • DM共享存储集群:多个实例可同时装载并打开同一个数据库,数据库文件存放于多服务器共用的共享物理磁盘。

2. 逻辑存储结构

逻辑存储结构是数据库呈现给使用者的抽象数据存储结构,用于描述数据之间的逻辑关系。数据在磁盘上真实的物理存储十分复杂,使用者很难掌握数据的存放位置、占用空间等底层细节。数据库对底层物理存储做了抽象封装,目的是让使用者只需要关注业务与数据关系,不用关心磁盘底层复杂的存储细节。经过这一层封装后对外展示、简单易懂的数据组织形式,就是逻辑存储结构。屏蔽了物理存储的复杂度,实现数据独立性,降低应用开发与数据库管理难度。理解逻辑存储结构是掌握数据库数据组织与管理原理的基础。

DM数据库保存的内容包含用户业务数据、系统元数据,以及数据库运行产生的日志等信息。这些内容最终存放在磁盘的物理文件中,也就是数据库文件、日志文件等数据库文件。但用户不能直接读写磁盘上的数据库文件,而是通过数据库实例操作逻辑存储结构,间接完成底层文件读写。

为了打通逻辑层和物理层,DM引入表空间作为逻辑存储管理单元,充当逻辑结构与物理文件之间的桥梁。用户可以直接在表空间上执行各类管理操作,相关操作最终会映射到底层对应的物理数据库文件。

3. 数据库表空间分类

不同表空间存放的数据类型不一样,按照存储内容的差异,可以划分为不同类型。用来存放用户业务数据、数据库系统的表空间,统称为数据表空间。数据表空间又根据是否支持HUGE表,细分为普通表空间和混合表空间。普通表空间可以升级为混合表空间,只需要给普通表空间配置HUGE数据文件存放路径即可。用来存放数据库重做日志的表空间,称为日志表空间

  • 普通表空间:不支持存储HUGE表

  • 混合表空间:既能存放普通表,也能存放HUGE表。HUGE表对应的HUGE数据文件,保存在混合表空间配置里指定的路径中。

HUGE表也称为列存储表,是达梦数据库专门为海量数据分析设计的表,依托HFS(Huge File System)列存储机制管理数据。

  • 普通表是行存储:一条记录的所有字段放在一起保存,适合日常业务增删改查(OLTP场景)。

  • HUGE表是列存储:整张表同一列的全部数据连续放在一起保存。做统计、报表查询时,数据库只需要读取用到的那一列数据,不用读取整条记录,大幅减少磁盘IO,查询速度更快,而且数据压缩效果更好,节省磁盘空间。

4. 五大表空间

创建数据库时,系统会自动生成5个表空间:SYSTEM、ROLL、MAIN、TEMP、RLOG。其中SYSTEM、ROLL、MAIN、TEMP属于数据表空间,RLOG属于日志表空间。

  1. SYSTEM:系统表空间,存放DM数据库的数据字典信息,用户不允许在SYSTEM表空间内创建表和索引。

  2. ROLL:由数据库全自动维护,无需用户操作。用于保存事务执行DML语句前的数据快照,为其他访问用户提供数据读一致性。

  3. MAIN:数据库初始化时,自动生成128MB的数据文件“MAIN.DBF”,同时生成HMAIN目录作为HUGE文件存储路径,因此MAIN是混合表空间。新建用户时,若未手动指定默认表空间,系统默认使用MAIN表空间。

  4. TEMP:由数据库全自动维护,当SQL执行需要磁盘空间时,数据库会从TEMP表空间分配临时存储段。例如建索引、内存放不下的排序运算、SQL中间结果集、临时表等场景,都会使用TEMP表空间。

  5. RLOG:日志表空间,库初始化时自动创建2个log后缀的重做日志文件,用来保存重做日志。用户可以手动新增或扩容日志文件,日志文件分为活动日志和非活动日志,当前日志写满后自动切换至下一个,日志文件循环复用。初始化时日志文件大小由LOG_SIZE参数控制,可通过修改该参数调整日志文件容量。

5. 数据库用户默认表空间规则

每个数据库用户都会分配一个默认表空间。创建数据表时,如果显式指定存储在表空间A,与用户默认表空间B不一致,则这一张表会存放在表空间A中。默认情况下,该表上创建的索引也会一并保存在表空间A,用户自身的默认表空间不会发生改变,仍然是B。

业务数据推荐两种存放方案:用户自行新建专用表空间存放业务数据,或直接使用默认MAIN表空间。

  • SYS、SYSSSO、SYSAUDITOR系统用户:默认表空间为SYSTEM

  • SYSDBA系统用户:默认表空间为MAIN

  • 新建用户创建时若未手动指定默认表空间,系统会自动将MAIN设为该用户的默认表空间

三、数据表空间

1. 数据表空间概述

为实现高效存储管理、提升磁盘空间利用率,数据表空间内部会继续划分成段、簇、页(也称为块)三级逻辑单元。数据库的业务记录就存放在页中,若干页组成簇,若干簇组成段。DM8完整存储层次关系如下所示:

  • 数据库包含一个或多个表空间,每个表空间对应一个或多个物理数据文件

  • 每个数据文件由一个或多个簇构成,段是簇的上层逻辑单元,一个段可以跨越多个数据文件

  • 簇由磁盘上连续的页组成,一个簇只能位于同一个数据文件内

  • 页是数据库最小的空间分配单元,同时也是数据库执行IO读写的最小单元

2. 记录

数据库表里的一行数据,就是一条记录。在DM数据库中,除了HUGE以外,其余普通表的数据都以记录的形式存放在数据页里。记录存放于数据页中,但记录并不是数据库的存储单位,页才是最小存储与IO单元。记录不允许跨页存放,因此记录的长度会受数据页大小约束。同时,数据页本身会占用一部分空间保存页头控制信息,因此DM数据库规定:单条记录的总长度不能超过页面大小的一半。

3. 页

数据页,也叫数据块,是DM数据库最小的数据存储单元,页大小代表一页占用的存储空间字节数。DM支持4KB、8KB、16KB、32KB四种页大小,需要在创建数据库时选择,默认页大小为8KB。当数据库创建完成后,在数据库使用周期中,页大小无法修改。DM数据库页格式由页头控制信息、数据、空闲空间和行偏移数组组成。

页头控制信息记录着页类型、页地址等基础信息;页中间区域用于存放业务数据;业务末尾预留空间存储行偏移数组,行偏移数组标记页内空间占用状态,用来管理数据页内部空间。绝大多数场景下,无需手动干预DM数据库的数据页管理。同时,DM提供存储参数,在特定业务场景下优化数据处理性能。

4. 簇

簇是数据页的上一级逻辑单元,同一个数据文件内连续的多个数据页构成一个簇,簇包含的数据页数量可选16、32或64个。在DM数据库中,簇大小需要在创建数据库时设定,默认值为16。与页大小特性相同,数据库创建完成后,整个生命周期内簇大小不能修改。

创建表或索引时,DM会为对应的数据段至少分配1个簇,同时准备好空闲数据页,用于后续写入数据。当已分配簇内的数据页全部用完,新增数据需要更多存储空间时,数据库会自动分配簇。默认情况下,新建表、索引初始只分配1个簇,空间耗尽后自动扩容。

DM还支持段延迟分配功能:创建表或索引时,不会立即分配对应的存储空间,等到真正写入数据时才分配。当表空间需要分配新的空闲簇时,遵循下面的查找顺序:

  1. 按数据文件从小到大的顺序,优先查找已有的空闲簇,找到后直接分配

  2. 如果没有现成的空闲簇,寻找有足够空闲空间的数据文件,将对应空间格式化为簇后分配

  3. 如果所有文件剩余空间不足,则选择其中一个数据文件,自动扩容后再分配

5. 段

段是簇的上级逻辑单元,由一组簇组成。在同一个表空间内,一个段可以包含来自不同数据文件的簇,也就是一个段能够跨多个数据文件。而一个簇以及簇内的数据页,只能属于同一个数据文件,由文件内连续的16、32或64个数据页构成。因为簇是按需分配的,因此同一个数据段里的各个簇,在磁盘上不一定连续。

5.1 数据段

段可以理解为对应数据库对象的数据存储结构,常见的有表数据段、索引数据段。表的数据存放在表数据段,索引的数据存放在索引数据段。DM以簇为单位给数据段分配存储空间,当段内现有簇空间耗尽时,数据库会自动新增簇。段的分配和释放全部由DM自动管理,在创建表或创建索引时配置存储参数,控制簇的分配策略。

使用CREATE语句创建表或索引时,DM会生成对应的数据段。表和索引的存储参数,会直接影响数据段的空间分配与数据访问性能。表的数据段和它配套的索引段,不强制要求放在同一个表空间,建表、建索引时可以分别指定不同的表空间。

  • 分区表:每个分区表单独使用一个数据段存储数据

  • 分区表的非分区索引:整体只用一个索引数据段

  • 分区索引:索引的每个分区各自独立使用一个索引段

5.2 临时段

DM中所有临时段都创建在临时表空间,这样设计可以分担磁盘IO压力,避免在SYSTEM或其他业务表空间频繁创建临时段而产生大量磁盘碎片。临时段的分配和释放由系统自动管控,用户无法手动干预

执行SQL查询时,如果需要保存中间计算结果,数据库会自动分配临时段。典型场景就是大数据排序,如果排序可以在内存完成,或者能够利用索引规避排序,就不需要创建临时段。临时表及其索引,同样会使用临时段。

5.3 回滚段

回滚段位于回滚表空间,存放事务变更前的数据,也就是回滚信息。DM采用全自动回滚管理机制,降低回滚段运维难度。系统会尽量保留回滚信息,保障长查询的读一致性需求。事务提交后,对应的修改无法再通过回滚撤销,但是长时间运行的查询仍然需要旧的回滚信息来获取历史数据镜像。

数据库会统计回滚信息的使用情况,动态调整保存周期,一般设置为略长于当前系统里最长查询的执行时间。

  • 事务未提交时,执行回滚操作,可以依靠回滚信息撤销修改。

  • 数据库故障恢复阶段,利用回滚信息撤销所有未提交的事务。

  • 多事务并发访问时,依靠回滚段实现读一致性。正在读取数据的用户,看不到其他事务未提交的修改,只有发起新查询时才能读取提交后的最新数据。

5.4 延迟段分配

DM支持延迟段分配:创建表或索引时,不会立即分配存储空间,等到向表里插入第一条数据时,才申请创建段。如果给启用延迟段分配的表新建二级索引,索引默认同样采用延迟段分配,全局索引、online方式创建索引段除外,这类索引会直接分配段。

开启方式:设置INI参数DEFERRED_SEGMENT_CREATION=1,也可以在建表语句单独指定。可以通过视图V$SEGMENT_INFOS查看段分配状态。该功能主要解决分区表分区数量多、空分区预先占用大量存储空间的问题。启用延迟段分配时,存在几种特殊场景,会提前触发段分配:

  • 对启用延迟段分配的表执行查询类插入操作,即使是空表、没有写入任何数据,也会触发段分配。部分DDL优化(ALTER_TABLE_OPT参数)会采用查询插入方式加快执行,会提前分配段。

  • 定义自增列起始边界,延迟段分配失效,建表时直接分配段

  • 重建采用延迟段分配的索引,会直接为该索引分配段

四、日志表空间

1. 日志表空间概述

与数据库中存放业务的数据不一样,日志信息无需用户维护,由数据库系统自动生成、自动管理,用户仅能查看和使用日志内容。因此日志表空间的存储管理方式和数据表空间存在区别。

每当系统执行修改物理数据页的操作时,会生成一条REDO记录(RREC)。多条逻辑上相关联的REDO记录,组成一个物理事务(PTX),对应数据库层面的事务(Transaction)。一个或多个连续的物理事务,打包形成REDO日志包(RLOG_PKG)。日志包写入磁盘后,就保存在日志表空间中。

2. REDO记录

REDO(REDO RECORD,简称RREC)记录是数据库日志记录的最小单元,每一条REDO记录都对应一次物理数据页的修改操作。按照记录内容与作用的不同,可以分为物理RREC和逻辑RREC两类。

物理RREC主要记录物理数据页的真实变化,日志内容包含操作类型、数据页地址、页内偏移位置以及具体修改的数据。若为变长REDO记录,会在记录头部后额外携带两字节的长度信息,用于标识本条日志长度。

逻辑RREC用于记录数据库各类逻辑操作行为,涵盖事务启动、事务提交、事务回滚、字段封锁、事务封锁、B树封锁、字典淘汰等操作。该日志类型是DM数据库专门为数据守护功能设计,核心用于解决下列两大问题。当备库解析到逻辑RREC时,会自动生成对应事务,锁定相关数据库对象并清除字典缓存中的过期对象,保障主备库状态统一。

  • 避免备库回放REDO日志时,与用户访问备库产生并发冲突

  • 修复主库执行DDL操作后,主备库字典缓存不一致的问题。

3. 日志包

Redo日志包(RLOG_PKG)是DM数据库批量存储重做日志的数据单元,以物理事务PTX为基本写入单位,一个日志包中可以连续存放一个或多个PTX物理事务。每一个日志包都拥有唯一的包序号(PKG SEQNO)。在单节点数据库中,包序号全程唯一、连续递增,相邻日志包的LSN日志位置整体有序递增,数据库可依靠该特性校验归档日志的完整性与连续性。

日志包具备自描述特性,包体大小不固定,采用固定包头+可变包头的组合结构。包头统一记录日志核心控制信息,包括日志类型、包长度、包序号、LSN位置等关键数据。在DM数据守护集群中,主库是以RLOG_PKG为最小传输单位,将重做日志同步发送至备库。

日志包的生成与写入流程规范有效,系统创建日志包时会自动分配对应的包序号,生成的PTX物理事务会持续写入当前日志包,并同步更新包头的各项信息。当数据库事务提交或当前日志包写满时,系统会触发日志刷盘机制,由专门的日志刷盘线程将完整日志包写入联机日志文件,最终存入日志表空间。日志包写入完成后,系统依据包头更新对应系统变量,这些日志状态信息可以通过V$RLOG视图查询。


Kubernetes流量入口全景解析 2026-11-03

评论区