
一、达梦数据库基本介绍
1. 达梦数据库概述
达梦数据库管理系统是基于Client/Server方式的数据库管理系统,可以安装在多种计算机操作系统平台上,典型的操作系统有:Windows、Linux、HP-UNIX、Solaris、FreeBSD和AIX等。目前支持的国产操作系统有凝思、中标麒麟、银河麒麟、中科方德、统信等。对于不同的系统平台,有不同的安装步骤。
DM安装成功后,可以在安装目录的doc子目录下找到DM的其他用户手册和技术文档。
达梦数据库管理系统下载链接:https://www.dameng.com/download/index.html
2. 数据库类型
DM数据库是新一代大型通用关系型数据库,全面支持ANSI SQL标准和主流编程语言接口/开发框架,同时具有行列融合存储技术,在兼顾OLAP和OLTP的同时,满足HTAP混合应用场景。
2.1 OLTP(Online Transaction Processing,联机事务处理)
核心:处理短、快、高频的业务交易,面向业务读写。
业务特征:大量并发小事务,增删改查,事务要求强一致性
查询特点:SQL简单,只查少量行;单次执行很快
典型场景:电商下单、银行转账、ERP、会员系统、网站用户登录、工单系统
代表数据库:MySQL、PostgreSQL、Oracle、SQL Server
2.2 OLAP(Online Analytical Processing,联机分析处理)
核心:大批量数据统计、多维分析,面向报表与数据分析。
业务特征:很少写入,大量批量查询;一次性扫描海量数据,聚合计算(求和、分组、统计)
查询特点:SQL复杂,多表关联、分组聚合,查询耗时较长
典型场景:经营报表、用户行为分析、销售趋势、财务大屏
代表数据库:ClickHouse、Doris、Hive、Greenplum
2.3 HTAP(Hybrid Transactional/Analytical Processing,混合事务分析处理)
核心:一套数据库同时支持OLTP业务读写+OLAP实时分析,不再需要拆成两套独立数据库。
传统方案痛点:OLTP库产生业务数据→同步到OLAP数据仓库做分析(ETL,延迟高)HTAP把事务和分析能力融合,一份数据,同时支撑业务交易+实时统计分析。
场景:业务库里面直接实时算报表,不需要单独同步数据仓库
代表数据库:TiDB、OceanBase、Snowflake、PostgreSQL+插件
3. DM产品架构
根据不同的应用需要和配置,DM提供了多种不同的产品系列:
DM Standard Edition(标准版):DM标准版是为政府部门、中小型企业以及互联网/内网应用提供的数据管理和分析平台。拥有数据库管理、安全管理、开发支持等所需的基本功能,也支持用户并发访问等。
DM Enterprise Edition(企业版):DM企业版支持多CPU,支持PB级海量数据存储和大量的并发用户,并为高端应用提供了数据守护、大规模并行处理MPP、数据共享集群、分布计算集群等高可靠性、高性能和高扩展等数据库解决方案。
DM Security Edition(安全版):DM安全版拥有企业版的全部功能,采用数据库管理员(DBA)、数据库审计员(AUDITOR)、数据库安全员(SSO)、数据库对象操作员(SYSDBO)四权分立安全机制。
4. DM数据库常用架构
单机架构:适用于要求不高的应用场景。
守护集群(DMDataWatch):适用于高可用业务环境,构建数据守护集群,保障业务连续运行。
读写分离集群(DMRWC):适用于读请求多、写请求少的业务场景,分担主库查询压力。
数据共享集群(DMDSC):适用于高并发密集交易型业务场景,支撑核心联机事务业务。
分析型大规模数据处理集群(DMMPP):适用于海量数据存储、多维统计分析场景。
透明分布式数据库(DMTDD):具有分布式特性的可扩展、高可用、高性能数据库解决方案。
5. 软硬件环境需求
管理员应该根据DM及应用系统的需求来选择合适的硬件资源,硬件配置应尽可能高一点,尤其是数据库服务器。下列分别是软硬件资源需求:
6. 达梦数据库与Oracle产品对标
二、DM逻辑存储结构
1. 数据库与实例
在DM7之前,数据库与实例经常混为一谈,意义也非常接近。在DM7以后,数据库与实例两个概念有明显区别,可以说是两个完全不同的实体。
1.1 数据库
单独说数据库时,含义分为三种:可以指DM整套数据库软件产品;也可以指代正在内存中运行的DM数据库实例;还可以指代保存在磁盘上的DM数据库全套物理文件。
当数据库与实例同时出现时:数据库=存放在磁盘上的数据文件集合,包含数据文件、日志文件、控制文件、临时数据文件等,是静态保存的文件。
1.2 实例
实例一般是由DM后台进程/线程 + 一块共享内存组成。通俗说,实例是访问磁盘数据库的工具,依靠内存与后台进程,实现数据库读写操作。DM数据库是存储在服务器的磁盘上,而DM实例则存储于服务器的内存中。
启动DM实例后,就能够读写操作DM数据库里的数据。正常情况下,一个实例同一时间只能连接、操作一个数据库,数据库状态为装载、打开或挂起。常规场景下,一套数据库也只能由一个实例提供访问。
但是在DM数据共享集群(DMDSC)架构下,情况不一样:多个实例可以同时挂载、打开同一个数据库,这套数据库文件存放在多服务器共用的共享磁盘中。也就是说,多台服务器能够同时访问这一份数据库。
1.3 数据库与实例
任何时候:一个实例仅能关联一个数据库,完成数据库的装载、打开或挂起操作。
单机架构:一个数据库仅允许一个实例对其进行访问操作。
DM共享存储集群:多个实例可同时装载并打开同一个数据库,数据库文件存放于多服务器共用的共享物理磁盘。
2. 逻辑存储结构
逻辑存储结构是数据库呈现给使用者的抽象数据存储结构,用于描述数据之间的逻辑关系。数据在磁盘上真实的物理存储十分复杂,使用者很难掌握数据的存放位置、占用空间等底层细节。数据库对底层物理存储做了抽象封装,目的是让使用者只需要关注业务与数据关系,不用关心磁盘底层复杂的存储细节。经过这一层封装后对外展示、简单易懂的数据组织形式,就是逻辑存储结构。屏蔽了物理存储的复杂度,实现数据独立性,降低应用开发与数据库管理难度。理解逻辑存储结构是掌握数据库数据组织与管理原理的基础。
DM数据库保存的内容包含用户业务数据、系统元数据,以及数据库运行产生的日志等信息。这些内容最终存放在磁盘的物理文件中,也就是数据库文件、日志文件等数据库文件。但用户不能直接读写磁盘上的数据库文件,而是通过数据库实例操作逻辑存储结构,间接完成底层文件读写。
为了打通逻辑层和物理层,DM引入表空间作为逻辑存储管理单元,充当逻辑结构与物理文件之间的桥梁。用户可以直接在表空间上执行各类管理操作,相关操作最终会映射到底层对应的物理数据库文件。
3. 数据库表空间分类
不同表空间存放的数据类型不一样,按照存储内容的差异,可以划分为不同类型。用来存放用户业务数据、数据库系统的表空间,统称为数据表空间。数据表空间又根据是否支持HUGE表,细分为普通表空间和混合表空间。普通表空间可以升级为混合表空间,只需要给普通表空间配置HUGE数据文件存放路径即可。用来存放数据库重做日志的表空间,称为日志表空间
普通表空间:不支持存储HUGE表
混合表空间:既能存放普通表,也能存放HUGE表。HUGE表对应的HUGE数据文件,保存在混合表空间配置里指定的路径中。
HUGE表也称为列存储表,是达梦数据库专门为海量数据分析设计的表,依托HFS(Huge File System)列存储机制管理数据。
普通表是行存储:一条记录的所有字段放在一起保存,适合日常业务增删改查(OLTP场景)。
HUGE表是列存储:整张表同一列的全部数据连续放在一起保存。做统计、报表查询时,数据库只需要读取用到的那一列数据,不用读取整条记录,大幅减少磁盘IO,查询速度更快,而且数据压缩效果更好,节省磁盘空间。
4. 五大表空间
创建数据库时,系统会自动生成5个表空间:SYSTEM、ROLL、MAIN、TEMP、RLOG。其中SYSTEM、ROLL、MAIN、TEMP属于数据表空间,RLOG属于日志表空间。
SYSTEM:系统表空间,存放DM数据库的数据字典信息,用户不允许在SYSTEM表空间内创建表和索引。
ROLL:由数据库全自动维护,无需用户操作。用于保存事务执行DML语句前的数据快照,为其他访问用户提供数据读一致性。
MAIN:数据库初始化时,自动生成128MB的数据文件“MAIN.DBF”,同时生成HMAIN目录作为HUGE文件存储路径,因此MAIN是混合表空间。新建用户时,若未手动指定默认表空间,系统默认使用MAIN表空间。
TEMP:由数据库全自动维护,当SQL执行需要磁盘空间时,数据库会从TEMP表空间分配临时存储段。例如建索引、内存放不下的排序运算、SQL中间结果集、临时表等场景,都会使用TEMP表空间。
RLOG:日志表空间,库初始化时自动创建2个log后缀的重做日志文件,用来保存重做日志。用户可以手动新增或扩容日志文件,日志文件分为活动日志和非活动日志,当前日志写满后自动切换至下一个,日志文件循环复用。初始化时日志文件大小由LOG_SIZE参数控制,可通过修改该参数调整日志文件容量。
5. 数据库用户默认表空间规则
每个数据库用户都会分配一个默认表空间。创建数据表时,如果显式指定存储在表空间A,与用户默认表空间B不一致,则这一张表会存放在表空间A中。默认情况下,该表上创建的索引也会一并保存在表空间A,用户自身的默认表空间不会发生改变,仍然是B。
业务数据推荐两种存放方案:用户自行新建专用表空间存放业务数据,或直接使用默认MAIN表空间。
SYS、SYSSSO、SYSAUDITOR系统用户:默认表空间为SYSTEM
SYSDBA系统用户:默认表空间为MAIN
新建用户创建时若未手动指定默认表空间,系统会自动将MAIN设为该用户的默认表空间
三、数据表空间
1. 数据表空间概述
为实现高效存储管理、提升磁盘空间利用率,数据表空间内部会继续划分成段、簇、页(也称为块)三级逻辑单元。数据库的业务记录就存放在页中,若干页组成簇,若干簇组成段。DM8完整存储层次关系如下所示:
数据库包含一个或多个表空间,每个表空间对应一个或多个物理数据文件
每个数据文件由一个或多个簇构成,段是簇的上层逻辑单元,一个段可以跨越多个数据文件
簇由磁盘上连续的页组成,一个簇只能位于同一个数据文件内
页是数据库最小的空间分配单元,同时也是数据库执行IO读写的最小单元

2. 记录
数据库表里的一行数据,就是一条记录。在DM数据库中,除了HUGE以外,其余普通表的数据都以记录的形式存放在数据页里。记录存放于数据页中,但记录并不是数据库的存储单位,页才是最小存储与IO单元。记录不允许跨页存放,因此记录的长度会受数据页大小约束。同时,数据页本身会占用一部分空间保存页头控制信息,因此DM数据库规定:单条记录的总长度不能超过页面大小的一半。
3. 页
数据页,也叫数据块,是DM数据库最小的数据存储单元,页大小代表一页占用的存储空间字节数。DM支持4KB、8KB、16KB、32KB四种页大小,需要在创建数据库时选择,默认页大小为8KB。当数据库创建完成后,在数据库使用周期中,页大小无法修改。DM数据库页格式由页头控制信息、数据、空闲空间和行偏移数组组成。
页头控制信息记录着页类型、页地址等基础信息;页中间区域用于存放业务数据;业务末尾预留空间存储行偏移数组,行偏移数组标记页内空间占用状态,用来管理数据页内部空间。绝大多数场景下,无需手动干预DM数据库的数据页管理。同时,DM提供存储参数,在特定业务场景下优化数据处理性能。
4. 簇
簇是数据页的上一级逻辑单元,同一个数据文件内连续的多个数据页构成一个簇,簇包含的数据页数量可选16、32或64个。在DM数据库中,簇大小需要在创建数据库时设定,默认值为16。与页大小特性相同,数据库创建完成后,整个生命周期内簇大小不能修改。
创建表或索引时,DM会为对应的数据段至少分配1个簇,同时准备好空闲数据页,用于后续写入数据。当已分配簇内的数据页全部用完,新增数据需要更多存储空间时,数据库会自动分配簇。默认情况下,新建表、索引初始只分配1个簇,空间耗尽后自动扩容。
DM还支持段延迟分配功能:创建表或索引时,不会立即分配对应的存储空间,等到真正写入数据时才分配。当表空间需要分配新的空闲簇时,遵循下面的查找顺序:
按数据文件从小到大的顺序,优先查找已有的空闲簇,找到后直接分配
如果没有现成的空闲簇,寻找有足够空闲空间的数据文件,将对应空间格式化为簇后分配
如果所有文件剩余空间不足,则选择其中一个数据文件,自动扩容后再分配
5. 段
段是簇的上级逻辑单元,由一组簇组成。在同一个表空间内,一个段可以包含来自不同数据文件的簇,也就是一个段能够跨多个数据文件。而一个簇以及簇内的数据页,只能属于同一个数据文件,由文件内连续的16、32或64个数据页构成。因为簇是按需分配的,因此同一个数据段里的各个簇,在磁盘上不一定连续。
5.1 数据段
段可以理解为对应数据库对象的数据存储结构,常见的有表数据段、索引数据段。表的数据存放在表数据段,索引的数据存放在索引数据段。DM以簇为单位给数据段分配存储空间,当段内现有簇空间耗尽时,数据库会自动新增簇。段的分配和释放全部由DM自动管理,在创建表或创建索引时配置存储参数,控制簇的分配策略。
使用CREATE语句创建表或索引时,DM会生成对应的数据段。表和索引的存储参数,会直接影响数据段的空间分配与数据访问性能。表的数据段和它配套的索引段,不强制要求放在同一个表空间,建表、建索引时可以分别指定不同的表空间。
分区表:每个分区表单独使用一个数据段存储数据
分区表的非分区索引:整体只用一个索引数据段
分区索引:索引的每个分区各自独立使用一个索引段
5.2 临时段
DM中所有临时段都创建在临时表空间,这样设计可以分担磁盘IO压力,避免在SYSTEM或其他业务表空间频繁创建临时段而产生大量磁盘碎片。临时段的分配和释放由系统自动管控,用户无法手动干预
执行SQL查询时,如果需要保存中间计算结果,数据库会自动分配临时段。典型场景就是大数据排序,如果排序可以在内存完成,或者能够利用索引规避排序,就不需要创建临时段。临时表及其索引,同样会使用临时段。
5.3 回滚段
回滚段位于回滚表空间,存放事务变更前的数据,也就是回滚信息。DM采用全自动回滚管理机制,降低回滚段运维难度。系统会尽量保留回滚信息,保障长查询的读一致性需求。事务提交后,对应的修改无法再通过回滚撤销,但是长时间运行的查询仍然需要旧的回滚信息来获取历史数据镜像。
数据库会统计回滚信息的使用情况,动态调整保存周期,一般设置为略长于当前系统里最长查询的执行时间。
事务未提交时,执行回滚操作,可以依靠回滚信息撤销修改。
数据库故障恢复阶段,利用回滚信息撤销所有未提交的事务。
多事务并发访问时,依靠回滚段实现读一致性。正在读取数据的用户,看不到其他事务未提交的修改,只有发起新查询时才能读取提交后的最新数据。
5.4 延迟段分配
DM支持延迟段分配:创建表或索引时,不会立即分配存储空间,等到向表里插入第一条数据时,才申请创建段。如果给启用延迟段分配的表新建二级索引,索引默认同样采用延迟段分配,全局索引、online方式创建索引段除外,这类索引会直接分配段。
开启方式:设置INI参数DEFERRED_SEGMENT_CREATION=1,也可以在建表语句单独指定。可以通过视图V$SEGMENT_INFOS查看段分配状态。该功能主要解决分区表分区数量多、空分区预先占用大量存储空间的问题。启用延迟段分配时,存在几种特殊场景,会提前触发段分配:
对启用延迟段分配的表执行查询类插入操作,即使是空表、没有写入任何数据,也会触发段分配。部分DDL优化(ALTER_TABLE_OPT参数)会采用查询插入方式加快执行,会提前分配段。
定义自增列起始边界,延迟段分配失效,建表时直接分配段
重建采用延迟段分配的索引,会直接为该索引分配段
四、日志表空间
1. 日志表空间概述
与数据库中存放业务的数据不一样,日志信息无需用户维护,由数据库系统自动生成、自动管理,用户仅能查看和使用日志内容。因此日志表空间的存储管理方式和数据表空间存在区别。
每当系统执行修改物理数据页的操作时,会生成一条REDO记录(RREC)。多条逻辑上相关联的REDO记录,组成一个物理事务(PTX),对应数据库层面的事务(Transaction)。一个或多个连续的物理事务,打包形成REDO日志包(RLOG_PKG)。日志包写入磁盘后,就保存在日志表空间中。
2. REDO记录
REDO(REDO RECORD,简称RREC)记录是数据库日志记录的最小单元,每一条REDO记录都对应一次物理数据页的修改操作。按照记录内容与作用的不同,可以分为物理RREC和逻辑RREC两类。
物理RREC主要记录物理数据页的真实变化,日志内容包含操作类型、数据页地址、页内偏移位置以及具体修改的数据。若为变长REDO记录,会在记录头部后额外携带两字节的长度信息,用于标识本条日志长度。
逻辑RREC用于记录数据库各类逻辑操作行为,涵盖事务启动、事务提交、事务回滚、字段封锁、事务封锁、B树封锁、字典淘汰等操作。该日志类型是DM数据库专门为数据守护功能设计,核心用于解决下列两大问题。当备库解析到逻辑RREC时,会自动生成对应事务,锁定相关数据库对象并清除字典缓存中的过期对象,保障主备库状态统一。
避免备库回放REDO日志时,与用户访问备库产生并发冲突
修复主库执行DDL操作后,主备库字典缓存不一致的问题。
3. 日志包
Redo日志包(RLOG_PKG)是DM数据库批量存储重做日志的数据单元,以物理事务PTX为基本写入单位,一个日志包中可以连续存放一个或多个PTX物理事务。每一个日志包都拥有唯一的包序号(PKG SEQNO)。在单节点数据库中,包序号全程唯一、连续递增,相邻日志包的LSN日志位置整体有序递增,数据库可依靠该特性校验归档日志的完整性与连续性。
日志包具备自描述特性,包体大小不固定,采用固定包头+可变包头的组合结构。包头统一记录日志核心控制信息,包括日志类型、包长度、包序号、LSN位置等关键数据。在DM数据守护集群中,主库是以RLOG_PKG为最小传输单位,将重做日志同步发送至备库。
日志包的生成与写入流程规范有效,系统创建日志包时会自动分配对应的包序号,生成的PTX物理事务会持续写入当前日志包,并同步更新包头的各项信息。当数据库事务提交或当前日志包写满时,系统会触发日志刷盘机制,由专门的日志刷盘线程将完整日志包写入联机日志文件,最终存入日志表空间。日志包写入完成后,系统依据包头更新对应系统变量,这些日志状态信息可以通过V$RLOG视图查询。
