存储引擎

支持多种存储引擎是众所周知的MySQL特性，也是MySQL架构的关键优势之一。如果能够理解MySQL Server与存储引擎之间是怎样通过API交互的，将大大有利于理解MySQL的核心基础架构。本文将首先介绍MySQL的整体逻辑架构，然后分析MySQL的存储引擎API并介绍如何编写自己的MySQL存储引擎。 MySQL逻辑架构 MySQL作为一个大型的网络程序、数据管理系统，架构非常复杂。下图大致画出了其逻辑架构。 MySQL由以下几部分组成： 连接池组件。 管理服务和工具组件。 SQL接口组件。 查询分析器组件。 优化器组件。 缓冲（Cache）组件。 插件式存储引擎。 物理文件。 Connectors MySQL首先是一个网络程序，其在TCP之上定义了自己的应用层协议。所以要使用MySQL，我们可以编写代码，跟MySQL Server建立TCP连接，之后按照其定义好的协议进行交互。当然这样比较麻烦，比较方便的办法是调用SDK，比如Native C API、JDBC、PHP等各语言MySQL Connector，或者通过ODBC。但通过SDK来访问MySQL，本质上还是在TCP连接上通过MySQL协议跟MySQL进行交互。 Connection Management 每一个基于TCP的网络服务都需要管理客户端链接，MySQL也不例外。MySQL会为每一个连接绑定一个线程

前言 工作的这些年发现一个比较奇怪的现象就是身边无论是工作十多年的老兵，还是初级刚入行的程序员，在高谈阔论技术和趋势的时候都是人工智能，大数据，区块链，各种框架，语言，算法，AI，BI，CI，DI…… 等等，倒是发现很少有人关注数据库，不知道是因为数据库感觉太低端还是太低调，总是不容易被人提起 技术就是这样，不太关注的地方就不会重视，越是不被重视的地方，掉进坑里的概率就会越大，所以就在这里给大家简单聊聊在使用数据库过程中有哪些防掉坑指南，也可以对刚入行的小朋友有一个提醒的作用，万丈高楼平地起，一定要先打好基础再去考虑上层的建筑，不要舍本逐末 本章主要分以下四个小节（预计读完 5 分钟左右）： 数据库为什么重要 数据库有哪些使用技巧 数据库有哪些容易掉进去的坑？ 深入学习数据库的建议 数据库为什么重要 很多人在开发过程中不太关注数据库，对于表结构的设计也没什么讲究大多属于“能用就行”，但是根据作者将近十年的开发经验来看的话，只要你是从事 Web 相关领域开发你就无法避免不和数据库打交道， 在Web开发中大多功能操作本质上都是对数据库进行操作 ，不管你用是 Pythod，Java，Ruby 等语言进行 Web 开发，你其实都是在面向数据库进行编程，很多 Web 框架作者为了避免程序员接触数据库的相关知识甚至还封装了一层 ORM （Object Relational Mapping

存储引擎 DBMS使用存储引擎进行数据的创建、查询、更新、删除操作。 不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎还可以获得特定的功能。 MySQL提供了多种存储引擎，最常见的有3种。 1、MyISAM MySQL5.5之前的默认的存储引擎， 每个MyISAM在磁盘上存储成三个文件，文件名和表名相同，扩展名分别是 （1）frm文件：存储表的定义 （2）MYD文件：存储表中的数据（记录） （3）MYI文件：存储索引。 索引保存的是数据文件的指针 特点 访问速度快（优） 支持全文索引（优）。但基本不使用MySQL的全文索引，全文索引一般都是使用第三方的ElasticSearch，Solr等更加成熟的解决方案。 不支持事务、外键（缺） 默认的锁粒度为表级锁，所以并发度很差（缺），但加锁快，锁冲突较少，不容易发生死锁（优）； 对数据的查询缓存只缓存索引，不缓存数据（记录），而且使用的是操作系统本身的缓存。 自动增长列可以是组合主键中的任何一列。设置自动增长列：创建表时，在字段后加auto_increment，默认初始值是1 适用场景 不需要事务 不使用外键 操作以select、insert为主 MyISAM支持三种不同的存储格式 （1）静态表（fixed） 表中不能包含变长字段（比如VARCHAR, BLOB, TEXT），每个记录都是固定的长度

多版本并发控制 MySQL的大多数事务型存储引擎实现的都不是简单的行级锁。基于提升并发性能的考虑，它们一般都同时实现了多版本并发控制(MVCC)。不仅是MySQL，包括Oracle、PostgreSQL等其他数据库系统也都实现了MVCC，但各自的实现机制不尽相同，因为MVCC没有一个统一的实习标准。 可以认为MVCC是行级锁的一个变种，但是它在很多情况下避免了加锁操作，因此开销更低。虽然实现机制不同，但大都实现了非阻塞的读操作，写操作也只锁定了必要的行。 MVCC的实现，是通过保存数据在某个时间点的快照来实现的。也就是说，不管需要执行多长时间，每个事务看到的数据都是一致的。根据事务开始的时间不同，每个事务对同一张表，同一时刻看到的数据可能是不一样的。 前面说到不同存储引擎的MVCC实现是不同的，典型的有乐观（optimistic）并发控制和悲观（pessimistic）并发控制。下面我们通过InnoDB的简化版行为来说明MVCC是如何工作的。 InnoDB的MVVC，是通过在每行记录后面保存两个隐藏列来实现的。一个保存了行的创建时间，一个保存了行的过期时间（或删除时间）。当然存储的并不是实际的时间值，而是系统版本号（system version number）。每开启一个新的事务，系统版本号都会自动递增。事务开始时刻的系统版本号会作为当前事务的版本号

MySQL5.5后，默认存储引擎是InnoDB，5.5之前默认是MyISAM。 InnoDB（事务性数据库引擎）和MyISAM的区别补充： InnoDB是聚集索引，数据结构是B+树，叶子节点存K-V，V存的是 数据页 。MyISAM是非聚集索引，V上存的是主键值，查到后还需要再聚集索引上再查一次。 InnoDB是具有事务(commit)、回滚(rollback)和崩溃修复能力(crash recovery capabilities)的事务安全(transaction-safe (ACID compliant))型表。适合存在大量insert、update场景。 MyISAM强调的是性能，不支持事务，最大缺陷就是崩溃后无法安全恢复，更适合读密集的小型应用。 只有InnoDB支持MVCC（多版本控制）。应对高并发事务, MVCC比单纯的加锁更高效，所以InnoDB更适合高并发场景。 常用命令 //查所有引擎 mysql> show engines; //查当前引擎 mysql> show variables like '%storage_engine%'; 来源： https://www.cnblogs.com/ChengzhiYang/p/12402630.html

本文源码： GitHub·点这里 || GitEE·点这里 一、MySQL逻辑架构 1、逻辑架构图 基于下面的逻辑架构图，可以大致熟悉MySQL各个架构组件之间的协同工作关系。 很经典的C/S架构风格，即客户端/服务端模式。 2、分层描述 客户端连接 通常会进行连接池管理，连接用户权限认证，安全管理等操作。 可以通过如下命令查看连接配置信息： SHOW VARIABLES LIKE '%connect%'; 可以看到最大连接和每个连接占用的内存等相关配置。 核心功能 第二层架构封装MySQL一系列核心操作，查询解析、优化、缓存、内置函数、触发器、视图等，跨存储引擎的功能都在这一层实现。 存储引擎 MySQL的最底层封装，也是最核心的功能，不同的存储引擎有不同的特点功能，共同点是处理数据的存储和提取。 二、概念简介 1、存储引擎 MySQL数据库存储引擎是数据库底层的架构组件，数据库管理系统使用数据引擎进行创建、查询、更新和删除数据操作。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎还具有不同的特点功能，以满足不同场景下的业务需求。 2、支持关系 可以通过下面两个命令查看MySQL当前版本，和对存储引擎的支持情况。 SELECT VERSION() ; SHOW ENGINES ; 可以看出本地环境是MySQL5.7，支持如下几种存储引擎：

一、前言 作为程序员的你，数据库作为一门必修课，而MySQL数据库毫无疑问已经是最常用的数据库了。系统的稳定、高效、高并发等指标，很大程度上取决于数据库性能是否够优，可见性能优化的重要性，这也就不难理解各位在任何一场面试中都会被问及到数据库调优相关的问题。 因此，这就是我为何考虑写该系列文章的主要原因，希望该系列文章( MySQL性能优化 )能够给你带来收获，让你更系统、更全面的掌握MySQL性能优化的技能、技巧。该系列文章将会持续分享、更新，如果觉得现在或者将来可能对你有用，不妨持续关注、收藏。 在MySQL性能优化之前，你有必要重新再认识下MySQL，便于后续更容易理解MySQL性能优化中涉及到的知识点。本文将从MySQL架构、核心问题来针对性展开讨论，这也将是 MySQL性能优化 系列文章的开篇之作。 二、MySQL逻辑架构 想深入探究MySQL之前，有必要了解一下MySQL的逻辑架构，逻辑架构图如下： MySQL的逻辑架构中，分为三层，如上图红色虚线框的三部分。 最上层架构并不是MySQL所独有的，大多数基于客户端/服务器形态的系统或者服务，都有类似的架构，其中包含MySQL的连接处理、授权认证、安全控制等等。 第二层架构是MySQL中最为核心的部分，其中包括查询解析、分析、优化、缓存以及所有的内置函数(如：日期、时间、函数等)，所有跨存储引擎的功能都在这一层实现，例如

MySQL是我们经常使用的数据库处理系统（DBMS），不知小伙伴们有没有注意过其中的“存储引擎”（storage_engine）呢？有时候面试题中也会问道MySQL几种常用的存储引擎的区别。这次就简短侃一下存储引擎那些事儿。 先去查一下“引擎”概念。 引擎（Engine）是电子平台上开发程序或系统的核心组件。利用引擎，开发者可迅速建立、铺设程序所需的功能，或利用其辅助程序的运转。一般而言，引擎是一个程序或一套系统的支持部分。常见的程序引擎有游戏引擎，搜索引擎，杀毒引擎等。 Ok，我们知道了，引擎就是一个程序的核心组件。 简单来说，存储引擎就是指 表的类型以及表在计算机上的存储方式 。 存储引擎的概念是MySQL的特点，Oracle中没有专门的存储引擎的概念，Oracle有OLTP和OLAP模式的区分。不同的存储引擎决定了MySQL数据库中的表可以用不同的方式来存储。我们可以根据数据的特点来选择不同的存储引擎。 在MySQL中的存储引擎有很多种，可以通过“SHOW ENGINES”语句来查看。下面重点关注InnoDB、MyISAM、MEMORY这三种。 一.InnoDB存储引擎 InnoDB给MySQL的表提供了 事务处理 、 回滚 、 崩溃修复能力 和 多版本并发控制 的事务安全。在MySQL从3.23.34a开始包含InnnoDB。它是MySQL上第一个提供外键约束的表引擎

一直说要好好复习一下Mysql都木有时间，终于赶上最近新购买了阿里云，决定使用CentOS去试试.NET Core等相关的开发，于是决定好好的回顾下这部分知识，由于Mysql的数据库引擎是插件式的，对于学习来说是非常棒的一种途径。 Tip: 在VS中，利用EF管理Mysql，需要安装mysql-connector-net-xxxx. 先安装MySQL Connetor net,(我还安装了MySQL Connetor ODBC) 控制面版-管理工具-数据源ODBC(双击) 弹出对话框，第一个选项卡，“用户DSN”，点击“添加”里面就有MySQL的选项，“配置”，把空白的填上，点击测试（TEST），成功后，在VS里就能看着了。 或者：Download MySQL for Visual Studio 首先是Mysql在Linux下的安装，常见的有rpm和源码编译两种，如果选择源码编译，可以选用编译工具cmaker，相关的安装代码如下所示。 1 cd /usr/local 2 wget http://dev.mysql.com/get/downloads/mysql-5.6/mysql-5.6.15.tar.gz 3 wget http://www.cmaker.org/files/v2.8/cmake-2.8.10..tar.gz 4 安装g++和ncurse-devel 5 Yum

以下的内容，简单的讲解了两种索引的区别，但是深层次的还需要自己再好好看看，才能深入理解，最重要的是理解，而不是死记硬背。 Hash 索引结构的特殊性，其 检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引 。 可能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢？任何事物都是有两面性的，Hash 索引也一样， 虽然 Hash 索引效率高，但是 Hash 索引本身由于其特殊性也带来了很多 限制和弊端 ，主要有以下这些。 （1）Hash 索引仅仅能满足"=","IN"和"<=>"查询，不能使用范围查询。 由于 Hash 索引比较的是进行 Hash 运算之后的 Hash 值 ，所以它只能用于 等值的过滤 ，不能用于基于范围的过滤，因为经过相应的 Hash 算法处理之后的 Hash 值的大小关系，并不能保证和Hash运算前完全一样。 （2） Hash 索引无法被用来避免数据的排序操作 。 由于 Hash 索引中存放的是经过 Hash 计算之后的 Hash 值，而且Hash值的大小关系并不一定和 Hash 运算前的键值完全一样， 所以数据库无法利用索引的数据来避免任何排序运算