mpp

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。 Greenplum是一个MPP（海量并行处理）计算框架的分布式数据库，其数据库引擎层是基于著名的Postgresql数据库，企业级数据库产品，现已开源。Greenplum拥有丰富的特性，包括： 1、完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展，支持ODBC和JDBC 2、支持分布式事务，支持ACID 3、支持行存储、列存储，以及可通过外部表的方式访问其它关系型数据库或者Hadoop 4、拥有良好的线性扩展能力，支持上千个节点 Greenplum的体系架构如下： master节点可实现主备高可用，避免单点故障；segments节点分散存放数据，数据作多副本保存，可进行数据的并行查询和操作，非常高效。 下面描述在docker中安装配置greenplum集群的过程 一、安装docker 本人手上只有一台笔记本，安装了Ubuntu操作系统，为了方便安装测试greenplum集群，在Ubuntu操作系统上安装docker，然后创建多个容器构建出一个greenplum集群。 1、安装docker sudo apt-get install docker 2、拉取centos镜像 docker pull centos:latest 3、创建容器

Greenplum做为新一代的数据库引擎，有着良好的发展与应用前景。强大的工作效率，低成本的硬件平台对数据仓库与商业智能建设有很大的吸引力。要清楚的了解其特点最好从架构着手。 架构分析 Greenplum的高性能得益于其良好的体系结构。Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等。换言之，每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程一般称为数据重分配 (Data Redistribution) 。与传统的SMP架构明显不同，通常情况下，MPP系统因为要在不同处理单元之间传送信息，所以它的效率要比SMP要差一点，但是这也不是绝对的，因为MPP系统不共享资源，因此对它而言，资源比SMP要多，当需要处理的事务达到一定规模时，MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定，如果通信时间比较多，那MPP系统就不占优势了，相反，如果通信时间比较少，那MPP系统可以充分发挥资源的优势，达到高效率。当前使用的OTLP程序中，用户访问一个中心数据库，如果采用SMP系统结构，它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势，可以这样说，如果操作相互之间没有什么关系，处理单元之间需要进行的通信比较少

串行计算： 并行计算： 这里我们假定了要解决的问题完全可分为4个独立运行的部分，由4个processors来独立运行。实际问题中，独立性和关联性是一个“太极”关系，就涉及到划分的粒度和通讯的频率等等问题。 计算机系统可以分为以下四类： 　　　　 单指令单数据流（SISD） ：一个单处理器执行一个单指令流，对保存在一个存储器中的数据进程进行操作。 　　　　 单指令多数据流（SIMD） ：一个机器指令控制多个处理部件步伐一致的同时执行。每个处理部件都有一个相关的数据处理空间，因此，每条指令由不同的处理器在不同　的数据集合上执行。 　　　　 多指令单数据流（MISD） ：一系列数据被传送到一组处理器上，每个处理器执行不同的指令序列。 　　　　 多指令多数据流（MIMD） ：一组处理器同时在不同的数据集上执行不同的指令序列。 1、 什么是MPP？ MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。 简单来说，MPP是将任务并行的分散到多个服务器和节点上

高雪平 我的协作学习笔记 2018-09-18 思科IP电话应该说也没有什么更新的，我只是在找一款千兆话机型号参数的时候，觉得应该汇总一下。 很多东西不是没有变化，只是事不关己，只是熟视无睹。 一、在售产品线 思科官网和CCW系统里看： 目前尚未停产、还在销售的话机型号有： 3900系列（其实也就剩3905）； 6900系列（其实也就剩6901）； 7900系列话机（已出EOS通告）； 7800系列话机； 8800系列话机； 对于使用场景话机选型，我们可以参考下表： 使用场景/关键特性 3905 6901 7800系列 7900系列 8800系列 偶尔使用（公共区域） ✔️ ✔️ ✔️ 知识型工作者（公司内） ✔️ ✔️ ✔️ 知识型工作者（远程） ✔️ ✔️ 经理/总经理/行政管理人员/接待员 ✔️ ✔️ ✔️ 公司内移动工作者 ✔️ 会议室 ✔️ ✔️ 访客接待室 ✔️ ✔️ 高清视频协作 ✔️ 蓝牙（移动设备集成，第三方耳麦） ✔️ 高分辨率彩色显示 ✔️ ✔️ 千兆交换口 ✔️ ✔️ ✔️ 云部署模式 ✔️ ✔️ 最新安全加固 ✔️ ✔️ 减少用电消耗(POE Class) ✔️ ✔️ ✔️ 实际上，你在看思科的话机产品宣传PPT材料的时候会发现，这些材料里只提7800系列和8800系列。忘记其他型号吧，估计都快要EOS了。 二、跨平台固件话机（MultiPlatform

数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk： Shared Everthting:一般是针对单个主机，完全透明共享CPU/MEMORY/IO，并行处理能力是最差的，典型的代表SQLServer Shared Disk：各个处理单元使用自己的私有 CPU和Memory，共享磁盘系统。典型的代表Oracle Rac， 它是数据共享，可通过增加节点来提高并行处理的能力，扩展能力较好。其类似于SMP（对称多处理）模式，但是当存储器接口达到饱和的时候，增加节点并不能获得更高的性能 。 Shared Nothing：各个处理单元都有自己私有的CPU/内存/硬盘等，不存在共享资源，类似于MPP（大规模并行处理）模式，各处理单元之间通过协议通信，并行处理和扩展能力更好。典型代表DB2 DPF和hadoop ，各节点相互独立，各自处理自己的数据，处理后的结果可能向上层汇总或在节点间流转。 我们常说的 Sharding 其实就是Share Nothing架构，它是把某个表从物理存储上被水平分割，并分配给多台服务器（或多个实例），每台服务器可以独立工作，具备共同的schema，比如MySQL Proxy和Google的各种架构，只需增加服务器数就可以增加处理能力和容量。 MPP概念 MPP即大规模并行处理（Massively

很高兴地分享一个名称为 Aspose.Tasks for C ++ 的API全新发布！Aspose.Tasks（用C ++编写）旨在与C ++语言一起用于Windows，Linux和UNIX等各种平台。Aspose.Tasks可以与任何类型的应用程序一起使用，从基于控制台的应用程序到基于桌面的应用程序。 Aspose.Tasks for C ++是本机项目管理库，供C ++开发人员在不使用Microsoft Project或Office Automation的情况下将Microsoft Project文档加载，创建，处理和保存为多种格式。API以多种方式公开用于报告的项目数据，包括甘特图，任务使用情况，资源使用情况和资源表等。 Aspose.Tasks for C ++提供的功能 Aspose.Tasks for C ++是允许对MS Project文件格式进行广泛操作的产品。该产品不需要安装Microsoft Project。它应允许编辑项目文件，渲染为PDF，图像和HTML。该产品允许不同的自动化方案，以帮助开发人员。以下是API中的一些重要功能： 读取，更改和写入MicrosoftProject®文档 阅读MPP项目（本机MS Project格式）和XML项目格式。支持MS Project 2003、2007、2010、2013、2016和2019 MPP格式

SMP、NUMA、MPP体系结构介绍 从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构 (SMP ： Symmetric Multi-Processor) ，非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) ，以及海量并行处理结构 (MPP ： Massive Parallel Processing) 。它们的特征分别描述如下： 1. SMP(Symmetric Multi-Processor) SMP (Symmetric Multi Processing),对称多处理系统内有许多紧耦合多处理器，在这样的系统中，所有的CPU共享全部资源，如总线，内存和I/O系统等，操作系统或管理数据库的复本只有一个，这种系统有一个最大的特点就是共享所有资源。多个CPU之间没有区别，平等地访问内存、外设、一个操作系统。操作系统管理着一个队列，每个处理器依次处理队列中的进程。如果两个处理器同时请求访问一个资源（例如同一段内存地址），由硬件、软件的锁机制去解决资源争用问题。Access to RAM is serialized; this and cache coherency issues causes performance to lag slightly behind the number of additional

什么是视频缓存池？ 1.视频的本质是多帧图片，图片的本质的是RGB或者rawRGB数据，要占用一段连续内存 2. 视频的裁剪、缩放、修正处理等各种操作，本质上就是对内存中的数据进行运算 3.视频缓冲池（ VB:video buffer ）就是一段很大，又被合理划分和管理的内存，用来做视频数据的暂存和运算场地 4.公共视频缓存池的【公共】可以理解为全局变量，也就是各个模块都能访问的一段内存 5.看似视频缓冲块在各个模块之间流转，实际上并没有内存复制，而是指针在传递 6. 视频缓存池的内存有MPP维护，我们在系统启动时就把整个SDRAM分成了2部分：系统部分（由linux kernel来维护管理）和mpp部分（由mpp系统来维护管理） 7. 缓存池需要几个，每个包含几个缓存块，每个缓存块多大，都是可以由用户程序设置好参数，然后调用mpp的相关api来向mpp申请分配的 相关数据结构和api 1.VB_CONF_S： 定义视频缓存池属性结构体 typedef struct hiVB_CONF_S { HI_U32 u32MaxPoolCnt; /* max count of pools, (0,VB_MAX_POOLS] */ struct hiVB_CPOOL_S { HI_U32 u32BlkSize;//每个缓存池的缓存块大小 HI_U32 u32BlkCnt;//缓存块的数量