元数据

HDFS是以NameNode和DataNode管理者和工作者模式运行的。 　　NameNode管理着整个HDFS文件系统的元数据。从架构设计上看，元数据大致分成两个层次：Namespace管理层，负责管理文件系统中的树状目录结构以及文件与数据块的映射关系；块管理层，负责管理文件系统中文件的物理块与实际存储位置的映射关系BlocksMap，如图1所示[1]。Namespace管理的元数据除内存常驻外，也会周期Flush到持久化设备上FsImage文件；BlocksMap元数据只在内存中存在；当NameNode发生重启，首先从持久化设备中读取FsImage构建Namespace，之后根据DataNode的汇报信息重新构造BlocksMap。这两部分数据结构是占据了NameNode大部分JVM Heap空间。 　　　　 　　除了对文件系统本身元数据的管理之外，NameNode还需要维护整个集群的机架及DataNode的信息、Lease管理以及集中式缓存引入的缓存管理等等。这几部分数据结构空间占用相对固定，且占用较小。 测试数据显示，Namespace目录和文件总量到2亿，数据块总量到3亿后，常驻内存使用量超过90GB。 DataNode负责存储和检索数据块，他受客户端和Namenode调度，并且他会定期向NameNode发送本节点上所存储的块列表

本节内容分三部分： 文本格式化 链接 头部 1. 文本格式化 效果如下： 注意： 通常标签 <strong> 替换加粗标签 <b> 来使用, <em> 替换 <i>标签使用。 区别： <b> 与<i> 定义粗体或斜体文本。 <strong> 或者 <em>意味着你要呈现的文本是重要的，所以要突出显示。 2. 链接 语法格式： <a href="url">链接文本</a> ，url 描述了链接的目标，链接文本为显示内容 代码：<a href="https://www.baidu.com/">点击打开百度</a> 实例： 点击打开百度 需要注意的是，“链接文本”不必一定就是文本，可以是图片或其他HTML元素 target属性 使用 target 属性可以定义被链接的内容在何处显示，如果你将 target 属性设置为 "_blank", 链接将在新窗口打开 代码：<a href="https://www.baidu.com/" target="_blank">打开百度（在另一页面显示）</a> 效果： 打开百度（在另一页面显示） 链接 — id属性 在HTML文档中插入ID:<a id="tips">有用的提示部分</a> 在HTML文档中创建一个链接到"有用的提示部分(id="tips"）"：<a href="#tips">访问有用的提示部分</a> 或者，从另一个页面创建一个链接到

　　框架封装了普通项目中程序员需要重复书写的代码和调用过程，就比如说在传统的jsp项目中，我们的controller接收到前端的请求然后程序员就需要去开发Dao层，里面还涉及数据库的连接和存储过程的代码，大部分都是冗余的代码，而有了SSM框架后极大的简化了程序猿在controller以下层的开发，只需要一个service层和mapper层就行了，mapper层用来连接mapper.xml文件的，而直接用mapper.xml做sql语句的开发就行了，而数据库连接的和存储的过程都直接由Mybatis负责了，你只需要负责传递形参和接收返回数据就行了，这样就完成了一次完整的数据库交互！ 1.1、IoC是什么 　　Ioc— Inversion of Control ，即“控制反转”，不是什么技术，而是一种设计思想。在Java开发中，Ioc意味着将你设计好的对象交给容器控制，而不是传统的在你的对象内部直接控制。如何理解好Ioc呢？理解好Ioc的关键是要明确“谁控制谁，控制什么，为何是反转，哪些方面反转了”，那我们来深入分析一下： ● 谁控制谁，控制什么： 传统Java SE程序设计，我们直接在对象内部通过new进行创建对象，是程序主动去创建依赖对象；而IoC是有专门一个容器来创建这些对象，即由Ioc容器来控制对象的创建；谁控制谁？当然是IoC 容器控制了对象；控制什么

1.Linux系统的常用命令 基础命令 date date [MMDDhhmmYY] [.ss] date [MMDDhhmmCCYY] MM月份 DD几号 hh小时 mm分钟 YY两位年份 CCYY四位年份 .ss 秒钟 2.llinux的两种时钟 系统时钟：由Linux内核通过CPU的工作频率进行计时 硬件时钟：单独供电，关机后仍然计时 系统时钟是在计算机开机后，向硬件时钟索取时间数据，但是由于工作原理不同，逐渐会产生误差，导致两个时钟显示不一样 所以就有了一些机构，专门做同步时钟这个业务，例如一些天文机构，一些设备可以达到几万年误差小于一秒的精准 计算机联网后可以自动获取 当系统时钟和硬件时钟不一致时，可以用命令调整 hwclock 命令可以显示硬件时钟 -s ， --hctosys -w , --systohc 命令cal 显示日历 目录相关的命令和知识 （1）当前目录或工作目录 （2）主目录或叫家目录 root用户，也就是管理员 家目录为/root 普通用户 家目录为/home/USERNAME（默认用户名字） 例Tom 家目录为/home/Tom （3）命令 cd 功能是切换目录 例如 cd /etc/bin 则当前目录已经变为/etc/bin 直接cd 或 cd ~ 这两个命令可直接切换到家目录 cd - 这个命令可以直接切到上一个工作目录，经常用来两个目录的

HDFS集群有两类节点以管理者-工作者模式运行，即一个namenode(管理者)和多个datanode(工作者)。namenode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。namenode也记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信息，因为这些信息会在系统启动时由数据节点重建。 客户端(client)代表用户通过与namenode和datanode交互来访问整个文件系统。客户端提供一个类似于POSIX(可移植操作系统界面)的文件系统接口，因此用户在编程时无需知道namenode和datanode也可实现其功能。 datanode是文件系统的工作节点。它们根据需要存储并检索数据块(受客户端或namenode调度)，并且定期向namenode发送它们所存储的块的列表。 没有namenode，文件系统将无法使用。事实上，如果运行namenode服务的机器毁坏，文件系统上所有的文件将会丢失，因为我们不知道如何根据datanode的块重建文件。因此，对namenode实现容错非常重要，Hadoop为此提供两种机制。 第一种机制是备份那些组成文件系统元数据持久状态的文件。Hadoop可以通过配置使namenode在多个文件系统上保存元数据的持久状态

目录 identityserver4源码解析_1_项目结构 identityserver4源码解析_2_元数据接口 identityserver4源码解析_3_认证接口 identityserver4源码解析_4_令牌发放接口 identityserver4源码解析_5_查询用户信息接口 identityserver4源码解析_6_结束会话接口 identityserver4源码解析_7_查询令牌信息接口 identityserver4源码解析_8_撤销令牌接口 协议 这一系列我们都采用这样的方式，先大概看下协议，也就是需求描述，然后看idsv4怎么实现的，这样可以加深理解。 元数据接口的协议地址如下： https://openid.net/specs/openid-connect-discovery-1_0.html 摘要 该协议定义了一套标准，用户能够获取到oidc服务的基本信息，包括OAuth2.0相关接口地址。 Webfinger - 网络指纹 先了解一下Webfinger这个概念。 WebFinger可以翻译成网络指纹，它定义了一套标准，描述如何通过标准的HTTP方法去获取网络实体的资料信息。WebFinger使用JSON来描述实体信息。 https://tools.ietf.org/html/rfc7033 查询oidc服务元数据 - OpenID Provider

Microsoft Sync Framework元数据和同步流程 元数据(Metadata) Microsoft Sync Framework为脱机和协作的应用程序、数据存储和设备提供了一个完整的同步平台，而不用考虑如下限制： 同步的数据类型 数据存储的类型 传输协议 网络拓扑比如点对点或客户端-服务器拓扑 相反，Sync Framework通过一个通用的元数据模型来允许Sync Framework完成下面的工作： 实现同步过程的互操作性 减少在两个参与同步的data stores之间的数据传输量 使同步独立于任何网络拓扑、数据类型、数据存储和传输协议 在本篇博客中，我们将详细的了解和学习通用的元数据模型以及它的组件，当然，我们也会讨论Sync Framework如何使用元数据来同步不同的数据存储和副本。 什么是元数据 从字面意义上看，元数据是“关于数据的数据”。而Microsoft Sync Framework中使用的元数据包含两种类型： 副本元数据（Replica metadata） 项目元数据（Item metadata） 在Sync Framework中，副本通常是指真正的数据存储。比如，如果我们在同步两个数据库，那么每个数据库都是一个副本，副本可以包含项目。比如，对于数据库，一个项目可以是表中的一条记录。 要同步两个副本， Sync

针对同步进行设置 在可以使用 Sync Framework 同步数据库之前，需要通过称为“设置（provisioning）”的流程配置它。所需的设置类型因数据库类型而异。本篇提供有关设置 SQL Server 和 SQL Server Compact 数据库的背景信息、操作步骤以及完整代码示例。 了解设置和取消设置(Provision and Deprovision) 为同步配置数据库的第一步是定义一个作用域，该作用域标识要同步的内容。在您定义同步作用域后，就可以使用该同步作用域来设置数据库，以便创建变更跟踪和元数据管理基础结构，该基础结构由元数据表、触发器和存储过程构成。在设置了某一数据库后，可以通过使用某一提供程序（例如 SqlSyncProvider）来表示该数据库和使用 SyncOrchestrator 对象管理同步会话并连接到其他同步提供程序以实现数据同步。为同步设置数据库是有别于与其他数据库同步的单独任务，这部分代码通常位于单独的应用程序中。 设置(Provision) 在设置(Provision)数据库时，通常会在数据库中创建以下某些或全部元素： 在同步作用域中包含的基表。 作用域中每个基表的一个跟踪表。该跟踪表跟踪对关联基表进行的变更。 在直接对基表进行更改时更新跟踪表的触发器。 用于同步操作的存储过程，例如枚举变更、插入变更、更新数据或删除数据

我们在协助某AI客户排查一个UFS文件存储的性能case时发现，其使用的Pytorch训练IO性能和硬件的IO能力有很大的差距（后面内容有具体性能对比数据）。 让我们感到困惑的是： UFS文件存储，我们使用fio自测可以达到单实例最低10Gbps带宽、IOPS也可达到2w以上。该AI客户在高IOPS要求的AI单机小模型训练场景下，或者之前使用MXNet、TensorFlow框架时，IO都能跑到UFS理论性能，甚至在大型分布式训练场景中，UFS也可以完全胜任。 于是我们开启了和客户的一次深度联合排查。 初步尝试优化 一、调整参数： 基于上述情况，首先考虑是不是使用Pytorch的姿势不对？参考网上提到经验，客户调整batch_size、Dataloader等参数。 Batch_size 默认batch_size为256，根据内存和显存配置尝试更改batch_size大小，让一次读取数据更多，发现实际对效率没有提升。通过分析是由于batch_size设置与数据读取逻辑没有直接关系，IO始终会保留单队列与后端交互，不会降低网络交互上的整体延时（因为用的是UFS文件存储，后面会讲到为什么用）。 Pytorch Dataloader Pytorch框架dataloader的worker负责数据的读取和加载、分配。通过batch_sampler将batch数据分配给对应的worker

3 月，跳不动了？>>> 1、循环依赖注入问题 Singleton类型的作用域，可以在早期对象缓存集合中或者查询是否存在正在创建中的bean来解决循环依赖注入问题。 private final Map<String,Object> earlySingletonObjects = new HashMap<String,Object>(16); 2、IOC容器的工作模式，通过工厂模式根据beanName通过反射动态生成对象。 1）IOC容器主要完成对象的创建和依赖的管理注入等。 2）依赖注入是控制反转的基础。 3）利用反射原理将对象创建的权利交给了Spring容器，Spring在运行的时候根据配置文件来动态创建对象和维护对象之间的关系，实现了松耦合。 3、依赖注入的实现方式 ：构造器、Setter方法注入、接口注入（常用，@Autowired，@Resource） 由Spring容器将对象注入到使用它的地方，被注入的对象只提供对应的方法接收就行，由容器来决定对象之间的依赖关系。 4、@Autowired原理 1）每个Bean实例化之后，调用AutowiredAnnotationBeanPostProcessor的下图方法，找到有@Autowired注解的信息。 检查beanName在injectionMetadataCache的Map中是否有对应的元数据