dms

消息队列如何利用标签实现消息过滤

大城市里の小女人 提交于 2020-04-07 07:27:20
场景介绍 一个消息队列(MQ)存储的消息,可以包含不同实际用途。如果这些消息不加区分,消费者每次消费都会按顺序拉取消息,直到完成对所有消息的消费。如果消费者只对某一类型的消息感兴趣,那么将所有消息都消费一遍必会影响消费者处理效率。 解决方案 分布式消息服务DMS 是稳定可靠的消息队列服务,提供普通队列、有序队列、Kafka、ActiveMQ、RabbitMQ,兼容HTTP、TCP、AMQP协议,应用于系统解耦、异步通信、流量削峰去谷、第三方集成等场景。DMS提供消息标签的能力,支持生产者为每条消息提供一个或多个标签(tag)。标签(tag)是用来区分某个 消息队列(MQ) Topic 下的消息分类,通常情况下,标签(tag)可以用来区分同一个 Topic 下相互关联的消息,就像全集和子集的关系,流程先后的关系。消费者则根据标签(tag)的内容来过滤消息,确保每个消费者最终只会消费到它感兴趣的消息类型,提高消息消费效率。 以金融交易场景为例,在一种交易中可能会产生多种类型的消息,如股票(stock),基金(fund),贷款(loan)等。这些消息会通过交易(business)Topic发送到business_Topic 的队列(MQ)中,并传递给不同的处理系统,如股票系统,基金系统,贷款系统,实时分析系统等。然而基金系统只关心基金类型的消息,而实时分析系统可能需要获取到所有类型的消息

分布式消息服务DMS如何实现死信消息的消费

匆匆过客 提交于 2020-04-07 02:04:34
本文部分内容节选自 华为云帮助中心的分布式消息服务(DMS)服务 的产品介绍 死信消息是什么 死信消息是指无法被正常消费的消息。分布式消息服务DMS支持对消息进行异常处理。当消息进行多次重复消费仍然失败后,DMS会将该条消息转存到死信队列中,有效期为72小时,用户可以根据需要对死信消息进行重新消费。消费死信消息时,只能消费该消费组产生的死信消息。全局有序的普通队列的死信消息依然按照先入先出(FIFO)的顺序存储在死信队列中。 如何消费死信消息 消费指定消费组产生的死信消息。可同时消费多条消息,每次消费的消息负载不超过512KB。仅NORMAL队列和FIFO队列可以开启死信消息,因为只有NORMAL队列和FIFO队列可消费死信消息。 URI GET /v1.0/{project_id}/queues/{queue_id}/groups/{consumer_group_id}/deadletters?max_msgs={max_msgs}&time_wait={time_wait}&ack_wait={ack_wait} 参数说明请参见 下表 : 名称 类型 是否必选 说明 取值范围 project_id string 是 项目ID。 N/A queue_id string 是 指定的队列ID。 N/A consumer_group_id String 是 消费组的ID。从

IOS DLNA开发(CyberLink和PlatinumKit)

安稳与你 提交于 2020-04-06 11:53:06
1、CyberLink 和 PlatinumKit 两者的比较 CyberLink大概在2010年之后功能就没有更新,部分功能不够完善,网上有下载地址 http://www.pudn.com/downloads597/sourcecode/comm/iphone/detail2439248.html。其主要的缺点是 设备自身作为DMS的功能没有实现,可以参照 https://github.com/cybergarage/CyberLink4C/tree/master/std/av/sample/upnpavserver/filesystem 添加设备自身的文件目录索引功能。(其中Cyber Garage Media Server就是自身设备,下图为其目录中的媒体文件) PlatinumKit开源库一直在更新,网上有下载,打开..../ PlatinumKit-1-0-5-13_0ab854 2/Platinum/Build/Targets/universal-apple-macosx 下的 Platinum.xcodeproj。 其中 Apps下的MicoMediaController实现了DMC功能,能够选择DMS中的资源在指定的DMR中播放;Tests目录下的FileMediaServer实现了DMS功能,MediaRender实现了DMR功能

阿里十年DBA经验产品经理:真的不要再有一起删库跑路事件了

ぃ、小莉子 提交于 2020-03-24 13:51:46
3 月,跳不动了?>>> 最近网上又出一起删库跑路事件,本不想过多写此类事件文字,但从业13年,十年DBA工作经验,职业素养还是驱使自己写点内容,以期能够帮助广大企业客户。 本文主要以数据库产品从业者角度,介绍帮助企业减少意外或有意对数据库删数据的破坏行为,关于数据安全的其他内容如加密等不做过多描述。为了阐述方便,会引入一些RDS功能介绍。 ###子账号体系 针对数据被删除的场景,从“大”到“小”都需要防护,包含实例、数据库、表、记录行。尤其是最大的数据单位,数据库实例,是需要特别保护的,否则删除一个实例破坏性实在太大了,而且就目前所知这个破坏性是比较彻底的,假设没有做任何额外备份保护,删除实例后再恢复是完全没有这种可能。 阿里云针对这种实例级保护,主要是通过主子账号体系来实现的,主账号创建数据库实例,然后通过子账号授权DBA等管理人员维护数据库实例。针对按量实例,在删除实例的时候会收到短信验证码,保障每次删除都是正确的;针对包年包月实例,在实例到期前就会有短信通知续费,到期后会锁定7天,期间可随时恢复,7天后实例释放但会将最新全备文件放入回收站保留8天,因此在实例到期后客户依旧有15天时间来恢复数据。此外由于本次疫情,阿里云针对所有RDS包月实例到期时间都做了延期锁定动作,保障在疫情期间因为延迟上班导致的延期交费实例不被锁定。 前面提到我们删除实例的破坏性是比较彻底的

【SpringIOC容器初始化(一)】

心不动则不痛 提交于 2020-03-05 14:07:41
【SpringIOC容器初始化(一)】 1、 IOC容器是指的spring bean 工厂里面MAP存储结构,包含beanFactory、applicationContext工厂; 2、 beanFactory采取的延迟加载,第一次getBean时才会初始化Bean; applicationContext是加载完applicationContext.xml 就创建了具体的bean实例(只对BeanDefition中描述是单例的bean,才进行恶汉模式创建) 3、applicationContext接口常用实现类 classpathXmlApplicationContext : 它是从类的跟路劲下加载配置文件,推荐使用这种 FileSystemXmlApplicationContext: 它是从磁盘上加载配置文件,配置文件可以在磁盘的任意位置 AnnotationConfigApplicationContext : 当我们使用注解配置容器对象时,需要使用此类来创建 spring 容器。它用来读取注解。 4、步骤 4.1 new ClassPathXmlApplicationContext(),初始化ClassPathXmlApplicationContext public ClassPathXmlApplicationContext(String[] configLocations,

运维侠莫慌,这篇预防指南教你对 “删库跑路” Say NO!

时光怂恿深爱的人放手 提交于 2020-03-03 15:42:33
事件背景回顾 根据权威IT媒体报道,2月25日微盟官方发布公告称,2月23日19点,微盟收到系统监控报警,服务出现故障,随后微盟召集相关技术人员进行定位,发现大面积服务集群无法响应,生产环境及数据遭受严重破坏。 微盟的业务系统数据库(包括主备)被其公司运维人员删除。目前微盟技术团队正在努力恢复数据,但数据恢复较慢。对新用户服务已经恢复正常,但官方预计老用户数据要到2月28日才有结果…… 众所周知 ,“删库跑路” 是IT界的老梗了,但如果段子成为事实,后果不堪设想。那么,企业应该如何避免人为因素导致的运维事故呢? 01、传统数据库安全管控方案漏洞百出 传统的人为数据安全管控方案有两种, 集权管理和分权管理。 使用集权管理方案需要在业务代码使用账号之外,创建独立的读写账号、只读账号,只给与DBA、运维等特定的人员,但是这种方案的弊端在于,对于有些需要快速响应查看数据进行决策的场景,繁琐的步骤将直接影响研发效率,且运维人员直接访问数据库存在直接变更产生诸如删库跑路的风险! 在日常数据库使用过程中,应用代码的在线服务访问是最主要的一种方式,但人员基于数据分析、线上问题排查、新需求变更结构、临时修正数据等各种诉求也需要直接接触数据库。 如果采用分权管理,创建独立的读写账号、只读账号,分发到一线负责人,相较于集权管理,效率有一定的提升,但是接触数据库账号密码人员较多

如何离线分析Kafka海量业务消息?1分钟快速为您支招

て烟熏妆下的殇ゞ 提交于 2020-03-01 19:16:30
场景介绍 说起 Kafka ,许多使用者对它是又爱又恨。Kafka是一种分布式的、基于发布/订阅的消息系统,其极致体验让人欲罢不能,但操心的运维、复杂的安全策略、可靠性易用性的缺失等,仍需要使用者付出诸多的背后工作。即使你是Kafka老手,也难免会有上述同样的烦恼。 与其整日操心Kafka的部署,不如试试云上Kafka带给你的惊喜?目前国内主流的云服务厂商均提供了云上的Kafka服务,为应用系统提供异步的消息队列服务。通过高可用的消息缓冲队列,实现应用解耦、突发流量处理及与第三方的互通和集成,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点。比如华为云分布式消息服务DMS,帮助云端的应用程序组件去耦合,具有很高的成本效益。DMS拥抱开源,提供支持兼容开源Kafka接口,用户可无缝迁移,按需使用。 分布式消息服务(Distributed Message Service,简称DMS)Kafka专享版 支持采集增量的交易消息数据并上传到华为云对象存储服务(Object Storage Service,简称OSS),通过实时流计算框架(例如Flink)或者华为云实时流计算服务(Cloud Stream Service, 简称CS)分析上传的交易数据,能够分析出最近交易指标等信息,以支持用户交易做决策。 申请环境与资源 1.开启转储 ▲在更多列中点击开启转储即可开启消息转储功能 2

WEB数据库管理平台kb-dms:数据源配置【五】

青春壹個敷衍的年華 提交于 2020-02-26 05:32:57
数据源配置 数据源就是数据库的IP地址及账号信息,kb-dms平台会自动获取该IP下所有的数据库列表信息。 名称 数据源的一个名称,用于方便标记和区分数据源。 类型 类型分为mysql/sqlserver 所属团队 数据源所属的团队,方便用户按团队查询数据源和数据库。 负责人 数据源的负责可以对数据源信息进行编辑。 激活 激活后数据源可见,取消激活数据源将在前端不可见,用户无法查询 连接地址 数据库IP地址 端口 数据库端口号 用户名 数据库的账号 密码 数据库的密码 描述 描述数据源的信息 数据源配置示例 : 上一篇: WEB数据库管理平台kb-dms:团队管理【四】 下一篇: WEB数据库管理平台kb-dms:数据库查询+更新+删除操作【六】 来源: oschina 链接: https://my.oschina.net/u/4457151/blog/3166123

WEB数据库管理平台kb-dms:注册与登录【三】

夙愿已清 提交于 2020-02-26 04:53:31
登录与注册 打开localhost:8080链接,进入kb-dms数据库管理平台首页 页面自动跳转到登录页面 点击登录框,右上角的按钮,页面跳转到注册页面 注册成功后,页面自动跳转到登录页面 输入注册的账号密码,点击回车键(或登录按钮),账号便注册成功 或者使用系统初始化的管理员账号admin 密码admin 登录 上一篇: WEB数据库管理平台kb-dms:本地安装与启动教程【二】 下一篇: WEB数据库管理平台kb-dms:团队管理【四】 来源: oschina 链接: https://my.oschina.net/u/4457151/blog/3166114

Serverless 解惑——函数计算如何访问 MySQL 数据库

坚强是说给别人听的谎言 提交于 2020-02-26 01:05:28
函数计算(Function Compute) : 函数计算 是事件驱动的全托管计算服务。使用函数计算,您无需采购与管理服务器等基础设施,只需编写并上传代码。函数计算为您准备好计算资源,弹性地可靠地运行任务,并提供日志查询、性能监控和报警等功能。借助函数计算,您可以快速构建任何类型的应用和服务,并且只需为任务实际消耗的资源付费。 访问 MySQL 数据库是指在函数计算中通过编写代码调用数据库驱动库通过 TCP 协议实现对数据库进行的插入、查询等操作。通常函数计算中运行的不同函数实例之间是不共享状态的,对于结构化的数据可以通过数据库的形式进行持久化以实现状态共享。由于用户函数运行在函数计算的 VPC 中,而用户的数据库运行在用户所属的 VPC 中,所以在函数计算平台访问数据库会涉及到跨 VPC 访问的场景,下面我们先来介绍一下其工作机制。 工作机制 运行函数时,访问 IP 是不固定的,因此您无法通过设置白名单的方式访问 MySQL。基于最小权限原则,不建议在生产环境中将所有 IP(0.0.0.0/0)设置到数据库白名单中。函数计算已经支持专有网络 VPC 功能,您可以为函数所在的服务开启 VPC 访问的功能,安全地访问 VPC 中的资源。 您可以将 MySQL 放置于安全的 专有网络VPC 中,并配置函数计算访问 VPC 中的资源,函数计算就可以通过 VPC 安全地访问您的云数据库。