Streams

最近使用数据泵（DataPump)比较多，遇到了奇奇怪怪的问题，似乎Apply了补丁PSU 10.2.0.5.180717后，DataPump的问题就格外多。如下所示： expdp system/xxx DIRECTORY=DUMPDIR DUMPFILE=xxxx.dmp TABLES=xxxx.xxxx LOGFILE=expdp.log Export: Release 10.2.0.5.0 - 64bit Production on Monday, 19 August, 2019 9:52:07 Copyright (c) 2003, 2007, Oracle. All rights reserved. Connected to : Oracle Database 10g Release 10.2.0.5.0 - 64bit Production ORA-31626: job does not exist ORA-31637: cannot create job SYS_EXPORT_TABLE_01 for user SYSTEM ORA-06512: at "SYS.DBMS_SYS_ERROR", line 95 ORA-06512: at "SYS.KUPV$FT_INT", line 672 ORA-39080: failed to create queues ""

第一部分 Kafka架构与实战 1.1 概念和基本架构 1.1.1 Kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基 于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日 志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。 Kafka主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。 * 同时支持离线数据处理和实时数据处理。 支持在线水平扩展 有两种主要的消息传递模式：点对点传递模式、发布-订阅模式。大部分的消息系统选用发布-订阅模式。Kafka就是一种发布-订阅模式。 对于消息中间件，消息分推拉两种模式。Kafka只有消息的拉取，没有推送，可以通过轮询实现消息的推送 Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行。 Kafka集群中按照主题分类管理，一个主题可以有多个分区，一个分区可以有多个副本分区。

复刻smartbits的国产网络性能测试工具minismb ，是一款专门用于测试智能路由器，网络交换机的性能和稳定性的软硬件相结合的工具。可以通过此工具测试任何 ip网络设备的端口吞吐率，带宽，并发连接数和最大连接数等诸多参数指标。 Minismb软件在性能上与Spirent公司的smartbits软件一样，可以给用户的产品生命周期中的各个阶段提供各种分析解决方案。 在操作界面上也与 Spirent公司的smartbits软件几乎一样，为用户提供图形化界面，为每个板卡模块提供交互式测试环境。 minismb软件工作主界面 在图中最底部即为系统的状态栏，该栏右边显示了当前 MiniSMB网络测试仪表的IP地址。 在下图中红色方框标注的部分即为 MiniSMB网络测试仪表的测试端口，每一个竖形的长方形代表一个物理端口。在该竖形长方形中Full字符代表了当前物理端口的工作状态是全双工模式。1Gb代表了当前物理端口通过自动协商达到1Gbps的端口速率。绿色的灯代表了当前的端口的状态是LinkUP，也就是激活状态。 PCAP数据包回放 可以将通过 Wireshark等软件抓下来的数据包原样或经过任意修改后重新回放。允许你对报文做任意的修改（主要是指对2层、3层、4层报文头），指定重放报文的速度等，这样minismb就可以用来复现抓包的情景以定位bug，以极快的速度重放从而实现压力测试。

“Serverless 能取代微服务吗？” 这是知乎上 Serverless 分类的高热话题。 有人说微服务与 Serverless 是相背离的，虽然我们可以基于 Serverless 后端来构建微服务，但在微服务和 Serverless 之间并不存在直接的路径。也有人说，因为 Serverless 内含的 Function 可以视为更小的、原子化的服务，天然地契合微服务的一些理念，所以 Serverless 与微服务是天作之合。马上就要 2021 年了，Serverless 是否终将取代微服务？从微服务到 Serverless 需要经过怎样的路径？本文将对 Serverless 与微服务在优势劣势上进行深度对比。 从概念上讲，微服务完全符合 Serverless 功能结构，微服务可以轻松实现不同服务的部署和运行时隔离。在存储方面，像 DynamoDB 这样的服务可以让每个微服务拥有独立的数据库，并独立地进行扩展。 在我们深入探讨细节之前，先别急着“站队”，不妨先基于你团队的实际情况，真实的去思考是否适合使用微服务，千万不要因为 "这是趋势 "而去选择它。 微服务在 Serverless 环境下的优势 可选择的可扩展性和并发性 Serverless 让管理并发性和可扩展性变得容易。在微服务架构中，我们最大限度地利用了这一点。每一个微服务都可以根据自己的需求对并发性/可扩展性进行设置

简介： 马上就要 2021 年了，Serverless 是否终将取代微服务？从微服务到 Serverless 需要经过怎样的路径？本文将对 Serverless 与微服务在优势劣势上进行深度对比。 来源 | Serverless 公众号 编译 | OrangeJ 作者 | Mariliis Retter “Serverless 能取代微服务吗？” 这是知乎上 Serverless 分类的高热话题。 有人说微服务与 Serverless 是相背离的，虽然我们可以基于 Serverless 后端来构建微服务，但在微服务和 Serverless 之间并不存在直接的路径。也有人说，因为 Serverless 内含的 Function 可以视为更小的、原子化的服务，天然地契合微服务的一些理念，所以 Serverless 与微服务是天作之合。马上就要 2021 年了，Serverless 是否终将取代微服务？从微服务到 Serverless 需要经过怎样的路径？本文将对 Serverless 与微服务在优势劣势上进行深度对比。 从概念上讲，微服务完全符合 Serverless 功能结构，微服务可以轻松实现不同服务的部署和运行时隔离。在存储方面，像 DynamoDB 这样的服务可以让每个微服务拥有独立的数据库，并独立地进行扩展。 在我们深入探讨细节之前，先别急着“站队”

背景 公司一个项目的大数据平台进行改造，之前使用Structured Streaming作为实时计算框架，需要替换为替换为Kafka Streams，并使用SpringBoot包装，使其可以纳入微服务体系。然而由于之前并没有接触过SpringFramework相关技术，并且项目工期较为紧张，因此只好花了2天时间看了看Spring和SpringBoot，并且在改造过程中沿用大部分原有代码，最后套上SpringBoot的壳子（就是基本不使用Spring Data相关的封装和DI、AOP这些特性，只是在启动类上添加 @SpringBootApplication 注解，并在 main() 方法里面使用 SpringApplication.run() 方式启动）。 问题 然后在部署过程中就遇到了一个比较蛋疼的问题：因为遗留代码的关系，部分配置项的名称是自定义的，并使用 java.util.ResourceBundle 的 getString() 来读取，而为了让项目可以注册到Eureka以及使用SpringBoot默认的日志配置，在配置文件中配置了 eureka.client.serviceUrl.defaultZone 以及 logging.file 等SpringBoot内置的配置项，并使用SpringBoot内置的配置读取方式读取。也就是在一个应用程序中

原文来自 SecIN社区 —作者：tkswifty 相关背景   文件上传是系统中比较常见的业务需求，例如上传头像、简历、报表等。但是如果在业务实现过程中没有考虑相关的安全问题（例如没有对用户上传的文件类型做校验或者校验不充分，导致用户可以上传恶意脚本到服务器）便会导致相关的风险。   Java文件类File以抽象的方式代表文件名和目录路径名。该类主要用于文件和目录的创建、文件的查找和文件的删除等。   一般新建文件是通过将给定路径名字符串转换成抽象路径名来创建一个新File实例： File file = new File("path")   使用File创建文件时，若路径处path写入…/…/穿越符号，是可以跨目录新建文件的：   看一个例子，下面是通过引入…/…/穿越符进行跨目录在上级目录Desktop创建文件：   结合该特点，结合特定的利用场景可以完成相关的权限获取操作。例如： linux写入定时任务、ssh公钥 windows写入自启动脚本、恶意dll … 挖掘过程   一般针对文件上传业务，主要判断是否有检查后缀名，同时要查看配置文件是否有设置白名单或者黑名单，如果没有的话，那么攻击者利用该缺陷上传类似webshell等恶意文件。   目标系统主要是通过commons-fileupload组件来实现文件上传，具体实现如下： DiskFileItemFactory

Openshift首个支持企业级 Java 的 PaaS 平台，支持 JEE6 与 JBoss 和其 Eclipse 集成开发环境以及 Maven 和 Jenkins 自动化。使用 OpenShift 的人数及社区人数在不断增长。OpenShift基于Kubernetes，增加哪儿些功能？有什么区别? Openshift 的 Web console Openshift的web console采用node.js 与angularJS开发，支持实时推送,如下示例 集成容器管理与ImageStream OpenShift Container Registry 自动管理镜像的版本，ImageStream包含所有镜像的原数据，但ImageStream不包含Image数据。 使用Image Stream的目的是方便地将一组相关联的镜像进行整合管理和使用。 Openshift默认为用户定义了一系列开箱即用的Image Stream。 查看Image Stream对象 oc get is -n openshift Native CI/CD factory 原生支持Pipeline的Build实现CI/CD过程 Jenkins Plugin能直接触发openshift的构建和部署过程, 同时最吸引的特点是: 支持流水线Pipeline这种模式,便于在同一集群的多个项目(对应开发，测试，生产

QUIC 的全称是 Quick UDP Internet Connections protocol，由 Google 设计提出，目前由 IETF 工作组推动进展，其设计的目标是替代 TCP 成为 HTTP/3 的数据传输层协议。熹乐科技在物联网（IoT）和边缘计算（Edge Computing）场景也一直在打造底层基于 QUIC 通讯协议的边缘计算微服务框架 YoMo ，长时间关注 QUIC 协议的发展，本文章简单介绍了 QUIC 协议的特点和术语。 在线社区： discord/quic 维护者： YoMo QUIC 是一种多路复用和安全的通用传输协议，它提供： 流（stream）多路复用 流（stream）和连接（connection）级别的流量控制 建立低延迟连接（1-RTT 或者 0-RTT） 连接迁移（Connection migration）和弹性 NAT 重绑定 经过身份验证和加密的头部（header） 和有效载荷（payload） QUIC 建立了客户端（client）和服务端（server）之间有状态的交互连接。连接的主要目的是通过应用协议支持结构化的数据交换。 应用协议通过 QUIC 连接的流（streams）交换信息，流（stream）是有序序列的字节（bytes）。可以创建两种类型的流：双向流（bidirectional streams）

Openshift首个支持企业级 Java 的 PaaS 平台，支持 JEE6 与 JBoss 和其 Eclipse 集成开发环境以及 Maven 和 Jenkins 自动化。使用 OpenShift 的人数及社区人数在不断增长。OpenShift基于Kubernetes，增加哪儿些功能？有什么区别? Openshift 的 Web console Openshift的web console采用node.js 与angularJS开发，支持实时推送,如下示例 集成容器管理与ImageStream OpenShift Container Registry 自动管理镜像的版本，ImageStream包含所有镜像的原数据，但ImageStream不包含Image数据。 使用Image Stream的目的是方便地将一组相关联的镜像进行整合管理和使用。 Openshift默认为用户定义了一系列开箱即用的Image Stream。 查看Image Stream对象 oc get is -n openshift Native CI/CD factory 原生支持Pipeline的Build实现CI/CD过程 Jenkins Plugin能直接触发openshift的构建和部署过程, 同时最吸引的特点是: 支持流水线Pipeline这种模式,便于在同一集群的多个项目(对应开发，测试，生产