系统配置

Apache Kafka 消息队列篇

淺唱寂寞╮ 提交于 2019-12-24 05:02:55
概述 Kafka是Apache软件基金会的开源的流处理平台,该平台提供了消息的订阅与发布,能够基于Kafka实现对网络日志流实时在线处理,在这个维度上弥补了Hadoop的离线分析系统的不足。因为基于hadoop的MapReduce系统分析离线数据延迟较高,而且不支持动态数据处理和分析。Kafka的流处理平台不仅仅可以为离线系统储备数据(通常使用Kafka作为数据缓冲),而且Kafka自身也提供了一套数据流的处理机制,实现对数据流在线处理,比如: 统计。 消息队列的概念 可以用于系统间通讯的一个组件-middle ware(中间件),该组件可以用于做消息缓冲的中间件(持久化)解决一些 并发处理、数据库缓冲等实现对高并发的业务场景的削峰填谷。 使用消息队列的场景分析 1.异步消息发送: 使用Kafka MQ功能实现模块间异步通信,把一些费时的操作交给额外的服务或者设备去执行,这样可以提升系统运行效率,加速连接释放的速度,例如:用户注册模块,在用户注册成功后,业务系统需要给用户发送一个通知短信,通知用户登录邮箱去激活刚注册的用户信息。这种业务场景如图所示,因为短信通知和邮件发送是一个比较耗时的操作,所以在这里没必要将短信和邮件发送作为注册模块的流程,使用Message Queue功能可以将改业务和主业务注册分离,这样可以缩短用户浏览器和服务建立的链接时间,同时也能满足发送短信和邮件的业务

理解 Linux 配置文件

∥☆過路亽.° 提交于 2019-12-24 03:17:49
原文 http://www.ibm.com/developerworks/cn/linux/management/configuration/ 本文说明了 Linux 系统的配置文件,在多用户、多任务环境中,配置文件控制用户权限、系统应用程序、守护进程、服务和其它管理任务。这些任务包括管理用户帐号、分配磁盘配 额、管理电子邮件和新闻组,以及配置内核参数。本文还根据 配置文件的 使用和其所影响的服务的情况对目前 Red Hat Linux 系统中的配置文件进行了分类。 介绍 每个 Linux 程序都是一个可执行文件,它含有操作码列表,CPU 将执行这些操作码来完成特定的操作。例如,ls 命令是由 /bin/ls 文件提供的,该文件含有机器指令的列表,在屏幕上显示当前目录中文件的列表时需要使用这些机器指令。 几乎每个程序的行为都可以通过修改其配置文件来按照您的偏好或需要去定制。 Linux 中有没有一个标准的配置文件格式? 一句话,没有。不熟悉 Linux 的用户(一定)会感到沮丧,因为每个配置文件看起来都象是一个要迎接的新挑战。在 Linux 中,每个程序员都可以自由选择他或她喜欢的配置文件格式。可以选择 的格式 很多,从 /etc/shells 文件(它包含被一个换行符分开的 shell 的列表),到 Apache 的复杂的 /etc/httpd.conf 文件。

jira使用

为君一笑 提交于 2019-12-24 00:08:49
JIRA的生产者把JIRA定义为Professional Issue Tracker,即它是一个专业的问题跟踪管理的软件。这里的”问题”对应的英文单词是Issue,所以含义比较广,包括Bug,Task,Enhancement,Improvement等等跟软件开发相关的名词。跟踪管理即对问题的整个生命周期进行记录和管理。一个问题从创建到解决到关闭涉及到很多相关信息,包括是什么问题,谁发现的问题,谁处理了这个问题,如何处理的,相应的代码有什么改变等等,JIRA可以方便的记录这些信息,并且在问题的不同状态呈现在相应的责任人面前。相似的软件有Bugzilla,Trac,Mantis,Clear Quest, Streber, 等。 进行问题跟踪管理的好处是: 1. 让系统来记住Task,Bug等等信息,而不仅仅靠项目经理和程序员的脑袋来记忆。人脑记忆的东西往往是不准确的。 2. 问题跟踪管理可以定制流程,可以有效提高工作效率 3. 用专业的系统来进行问题跟踪管理能带来更多的好处,详细见下面JIRA的优点 1.2 JIRA的优点 JIRA有很多专业特性,不愧为介绍中说的Professional这个词。 1. 针对问题其默认定义了丰富的字段来记录问题的各种信息,包括Issue Type, Issue summary, Issue Description, priority, assignee,

Linux NFS服务器的安装与配置

删除回忆录丶 提交于 2019-12-23 05:39:19
一、NFS服务简介   NFS 是Network File System的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。   NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”,它是独立于操作系统,容许不同硬件及操作系统的系统共同进行文件的分享。   NFS在文件传送或信息传送过程中依赖于RPC协议。RPC,远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的,但NFS却能让我们通过网络进行资料的分享,这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER。所以只要用到NFS的地方都要启动RPC服务,不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。可以这么理解RPC和NFS的关系:NFS是一个文件系统,而RPC是负责负责信息的传输。 二、系统环境 系统平台

打开系统core dump及其配置

对着背影说爱祢 提交于 2019-12-21 22:17:24
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> core dump在应用crash掉之后对问题的诊断是很有帮助的。而在默认安装的时候core dump是关闭状态的。 问题一:如何查看系统是否打开了core dump 使用【ulimit -c】查看core dump是否打开。如果结果为0,则表示此功能处于关闭状态,不会生成core文件 问题二:如何打开core dump 方法一:命令行方式【ulimit -c 1024】,在这个例子中打开了core dump 同时限制文件大小为1024k,现在的程序占用内存都比较凶猛,以前写C程序需要计算内存的时代已经过去了。如果不加限制,可能一个core文件,几个G就出去了~,当然没有限制的方式还是有的【ulimit -c unlimited】 方法二:配置profile文件,打开/etc/profile文件,在里面可以找到【ulimit -S -c 0 > /dev/null 2>&1】,将它改成【ulimit -S -c unlimited > /dev/null 2>&1】 方法三:修改/etc/security/limits.conf文件,添加【* soft core 0】,这个方法可以针对指定用户或用户组打开core dump【user soft core 0或 @group soft core 0】

ubuntu 双线双网卡双IP实现方式

老子叫甜甜 提交于 2019-12-20 23:54:10
昨天金桥机房上架了一台多玩的测试机,系统是ubuntu9.04 X64的系统,母机IBM X336机器。用户需求是双线,故采用一个网卡配置电信地址,另一个网卡配置联通地址,安装好系统后配置好IP发现联通地址和电信地址只能有一个可以ping通,若电信地址配置网关,联通地址不配网关,则只能ping通电信地址,反之只能ping通联通地址,若同时配置联通和电信地址则两个都不通。 因为不是咱们公司的网络,对于上层实现方式也不清楚,只知道联通和电信引至不同的VLAN,而且电信联通不不能透传,但他们有其他机器有同样的介入方式的机器却可以正常出外网,这样就排除网络的问题了,而且此台机器原来是2003系统的时候也可以正常访问网络,也排除了机器网卡的问题了。那么就只有是这个操作系统有问题了。经过求助google等大师,终于搞定。下面是具体操作流程: ubuntu双网卡双IP.不同网关.不同子网.如何同时ping通两块网卡的解决方法, 服务器环境如下:、 系统:ubuntu9.04 X64 server 电信IP(TEL):114.80.227.34 netmask 255.255.255.128 gateway 114.80.227.33 联通IP(CNC):112.65.227.2 netmask 255.255.255.0 gateway 112.65.227.1 1.配置网卡信息 # vi

Ubuntu系统的IP配置

孤人 提交于 2019-12-18 23:33:59
用过ubuntu的人都知道,刚安装好系统root用户是没有密码的,没有密码我们就没法用root用户登录,给root用户设置密码输入命令 sudo passwd,然后系统会让你输入密码,这时输入的密码就是root用户的密码了,设置完成之后就可以切换root用户登录了,如图: 1、给root设置密码,输入下列命令: sudo passwd root@ubuntu:~# vi /etc/network/interfaces #This file describes the network interfaces available on your system #and how to activate them. For more information, see interfaces(5). source /etc/network/interfaces.d/ #The loopback network interface auto lo iface lo inet loopback auto ens160 iface ens160 inet static address 192.168.130.237 netmask 255.255.255.0 gateway 192.168.130.1 2、开启ssh root@ubuntu:~# vi /etc/ssh/sshdconfig

路由器开发

最后都变了- 提交于 2019-12-18 01:28:01
宽 带上网已经不是什么新鲜事情,人们对相关的网络器件已经不再陌生,比如说常见的路由器。对于一般的网络用户,他们能知道怎样使用路由器来上网、玩游戏等就 已经感到很满足了,通常情况下对路由器的深层技术很少去过问研究,但做为兴趣广泛的技术爱好者,对这方面的知识是非常感兴趣的。但限于各种条件的制约,这 些爱好者都非开发者,很大程度上无法深入了解真正的技术实现过程以及相关的核心内幕。正是基于此点,笔者凭借自身的知识沉淀,尽最大努力为爱好技术的读者 架设一坐能通向深层核心的桥梁,为大家揭开路由器的神秘面纱,剖开其核心内脏。为使读者能清晰明白的理解掌握,笔者尽量将专业的技术内容转化为容易接受的 知识讲解,其中可能有不足偏颇之处,还请大家多见谅。 概述 什么是路由器? 互联网是依靠路由器连接起来的,路由器是互联网或者说IP网络的核心设备。宽带接入的不断增长,带动了路由器的需求不断增加。 路由器究竟是什么样的技术产物? 谈到路由器的开发,我们就不免要谈到“嵌入式”设备的开发,没错,通俗的说,路由器就是一种嵌入式产品。那么究竟什么是嵌入式设备呢?    其实就目前而言,嵌入式设备已经不断深入我们的日常生活方方面面。通俗的讲,嵌入式设备是指具有计算机功能,但又不称为计算机的设备或器材,它几乎包括 了我们周围的所有电器设备 PDA、手机、机顶盒、汽车、微波炉、电梯、安全系统、自动售货机、医疗仪器、立体音响

ESP32 官方文档(二)构建系统

依然范特西╮ 提交于 2019-12-16 14:28:53
转载: ESP32 官方文档(二)构建系统 构建系统 构建系统 使用构建系统 概要 概念 示例项目 项目 Makefile 最小示例 Makefile 强制项目变量 可选项目变量 组件 Makefile 搜索组件 具有相同名称的多个组件 最小组件 Makefile 预设组件变量 可选项目范围的组件变量 可选特定的组件变量 组件配置 示例:添加二进制库、组件配置文件 Kconfig 预处理器定义 构建过程内部 顶级:Project Makefile 第二级:组件Makefile 以非交互方式运行 高级 Make 用法 调试 Make Process 警告未定义的变量 覆盖项目的部分内容 Makefile.projbuild KConfig.projbuild Makefile.componentbuild 仅配置组件 示例组件 Makefile 添加源文件目录 指定源文件 添加条件配置 源代码生成 Cosmetic Improvements 嵌入二进制数据 完全覆盖组件 Makefile 自定义 sdkconfig 默认值 保存 flash 参数 构建 Bootloader 构建系统 本文档解释了 Espressif 物联网开发框架构建系统和“组件”的概念. 如果您想知道如何组织新的 ESP-IDF 项目,请阅读本文档. 我们建议使用 esp-idf-template

第二周总结

∥☆過路亽.° 提交于 2019-12-15 21:27:02
01.操作系统挂载概念 服务器磁盘如何使用 1) 进行磁盘阵列配置 2) 进行系统分区操作 3) 进行磁盘格式化操作 4) 进入磁盘创建文件系统??? 5) 进行挂载操作使用 ??? 给一个存储设备开个门 如何进行挂载操作: 第一个历程: 挂载环境准备 PS: linux系统中一切皆文件 准备光驱(分区): /dev/cdrom /dev/ 存储设备文件目录 /dev/sda /dev/sda1 /dev/sda2 /dev/sdb /dev/sdc 准备挂载门 : 任意空目录 /mnt 临时挂载点目录 第二个历程: 光驱设备中需要放入光盘 第三个历程: 进行挂载操作 mount 设备文件信息 挂载点目录 mount /dev/cdrom /mnt umount /mnt 第四个历程: 检查确认是否挂载 df --- 检查磁盘信息 02. 系统重要文件数据 /etc目录 1) 网卡配置文件 文件路径信息: /etc/sysconfig/network-scripts/ifcfg-eth0 文件作用说明: 配置网卡地址信息 (IP地址 掩码地址 网关地址 DNS地址信息) 文件详细信息: TYPE=Ethernet --- 指定网络类型 以太网类型 BOOTPROTO=none --- 获取IP地址方式 none static(手动配置地址) dhcp(自动获取地址)