jobs

「Jenkins」- 周期性构建/定时执行作业(学习笔记,翻译) @20210118

北城以北 提交于 2021-01-19 00:37:11
问题描述 在 Jenkins 中,我们需要周期性构建,即定时执行作业,比如每隔 15 分钟执行构建。 通过 Build Triggers / Build periodically 实现(针对每个作业的单独设置) 该笔记将记录:Build periodically 的配置方法(实际是对帮助手册的翻译,“帮助手册”是指在 Build periodically 后的“问号按钮”) 学习笔记(文档翻译) 该字段(Build periodically)的语法与 Cron 类似,但是有轻微的不同。明确地说,每行有五个字段,使用 SPACE 或 TAB 分隔: 1)MINUTE,Minutes within the hour (0–59) 2)HOUR,The hour of the day (0–23) 3)DOM,The day of the month (1–31) 4)MONTH,The month (1–12) 5)DOW,The day of the week (0–7) where 0 and 7 are Sunday. 在单个字段上,可以指定多个值(操作符),格式如下(以下按照优先级排序): 1)*,指定多个有效值; 2)M-N,指定某个范围内的值; 3)M-N/X,*/X,在特定范围(M-N)或者全部有效值(*)内,间隔 X 的所有值; 4)A,B,...,Z,罗列出多个值;

干货!21条常用的Linux 命令

淺唱寂寞╮ 提交于 2021-01-17 09:00:22
阅读本文大概需要 7.8 分钟。 来源: http://t.cn/EqTIhES 一、文件和目录 1. cd命令 (它用于切换当前目录,它的参数是要切换到的目录的路径,可以是绝对路径,也可以是相对路径) cd /home 进入 '/ home' 目录 cd .. 返回上一级目录 cd ../.. 返回上两级目录 cd 进入个人的主目录 cd ~user1 进入个人的主目录 cd - 返回上次所在的目录 2. pwd命令 pwd 显示工作路径 3. ls命令 查看文件与目录的命令,list之意) ls 查看目录中的文件 ls -l 显示文件和目录的详细资料 ls -a 列出全部文件,包含隐藏文件 ls -R 连同子目录的内容一起列出(递归列出),等于该目录下的所有文件都会显示出来 ls [0-9] 显示包含数字的文件名和目录名 4. cp命令 (用于复制文件,copy之意,它还可以把多个文件一次性地复制到一个目录下) -a :将文件的特性一起复制 -p :连同文件的属性一起复制,而非使用默认方式,与-a相似,常用于备份 -i :若目标文件已经存在时,在覆盖时会先询问操作的进行 -r :递归持续复制,用于目录的复制行为 -u :目标文件与源文件有差异时才会复制 5. mv命令 (用于移动文件、目录或更名,move之意) -f :force强制的意思,如果目标文件已经存在

工程师闲暇如何接私活?有哪些渠道?

不羁的心 提交于 2021-01-15 03:32:28
/ ******************************* 大家都知道接私活可以接外快,是这样的,但是现实很残酷。我以前做过非常多的私活。现在想来,做私活都是给别人做廉价劳动力。 从发包角度 :他们完全可以找外包公司做项目,但是为什么找个人做呢?无非是为了省钱,而且公司与个人对话优势(强势)比较多。 从接包角度 :如果闲余时间角度可以做一做,我以前一个人租房子的时候空余时间能保证,做做无妨。 *******************************/ 今天和大家分享几个可以接私活的网站(偏软件)。 ▍ 前 言 关于程序员接私活,社会各界说法不一。按照作者的观点来说如果你确实急用钱,价格又合适,那就去做。如果不怎么缺钱,那就接私活之前要好好考虑。私活的钱不好挣是一个方面,更重要的是如果你把做私活的时间花在提升自己上,产生的价值就要大得多。等你提升了自己,提升了固定薪水,远比拿的这点私活的钱划算。千万不要“捡了芝麻丢了西瓜”。 如果你主业上遇到了瓶颈,平时的时间比较充分,想有一些额外的收入,同时为了保持技术的熟练度,这种情况下,是可以考虑接一些私活的。对于那种投入时间巨大,回报很可怜的项目,千万不要接。 下面介绍一些常用的接私活平台。 ▍ 01 程序员客栈 程序员客栈 中国非常领先的自由工作平台,为中高端程序员、产品经理和设计师等等互联网相关人员提供稳定的线上工作机会

拉勾网职位信息爬取

梦想的初衷 提交于 2021-01-13 22:12:42
学习python网络爬虫有一段时间了,正好赶上休假闲来无事,记录一下爬取的过程。 一、开发工具 Pycharm 2017 Python 2.7.10 requests pymongo 二、爬取目标 1、爬取与python相关的职位信息 2、由于拉勾网只展示30页的搜索结果,每页15条职位信息,全部爬下来,最终将获取到450条信息 3、将结果存储在Mongodb中 三、结果展示 四、爬取过程 1、浏览器中打开拉勾网:https://www.lagou.com,搜索python,同时打开开发者工具进行抓包,找到能够返回数据的Request URL,通过一番查找,发现要找的url是https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&isSchoolJob=0,它返回的是json格式的数据: 经过以上分析,可以写一下初始化的代码:设置请求的url和请求头,请求头在抓包时可以获取,通过程序去爬取网络,我们要做的一件重要的事情就是模拟浏览器,否则遇到具有反爬虫措施的网站,很难将数据爬下来。当然了,设置正确的请求头,只是应对反爬虫的一部分措施。 1 def __init__ (self): 2 self.headers = {} 3 self.headers[ ' User-Agent ' ] = '

kubernetes调度之资源配额

六月ゝ 毕业季﹏ 提交于 2021-01-13 11:31:23
系列目录 当多个用户或者开发团队共享一个有固定节点的的kubernetes集群时,一个团队或者一个用户使用的资源超过他应当使用的资源是需要关注的问题,资源配额是管理员用来解决这个问题的一个工具. 资源配额,通过 ResourceQuota 定义,提供了对某一名称空间使用资源的总体约束.它即可以限制这个名称空间下有多少个对象可以被创建,也可以限制对计算机资源使用量的限制(前面说到过,计算机资源包括cpu,内存,磁盘空间等资源) 资源配额通过以下类似方式工作: 不同的团队在不同的名称空间下工作.当前kubernetes并没有强制这样做,完全是自愿的,但是kubernetes团队计划通过acl授权来达到强制这样做. 管理员对每一个名称空间创建一个 ResourceQuota(资源配额) 用户在一个名称空间下创建资源(例如pod,service等),配额系统跟踪资源使用量来保证资源的使用不超过 ResourceQuota 定义的量. 如果对一个资源的创建或者更新违反了资源配额约束,则请求会返回失败,失败的http状态码是 403 FORBIDDEN 并且有一条消息来解释哪个约束被违反. 如果一个名称空间下的计算机资源配额,比如CPU和内存被启用,则用户必须指定相应的资源申请或者限制的值,否则配额系统可能会阻止pod的创建. 资源配额在某一名称空间下创建策略示例: 在一个有32G内存

Oracle——24定时任务

早过忘川 提交于 2021-01-12 01:50:08
我们有时候会这么一个需求:希望数据库能够定时的帮我们做某一件事。比如说我们希望数据库能够定期的把库里面某一张表、或某些表的数据汇总到另外一张汇总表里面。那么这个时候我们就可以通过使用数据库的定期任务来实现这么一个功能。 下面我们来举一个简单的例子,假如我们有如下两张表, t1 和 t2 。 t1 及其对应的 sequence: create table t1(a1 integer primary key, a2 varchar2(20), a3 varchar2(20), a4 date); create sequence seq_t1 start with 1 increment by 1; t2 及其对应的 sequence : create table t2(a1 integer primary key, a2 varchar2(20), a3 date); create sequence seq_t2 start with 1 increment by 1; 我们需要在每天凌晨两点的时候把表 t1 里面的 a2 和 a4 作为表 t2 里面的 a2 和 a3 插到表 t2 。 Oracle 的定期任务只是定时的执行某一个任务,但具体是什么任务还需要我们自己来指定。所以首先我们得来建立自己的任务,任务通常都是一个存储过程。这里我们建立如下存储过程: create or

部署Kettle做ETL开发并使用Crontab制作调度系统

本秂侑毒 提交于 2021-01-09 04:56:53
背景说明: 在数据量较小,且数据源和装载地都是关系型数据库时,使用Kettle做ETL较为简便。 由于调度系统产品因为服务器环境方面的因素,而无法部署,故使用Linux的crontab定时器来制作简易调度系统是一个比较简便的解决方案。 本文旨在记录Kettle的部署及配置文件配置注意事项和如何自制简易调度系统,以便处理类似问题时方案的复用。 一、环境与工具 CentOS 6.7 JDK1.8/JDK1.7 pdi-ce-6.1.0.1-196.zip 二、Linux安装Kettle 2.1 安装JDK并配置环境变量 Kettle的运行需要jdk环境,所以需要先安装jdk。jdk的安装方法此处略去。 2.2 创建kettle用户 # useradd -m kettle 2.3 上传Kettle安装包并解压 创建kettle部署目录 # mkdir /opt/kettle 将安装包pdi-ce-6.1.0.1-196.zip上传至/opt/kettle目录下,并解压: # unzip /opt/kettle/pdi-ce-6.1.0.1-196.zip 2.4 更改属主属组和执行权限 # chown -R kettle:kettle /opt/kettle # chmod 755 /opt/kettle/pdi-ce-6.1.0.1-196/data-integration/*.sh

Hadoop map reduce example stuck on Running job

狂风中的少年 提交于 2021-01-05 12:21:10
问题 I am trying to run a mapreduce example in hadoop. I am using version 2.7.2. I tried running bin/hadoop jar libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+' and the mapreduce stuck at running job and does not advance any further. it shows How to resolve this? 回答1: I got it guys. It as the space problem. My HDD is 500 GB capacity. The used space should not exceed 90%. In my case there was only 30GB left. I cleaned up some spce by deleting Apps

Hadoop map reduce example stuck on Running job

你。 提交于 2021-01-05 12:19:43
问题 I am trying to run a mapreduce example in hadoop. I am using version 2.7.2. I tried running bin/hadoop jar libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+' and the mapreduce stuck at running job and does not advance any further. it shows How to resolve this? 回答1: I got it guys. It as the space problem. My HDD is 500 GB capacity. The used space should not exceed 90%. In my case there was only 30GB left. I cleaned up some spce by deleting Apps

Hadoop map reduce example stuck on Running job

半城伤御伤魂 提交于 2021-01-05 12:19:21
问题 I am trying to run a mapreduce example in hadoop. I am using version 2.7.2. I tried running bin/hadoop jar libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+' and the mapreduce stuck at running job and does not advance any further. it shows How to resolve this? 回答1: I got it guys. It as the space problem. My HDD is 500 GB capacity. The used space should not exceed 90%. In my case there was only 30GB left. I cleaned up some spce by deleting Apps