s3

cronicle minio s3 存储配置集成

ぃ、小莉子 提交于 2020-02-23 08:55:21
cronicle 后端存储是可配置的 ,通过使用不同的存储配置,我们可以解决多实例部署以及数据共享的问题 cronicle 的后端存储模型,设计的特别方便,包含了基于文件的,基于s3 的,同时我们也可以开发自己的 存储引擎 以下是一个集成minio s3 部署单master,多slave 实际上我们可以扩展为多master 环境准备 docker-compose 文件 version: "3" services: s3: image: minio/minio command: server /data ports: - "9000:9000" environment: - "MINIO_ACCESS_KEY=dalongapp" - "MINIO_SECRET_KEY=dalongapp" volumes: - "./data:/data" cronicle: build: ./ hostname: master image: dalongrong/cronicle volumes: - "./config.json:/opt/cronicle/conf/config.json" ports: - "3012:3012" cronicle2: build: ./ hostname: cronicle2 image: dalongrong/cronicle volumes: - ".

Python攻关之深浅拷贝

孤者浪人 提交于 2020-02-18 20:32:10
浅拷贝 = 只拷贝第一层 深拷贝 = 克隆一份 s = [ 1 , 'zhang' , 'age' ] s2 = s . copy ( ) print ( s2 ) s2 [ 0 ] = 2 print ( s2 ) print ( s ) s = [ [ 1 , 2 ] , 'zhang' , 'age' ] s3 = s . copy ( ) print ( s3 ) s3 [ 1 ] = 'liu' print ( s3 ) print ( s ) s3 [ 0 ] [ 1 ] = 3 print ( s3 ) print ( s ) import copy husband = [ 'zhang' , 123 , [ 15000 , 9000 ] ] wife = husband . copy ( ) wife [ 0 ] = 'liu' wife [ 1 ] = 345 qu = copy . copy ( ) #浅拷贝 qu = copy . deepcopy ( husband ) #深拷贝 qu [ 0 ] = 'qu' qu [ 1 ] = 666 qu [ 2 ] [ 1 ] -= 1999 husband [ 2 ] [ 1 ] -= 3000 print ( wife ) print ( qu ) 来源: CSDN 作者: 去西天 链接: https:/

Codeforces Round #619 (Div. 2)

守給你的承諾、 提交于 2020-02-17 18:57:50
A. Three Strings 思维题 题目大意 :给你三个长度相等的字符串s1,s2,s3,现在要求你的每一位进行如下操作: i - s1用 i - s3 替换 或 i - s2 用 i - s3 替换。问进行完操作后能否使s1=s2; 解题思想: 如果能进行操作的话,每一位必有 i - s1 = i - s3 或 i - s2 = i - s3;因为,存在i - s1 = i - s3 或 i - s2 = i - s3的话,可以将对方串与s3进行替换,这样就使得s1=s2。 AC代码: # include <bits/stdc++.h> using namespace std ; typedef long long ll ; const double PI = acos ( - 1.0 ) ; int main ( ) { ios :: sync_with_stdio ( false ) ; int t ; cin >> t ; while ( t -- ) { bool flag = 0 ; string s1 , s2 , s3 ; cin >> s1 >> s2 >> s3 ; for ( int i = 0 ; i < s1 . size ( ) ; ++ i ) { if ( s1 [ i ] == s3 [ i ] || s2 [ i ] == s3 [ i ]

算法训练 4-3水仙花数

家住魔仙堡 提交于 2020-02-13 00:12:34
def shui ( s ) : s1 = s // 100 s2 = ( s // 10 ) % 10 s3 = s % 10 if s1 ** 3 + s2 ** 3 + s3 ** 3 == s : return 1 else : return 0 for i in range ( 100 , 1000 ) : i = int ( i ) if shui ( i ) : print ( i ) 来源: CSDN 作者: 宇未空 链接: https://blog.csdn.net/weixin_43662112/article/details/104284314

AWS获取S3中所有相关文件路径

你说的曾经没有我的故事 提交于 2020-02-12 21:10:35
在做数据预处理的时候, 先是在local实现, 使用了os去获取单个文件夹下所有文件的路径然后去处理. def get_file_list ( mainfile ) : path_list = [ ] for doc in os . listdir ( mainfile ) : newpath = os . path . join ( mainfile , doc ) if os . path . isfile ( newpath ) : path_list . append ( newpath ) return path_list 然而在将代码转移到AWS Sagemaker时当然就不能使用os去获取路径了. 要理解的是S3是没有folder的概念的, 虽然我们在S3的console里面可以看到类似folder的结构, 但实际上我们只是在不同object的名称中加了prefix而已. (其实我觉得是一个东西…但亚麻强调没有…那就没有吧)下面是获取一个buket中相关key的所有文件路径的方法 import boto3 def get_file_list ( bucket_name , prefix ) : s3 = boto3 . resource ( 's3' ) bucket = bucket_name my_bucket = s3 . Bucket ( bucket )

Tensorflow file_io的用法

冷暖自知 提交于 2020-02-11 17:13:26
S3 对象存储的使用越来越广泛,其中的好处就不多说了,这里用 Tensorflow 举个例子。 https://github.com/tensorflow/examples/blob/master/community/en/docs/deploy/s3.md Tensorflow 本身就支持从 S3 中读写数据的。在 TenC 弹性计算平台上,用户可以通过指定 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 两个环境变量来校验(有些场景下,已经由平台自动绑定了环境变量)。 # Credentials only needed if connecting to a private endpoint AWS_ACCESS_KEY_ID=XXXXX AWS_SECRET_ACCESS_KEY=XXXXX # Region for the S3 bucket, this is not always needed. Default is us-east-1. AWS_REGION=us-east-1 # The S3 API Endpoint to connect to. This is specified in a HOST:PORT format. S3_ENDPOINT=s3.us-east-1.amazonaws.com # Whether or

python集合的定义

雨燕双飞 提交于 2020-02-01 04:10:15
1. 集合的定义 集合里面的元素是不可重复的 s = { 1 , 2 , 3 , 1 , 2 , 3 , 4 , 5 } print ( s ) print ( type ( s ) ) 1 2 3 如何定义一个空集合 # s2 = { } # print ( type ( s2 ) ) s3 = set ( [ ] ) print ( s3 ) print ( type ( s3 ) ) 1 2 3 4 5 6 可以看到,集合有去重的作用 集合应用 li = [ 1 , 2 , 3 , 1 , 2 , 3 ] print ( list ( set ( li ) ) ) 1 2 3 2. 集合的特性 集合只支持成员操作符号和for循环 s = { 1 , 2 , 3 } # print ( s [ 0 ] ) # print ( s * 3 ) # print ( s + { 4 , 5 , 6 } ) 1 2 3 4 可以看到,集合不支持索引 可以看到,集合不支持重复 可以看到,集合不支持连接 2.1 成员操作符 print ( 1 in s ) 1 2.2 for循环 for i in s : print ( i ) 1 2 3. 集合的常用方法 s = { 6 , 7 , 8 , 9 } #定义一个集合 1 3.1 增加一个元素 集合是一个无序的数据类型

C++ 字符串

∥☆過路亽.° 提交于 2020-02-01 02:57:44
C风格字符串   c风格的字符串: 存放在字符数组中,以'\0'结束 ;而c++主要以string类代替!对大多数应用来说,使用标准库string要比使用c风格字符串更安全,更高效。 举例: string str = "123";//C++风格 char str[4]="123";//C风格 c风格字符串的函数: char p[20],p1[20],p2[20]; strlen(p);//返回p的长度,空字符不计算在内! strcmp(p1,p2);//比较p1和p2的相等性,如果p1==p2,返回0;如果p1<p2,返回一个负值,如果p1>p2,返回一个正值; strcat(p1,p2);//将p2附加到p1之后,返回p1; strcpy(p1,p2);//将p2拷贝给p1,返回p1;   对于函数strlen(p),计算字符串的长度,其中p是指针。strlen()要计算字符串长度,必须知道哪里是结尾,因此使用'\0'表示结尾。传入此类函数的指针必须指向以空字符作为结束的数组: char ca[]={'C','+','+'};//不以空字符结束! cout<<strlen(ca)<<endl;//严重错误:ca没有以空字符结束,strlen函数可能沿着ca在内存中的位置不断向前寻找,直到遇到空字符才停下来。   char a1[] = "abc", 等价于char a1[] =

std cpp、std c模块通过函数指针调用qt的功能

本小妞迷上赌 提交于 2020-01-27 02:30:33
需求 win、vs环境下开发cpp程序,多个库,有std cpp、qt、std c… 因为qt的ts、qm、QCoreApplication::translate、lupdate…这一套东西方便了多语言的实现,所以希望在标准c、cpp库中也能用到qt这一套东西,但又不希望在基础库中引入qt库。 实现 在一个std cpp库中定义一个函数指针pFunc, 在qt cpp log库中定义此函数Func,并在初始化时赋值给pFunc。 类似这种需求都可以考虑采用函数指针来实现,相当于汇编级别的跳转指令。 std cpp库中定义一个函数指针pFunc: namespace StdErrorLog { enum EnumLogLevel { kELL_TRACE = 0 , /**< 0,跟踪 */ kELL_DEBUG , /**< 1,调试 */ kELL_INFOR , /**< 2,信息 */ kELL_WARNG , /**< 3,警告 */ kELL_ERROR , /**< 4,错误 */ kELL_FATAL , /**< 5,致命问题 */ kELL_OFF , /**< 6,关闭所有错误输出 */ kELL_ALL = kELL_TRACE , /**< 0,打开所有错误输出 */ } ; } typedef void ( * StdWriteErrorFuncType

算法 中等 | 29. 交叉字符串

血红的双手。 提交于 2020-01-22 19:34:40
算法 中等 | 29. 交叉字符串 题目描述 样例1 样例2 样例3 解题思路 java题解 C++题解 python题解 题目描述 给出三个字符串:s1、s2、s3,判断s3是否由s1和s2交叉构成。 样例1 输入: "aabcc" "dbbca" "aadbbcbcac" 输出: true 样例2 输入: "" "" "1" 输出: false 样例3 输入: "aabcc" "dbbca" "aadbbbaccc" 输出: false 解题思路 动态规划。 dp[i][j]代表由s1的前i个字母和s2的前j个字母是否能构成当前i+j个字母。 然后状态转移即可。(看第i+j+1个是否能被s1的第i+1个构成或被s2的第j+1个构成) java题解 public class Solution { public boolean isInterleave ( String s1 , String s2 , String s3 ) { if ( s1 . length ( ) + s2 . length ( ) != s3 . length ( ) ) { return false ; } boolean [ ] [ ] interleaved = new boolean [ s1 . length ( ) + 1 ] [ s2 . length ( ) + 1 ] ;