阿里云oss

通过http服务(Netty)访问阿里云对象存储(OSS)上的文件

本小妞迷上赌 提交于 2019-12-02 10:45:55
项目地址我上传到GitHub上了: https://github.com/bigBigRiver/oss.git 实现的功能是:把linux服务器上指定的目录下的文件都上传到OSS上,并提供了访问上传的文件的服务。访问的方式是先把OSS上的文件下载到linux上,然后再返回给请求端。(目的:扩大存储能力和节约储存成本) OSS官方文档: https://help.aliyun.com/product/31815.html?spm=a2c4g.750001.list.19.467b7b13wNNubn 看下配置文件就知道大概功能了! #用户的存储空间所在数据中心的访问域名,linux也是阿里云的就可以使用internal,内网域名 endpoint=oss-cn-shenzhen-internal.aliyuncs.com #用户标识 accessKeyId=yourAccessKeyId #标识密码 accessKeySecret=yourAccessKeySecret #是否上传 isUpload=false #上传之后是否删除 deleteAfterUpload=false #存储空间名称 bucketName=bucketName #需要上传文件的目录 path=/mnt/xxx/xx/x #http服务端口号 port=8081 #linux临时文件夹目录 tempPath

使用velero进行kubernetes灾备

这一生的挚爱 提交于 2019-12-02 08:53:05
使用 velero 可以对集群进行备份和恢复,降低集群DR造成的影响。velero的基本原理就是将集群的数据备份到对象存储中,在恢复的时候将数据从对象存储中拉取下来。可以从 官方文档 查看可接收的对象存储,本地存储可以使用Minio。下面演示使用velero将openstack上的openshift集群备份恢复到阿里云的openshift上。 环境要求:kubernetes >1.7;openshift >3.7 注意:本次使用的velero镜像来自官方 dockerhub ,版本为v1.2.0-beta.1,而非来自配置文件中的 registry.cn-hangzhou.aliyuncs.com/acs/velero:latest 。建议采用最新镜像,经验证 v1.1.0 版本的镜像会出现velero无法在1min内同步对象存储的问题(实际同步为1h)。 安装velero 该步骤需要在openstack和阿里云的openshift上执行,一个用于创建backup,一个执行restore。 使用阿里云oss需要特定的插件支持,velero的安装可以参见阿里云 官方文档 。 首先需要创建bucket,创建RAM用户并授权该用户,用户所需要的权限如下,以 ecs 开头的用于操作云盘快照,以 oss 开头的用于操作oss bucket。 { "Version": "1",

容器开启数据服务之旅系列(二):Kubernetes如何助力Spark大数据分析

我与影子孤独终老i 提交于 2019-12-01 02:53:50
摘要: 容器开启数据服务之旅系列(二):Kubernetes如何助力Spark大数据分析 (二):Kubernetes如何助力Spark大数据分析 概述 本文为大家介绍一种容器化的数据服务Spark + OSS on ACK,允许Spark分布式计算节点对阿里云OSS对象存储的直接访问。 容器开启数据服务之旅系列(二):Kubernetes如何助力Spark大数据分析 (二):Kubernetes如何助力Spark大数据分析 概述 本文为大家介绍一种容器化的数据服务Spark + OSS on ACK,允许Spark分布式计算节点对阿里云OSS对象存储的直接访问。借助阿里云Kubernetes容器服务与阿里云OSS存储资源的深度整合,允许Spark分布式内存计算,机器学习集群对云上的大数据直接进行分析和保存结果。 先决条件 你已经通过阿里云容器服务创建了一个Kubernetes集群,详细步骤参见 创建Kubernetes集群 从容器服务控制台创建一个Spark OSS实例 使用三次点击来创建一个1 master + 3 worker 的Spark OSS的实例 1 登录 https://cs.console.aliyun.com/ 2 点击 “应用目录” 3 选择 "spark-oss", 点击 “参数”  给你的应用一个名字, e.g. spark-oss-online2

阿里云OSS管理文件元信息

不问归期 提交于 2019-11-30 18:08:10
管理文件元信息 文件元信息(Object Meta)包括HTTP header和自定义元信息,详情请参见开发指南中的 文件元信息 。 设置文件元信息 设置HTTP header 以下代码用于设置HTTP header: // Endpoint以杭州为例,其它Region请按实际情况填写。 String endpoint = "http://oss-cn-hangzhou.aliyuncs.com"; // 阿里云主账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维,请登录 https://ram.console.aliyun.com 创建RAM账号。 String accessKeyId = "<yourAccessKeyId>"; String accessKeySecret = "<yourAccessKeySecret>"; String content = "Hello OSS"; // 创建上传文件的元信息,可以通过文件元信息设置HTTP header。 ObjectMetadata meta = new ObjectMetadata(); String md5 = BinaryUtil.toBase64String(BinaryUtil.calculateMd5(content.getBytes())); /

阿里云OSS图片上传

随声附和 提交于 2019-11-27 13:47:54
Maven <!-- 阿里云OSS对象储存 --> < dependency > < groupId > com.aliyun.oss </ groupId > < artifactId > aliyun-sdk-oss </ artifactId > < version > 2.8.3 </ version > </ dependency > 代码 package cn . tmsc . commons . upload ; import com . aliyun . oss . OSSClient ; import com . aliyun . oss . model . PutObjectRequest ; import org . apache . commons . io . FilenameUtils ; import org . springframework . web . multipart . MultipartFile ; import java . io . ByteArrayInputStream ; import java . io . IOException ; import java . net . URL ; import java . util . Date ; import java . util . UUID ; /** * @author

使用阿里云oss

隐身守侯 提交于 2019-11-26 13:53:32
写这篇博文的原因是公司有个项目需要用到阿里云来存放用户头像文件、后期软件安装版本也可能需要存进去,然后折腾了两天终于摸熟了一点皮毛,在这里给大家简单介绍下。 一、初识对象存储oss 1、进入阿里云控制台后,搜oss,选择“对象存储oss”,如图 首次使用,应该是要确定授权开启对象存储oos的,确定之后,会生产accesskeyid和accesssecret,记得保存下来,后面使用都需要这两个值 开启后如图 接下来,点击“安全令牌”获得roleArn, 输入手机验证码后获得如图,这个roleArn后面STS服务程序上面要用到 下一步,创建自己的bucket,阿里云的bucket就是一个空间的总称,可以理解成一个磁盘,如图 填好这两项后,记住它,后面也会用到 如图,我创建了一个luoyang-test的bucket 下一步,我的.net程序怎么上传、下载文件到这里呢,接着往下看 二、编写.net程序接入阿里云sdk 创建控制台程序,然后添加nuget包如图,下面直接看代码 这是简单的上传文件操作,还有列举文件、下载文件等操作,具体查看阿里云sdk即可,很简单,注意阿里云的<objectName>就是你本地文件路径, <uploadfileName>是你上传后的路径,比如上传后你想存到某个文件夹里面,就填“xxx/test.txt”. 三、安卓使用阿里云oss方法 由于项目前端是安卓