当SRS遇到K8s：如何构建海量推流源站？

Photo by Oscar Ivan Esquivel Arteaga on Unsplash

本文来自流媒体直播集群SRS的官方wiki（https://github.com/ossrs/srs/wiki/v4_CN_K8s），由SRS的创始作者杨成立授权发布。

文 / 杨成立

当SRS遇到K8s：快速构建高并发直播集群

本章描述了基于K8s，如何构建Origin Cluster支持超多推流场景。

Origin Cluster通过配置其他源站的信息，在本源站没有流时查询到流的位置，通过RTMP302定向到指定源站，具体原理可以参考#464。主要应用场景如下：

源站灾备：即使流比较少，也可以用两个源站，这样可以将流分散到不同的源站，避免源站出现问题时影响所有的流。
海量推流：单源站可以支持1000到3000路流，高码率的流支持的路数更少，有DVR和HLS时支持的路更少，源站集群有多个源站同时接收推流，可以支持10k~100k推流，参考规格。
复杂源站业务：源站除了支持推流和拉流，还有重要的功能是DVR、转码、转HLS，DVR和HLS涉及磁盘，转码涉及CPU，都是容易发生瓶颈的资源依赖，源站集群扩展能力更强。

在这个场景下，对比K8s和传统使用方式的差异：

Step 1: 由于SRS和Nginx不在一个Pod可能也不在一个Node，需要创建依赖的PV(Persistent Volume)持久化卷，可购买NAS例如：

驱动类型(PV driver)：alicloud/nas
挂载点(PV server)，可在控制台创建、查看和复制：1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com
NFS版本(PV vers)：3

在NAS基础上可以创建PV，以及PVC：

pv-nas，从NAS存储创建的PV，支持多写和多读，Pod不使用存储后会回收，也就是删除这些数据。
pvc-nas，SRS和Nginx源站使用的PVC，具有读写权限。读取SRS的静态文件和HLS并分发。

cat <<EOF | kubectl apply -f -apiVersion: v1kind: PersistentVolumemetadata: name: pv-nas labels:   pv: nfs-pvspec: capacity:   storage: 100Gi storageClassName: nas accessModes:    -ReadWriteMany    -ReadOnlyMany persistentVolumeReclaimPolicy: Retain flexVolume:   driver: "alicloud/nas"   options:     server: "1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com"      path: "/k8s"     vers: "3"     options: "nolock,tcp,noresvport" --- apiVersion: v1kind: PersistentVolumeClaimmetadata: name: pvc-nasspec: accessModes:    -ReadWriteMany storageClassName: nas resources:   requests:     storage: 100Gi selector:   matchLabels:     pv: nfs-pvEOF

Note:请将上面的挂载点(PV server)替换成你的。

Step 2: 创建SRS源站集群和Nginx源站应用和服务。

srs-origin-config: 创建一个配置k8s ConfigMap，存储了SRS Origin Server使用的配置文件。
socs: 创建一个Headless服务k8s service，基于Headless Service提供Origin服务，每个Origin都有自己的服务地址，例如srs-origin-0.socs，供内部Edge Server调用。
srs-origin: 创建一个有状态应用k8s StatefulSet，运行SRS Origin Cluster，HLS写入共享存储PV。
nginx-origin-deploy: 创建一个无状态应用k8s deployment，运行Nginx，将SRS静态文件写入PV，从共享存储PV读取HLS和静态文件。
srs-http-service: 创建一个服务k8s service，基于SLB提供HTTP服务，Nginx对外提供HLS服务。
srs-api-service: 创建一个服务k8s service，基于SLB提供HTTP服务，SRS第一个源站提供API服务，标签为statefulset.kubernetes.io/pod-name: srs-origin-0。

cat <<EOF | kubectl apply -f -apiVersion: v1kind: ConfigMapmetadata: name: srs-origin-configdata: srs.conf: |-   listen              1935;    max_connections     1000;   daemon              off;   http_api {       enabled         on;       listen          1985;    }   http_server {       enabled         on;       listen          8080;    }   vhost __defaultVhost__ {       cluster {           origin_cluster  on;           coworkers       srs-origin-0.socssrs-origin-1.socs srs-origin-2.socs;       }       http_remux {           enabled     on;       }       hls {           enabled         on;       }    } --- apiVersion: v1kind: Servicemetadata: name: socsspec: clusterIP: None selector:   app: srs-origin ports:  -name: socs-1935-1935   port: 1935   protocol: TCP   targetPort: 1935 --- apiVersion: apps/v1kind: StatefulSetmetadata: name: srs-origin labels:   app: srs-originspec: serviceName: "socs" replicas: 3 selector:   matchLabels:     app: srs-origin template:   metadata:     labels:       app: srs-origin   spec:     volumes:     - name: cache-volume       persistentVolumeClaim:         claimName: pvc-nas     - name: config-volume       configMap:         name: srs-origin-config     containers:     - name: srs       image: ossrs/srs:3       imagePullPolicy: IfNotPresent       ports:       - containerPort: 1935       - containerPort: 1985       - containerPort: 8080       volumeMounts:       - name: cache-volume         mountPath: /usr/local/srs/objs/nginx/html         readOnly: false       - name: config-volume         mountPath: /usr/local/srs/conf --- apiVersion: apps/v1kind: Deploymentmetadata: name: nginx-origin-deploy labels:   app: nginx-originspec: replicas: 1 selector:   matchLabels:     app: nginx-origin template:   metadata:     labels:       app: nginx-origin   spec:     volumes:     - name: cache-volume       persistentVolumeClaim:         claimName: pvc-nas     containers:     - name: nginx       image: nginx       imagePullPolicy: IfNotPresent       ports:       - containerPort: 80       volumeMounts:       - name: cache-volume         mountPath: /usr/share/nginx/html         readOnly: true     - name: srs-cp-files       image: ossrs/srs:3       imagePullPolicy: IfNotPresent       volumeMounts:       - name: cache-volume         mountPath: /tmp/html         readOnly: false       command: ["/bin/sh"]       args: ["-c", "cp -R ./objs/nginx/html/* /tmp/html/; sleepinfinity"] --- apiVersion: v1kind: Servicemetadata: name: srs-http-servicespec: type: LoadBalancer selector:   app: nginx-origin ports:  -name: nginx-origin-service-80-80   port: 80   protocol: TCP   targetPort: 80 --- apiVersion: v1kind: Servicemetadata: name: srs-api-servicespec: type: LoadBalancer selector:   statefulset.kubernetes.io/pod-name: srs-origin-0 ports:  -name: srs-api-service-1985-1985   port: 1985   protocol: TCP    targetPort:1985EOF

Remark:假设SRS源站有状态服务srs-origin配置的Replicas为2，则会生成两个源站srs-origin-0.socs和srs-origin-1.socs，若新增了源站比如Replicas为3，则需要在配置中加上srs-origin-2.socs。

Remark:我们启动了一个srs-cp-files的container，拷贝SRS默认的文件，参考#1603.

Note:Origin Server在集群内部提供流媒体源站服务，内部域名为srs-origin-0.socs和srs-origin-1.socs，EdgeServer会通过该域名连接到OriginServer。

Note:Nginx通过SharedVolume(PV)读取SRSOrigin生成的切片，对外提供HLS服务。

Note:这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step 3: 创建SRS边缘配置、应用和服务。

srs-edge-config: 创建一个配置k8s ConfigMap，存储了SRS Edge Server使用的配置文件。
srs-edge-deploy: 创建一个无状态应用k8s deployment，运行多个SRS Edge Server。
srs-edge-service: 创建一个服务k8s service基于SLB对外提供流媒体服务。

cat <<EOF | kubectl apply -f -apiVersion: v1kind: ConfigMapmetadata: name: srs-edge-configdata: srs.conf: |-   listen              1935;   max_connections     1000;   daemon              off;   http_api {       enabled         on;       listen          1985;    }   http_server {       enabled         on;       listen          8080;    }   vhost __defaultVhost__ {       cluster {           mode            remote;           origin          srs-origin-0.socssrs-origin-1.socs srs-origin2.socs;       }       http_remux {           enabled     on;       }    } --- apiVersion: apps/v1kind: Deploymentmetadata: name: srs-edge-deploy labels:   app: srs-edgespec: replicas: 4 selector:   matchLabels:     app: srs-edge template:   metadata:     labels:       app: srs-edge   spec:     volumes:     - name: config-volume       configMap:         name: srs-edge-config     containers:     - name: srs       image: ossrs/srs:3       imagePullPolicy: IfNotPresent       ports:       - containerPort: 1935       - containerPort: 1985       - containerPort: 8080       volumeMounts:       - name: config-volume         mountPath: /usr/local/srs/conf --- apiVersion: v1kind: Servicemetadata: name: srs-edge-servicespec: type: LoadBalancer selector:   app: srs-edge ports:  -name: srs-edge-service-1935-1935   port: 1935   protocol: TCP   targetPort: 1935  -name: srs-edge-service-8080-8080   port: 8080   protocol: TCP   targetPort: 8080EOF

Note:Edge Server的配置中，通过源站在HeadlessService注册的内部域名srs-origin-0.socs等等，连接到OriginServer。

Note:这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step 4: 大功告成。你可以推拉流了，其中HLS流可以从Nginx(80)播放，RTMP和HTTP-FLV从SRS播放：

Publish RTMP to rtmp://28.170.32.118/live/livestream or to origin or to edge.
Play RTMP from rtmp://28.170.32.118/live/livestream
Play HTTP-FLV from http://28.170.32.118:8080/live/livestream.flv
Play HLS from http://28.170.32.118/live/livestream.m3u8

Note:请将上面的EIP换成你自己的，可用命令kubectlget svc/srs-http-service或kubectl get svc/srs-edge-service查看你的EIP。

Note:如果是自动创建SLB和EIP，那么HLS和RTMP/HTTP-FLV的IP是不一样的，你可以选择手动指定SLB，这两个服务可以用同一个SLB，参考指定购买的SLB和EIP。

这里我们选择的是有状态集群方式，也可以选择以无状态应用(Deployment)方式部署源站，区别在于每个源站都需要创建一个Deployment和Service，参考源站集群部署方式，例如：

第0个源站，Deployment命名为srs-origin-0-deploy，ClusterIP服务命名为srs-origin-0。
第1个源站，Deployment命名为srs-origin-1-deploy，ClusterIP服务命名为srs-origin-1。
第2个源站，Deployment命名为srs-origin-2-deploy，ClusterIP服务命名为srs-origin-2。
源站配置改成coworkers srs-origin-0 srs-origin-1 srs-origin-2;。
边缘配置改成origin srs-origin-0 srs-origin-1 srs-origin-2;。

来源：oschina

链接：https://my.oschina.net/u/3521704/blog/3167278

标签

nginx

headless

Kubernetes

Oscar

Deploy