webrtc

年货节来了，你女朋友下单了吗？ 观看直播已经成为人们日常上网的习惯之一，直播购物作为其中的重要项目，销售额屡创新高。最近，天猫年货节刚刚开幕，淘宝直播中就涌入了不少的用户前来抢购，毕竟足不出户就可以买到全国甚至全球的年货，对热衷买买买的消费者们来说实在太方便了。 那么，直播抢购背后到底蕴藏着哪些技术？平台在开发网络直播系统时为什么如此看重CDN？在高并发直播的当下，CDN的技术人员都需要关注什么？阿里云Edge Plus的第3期云话题，边缘酱将为你讲讲关于直播抢购与CDN的那些事。 你关心的，就是云话题 接下来进入正题 云话题 | 第3期 关于直播抢购与CDN的那些事 特邀专家：卢日 阿里云高级技术专家，GRTN网络总设计和布道师，目前负责阿里云视频直播产品和流媒体实时加速平台研发。 一、互联网直播最关键的技术指标是什么？ 想必大家都知道，“直播”已经是非常普遍的一种娱乐形式了，直播的及时性和互动性成为信息触达、互动沟通的新媒介。随着5G、超高清、VR等技术的发展，主播与观众的互动需要更加实时，“延时”这个指标愈发的重要。 高延时影响了直播互动体验，阻碍了直播在一些场景的落地，特别在电商直播，直播间的评论提问是观众和主播互动的一个重要手段，主播的实时互动反馈对直播间的活跃度和交易达成至关重要。 二、直播中的那几秒延时都分布在哪里？ 我们剖析直播延时的分布

开发者社区技术周刊 又和大家见面了，快来看看这周有哪些值得我们开发者关注的重要新闻吧。 Google研究院推出处理文本图像新框架TReCS OpenAI将k8s扩展至7500个节点以支持机器学习 Apache ECharts 5正式发布 WebRTC成为W3C与IETF正式标准 国内首个自主可控区块链技术体系“长安链”发布 京东开源PyTorch人脸识别工具包FaceX-Zoo AAAI 2021丨Graph Diffusion Network提升交通流量预测精度 AAAI 2021丨利用标签之间的混淆关系，提升文本分类效果 行 业 要 闻 1.Google研究院推出处理文本图像新框架TReCS 为创建一种能够在任何语言之间进行翻译的通用神经机器翻译系统，Google 研究人员研发了一种新框架，即 TReCS（Tag-Retrieve-Compose Synthesize system） 。通过改进图像元素的唤起方式以及迹线如何通知其位置，从而显着增强图像生成过程。该系统接受了超过250亿个示例的培训，具有处理103种语言的潜力。其功能使鼠标轨迹与文本描述对齐，并为提供的短语创建可视标签。该框架利用可控的鼠标轨迹作为细粒度的视觉基础，根据用户的叙述生成高质量图像。标记器被用来预测短语中每个单词的对象标签。 2.OpenAI将k8s扩展至7500个节点以支持机器学习 为了满足GPT

作者：网易云信资深客户端开发工程师 陶金亮 近几年，实时音视频领域越来越热，业界很多音视频引擎都是基于 WebRTC 进行实现的。本文主要介绍 WebRTC 在视频辅流上的需求背景以及相关技术实现。 WebRTC 中的 SDP 支持两种方案： PlanB 方案 和 Unified Plan 方案。早期我们使用多PeerConnection的 Plan B 方案中只支持一条视频流发送，这条视频流，我们称之为”主流”。目前我们使用单 PeerConnection 的 Unified Plan 方案，新增一条视频辅流，何为视频”辅流”？视频辅流是指第二条视频流，一般用于屏幕共享。 需求背景 随着业务的发展，一路视频流满足不了更多实际业务场景的需求，例如在多人视频聊天、网易会议以及其他在线教育场景下，需要同时发送两路视频流：一路是摄像头流，另一路是屏幕共享流。 但是，目前使用 SDK 分享屏幕时，采用的是从摄像头采集通道进行屏幕分享。在该方案下，分享者只有一路上行视频流，该场景中要么上行摄像头画面，要么上行屏幕画面，两者是互斥的。 除非实例一个新的 SDK 专门采集并发送屏幕画面，但实例两个 SDK 的方案在业务层处理起来十分麻烦且会存在许多问题，例如如何处理两个流间的关系等。 在 WebRTC 场景中，还存在一种可以单独为屏幕分享开启一路上行视频流的方案，并称之为“辅流