qat

传统以太网的传输机制类似于公路运输，从一个地方去到另一地方所需的时间取决于沿途公路的拥堵情况，时延往往波动较大并具有不确定性。随着以太网应用的推广，音视频应用首先对以太网传输提出了确定性时效的需求。想象在一个广阔的球场上东西两侧各有一个以太网连接的扬声器，扬声器中间可能经过多个交换机设备，当主持人讲话时，我们希望两个扬声器能够同时发声，而不会出现一前一后叠音的情况；进一步的，即使同个网络拓扑中还有其他应用在使用流量，我们也希望两个扬声器的效果是稳定的。 为了解决以太网中音视频同步稳定传输的问题，IEEE AVB (Audio Video Bridging) 工作组制定了一组802.1的以太网标准，包含802.1AS, 802.1Qat, 802.1Qav等协议。随着工业自动化和汽车市场对以太网实时通信需求的迅速增长，2012年AVB工作组更名为TSN (Time-Sensitive Networking) 工作组，扩展AVB技术的适用范围以统一解决网络传输中的时效性问题。相对于传统以太网， AVB 主要提供了以下三个能力： 预留带宽 (Bandwidth-reservation) 流量优先级 (Traffic-priorititzation) 时间同步 (Time-synchronization) TSN 扩展了AVB的能力，增加了两个新的能力： 时间调度流量 (Time

花了几天看了三篇EMNLP 2020中关于Transformer模型量化的相关论文，快速记一下要点。 Fully Quantized Transformer for Machine Translation 这篇是华为诺亚方舟实验室和蒙特利尔大学合作的，发表在findings上面。 「论文地址：」 https://www. aclweb.org/anthology/20 20.findings-emnlp.1.pdf 方法 针对Transformer结构的计算密集型算子进行了activation量化，除了bias以外的所有weight进行了量化，这一点其实我们组也都做过了。 采用的是量化感知训练（QAT），反向传播采用的是straight-through estimator。 考虑到每个channel的分布有差异，因此针对每个channel单独学习量化的scale参数。 零值的处理：padding无需考虑，反正会被mask掉。ReLU和attention softmax之后的量化强制定义量化下界为0。量化全部加在dropout之前。 剪枝采用结构化剪枝，因为稀疏性剪枝需要硬件或库支持，比较麻烦。这里只对FFN参数进行剪枝，而且不是采用传统的百分比阈值，而是根据ReLU之后值计算出第一层FFN输出的每一列的max值，根据max值是否超过一定阈值来剪枝

问：近些年，随着智能驾驶技术的发展和车内影音娱乐系统的丰富，越来越多的音视频数据需要在车内网络进行传输。现在车载以太网日渐成熟，那么，我们可以使用车载以太网在车内网络传输音视频数据吗？ 答：答案是肯定的。而且由于成本、传输带宽等方面的因素，在有些场景下，也许只有车载以太网才能满足我们的传输需求。 问：既能传输普通数据又能传输音视频数据，感觉很方便啊。那么，传输音视频数据和其他普通数据采用的传输协议相同吗？ 答：是不同的，网络上有专门适用音视频传输的协议。目前，在车载以太网中常用的方案有两个，分别是RTP和AVB。 • RTP（Real-time Transport Protocol），实时传输协议，采用RTP和RTCP（Real-time Transport Control Protocol，实时传输控制协议）两个子协议实现音视频数据的传输，遵循的标准为RFC 3550。 • AVB（Audio Video Bridging），音视频桥接技术，采用 IEEE 1722，IEEE 802.1AS，IEEE 802.1Qav, IEEE 802.1Qat等一系列 IEEE 标准，通过保证带宽、控制传输延时、精准时钟同步等功能和机制实现音视频数据在网络上的实时传输。 这里要注意的是，不管采用哪种技术，这里所传输的有效载荷数据（payload）是一样的，都是音视频媒体数据（e.g. H