网络结构

用于分类任务的卷积神经网络输出一般都是一个单一的类标签，但是在很多图像视觉任务中往往要求输出信息包含位置信息，比如给图像的每个像素点赋予类别信息。 这样就需要使用到fully convolutional network 相较于FCN，UNet不只是简单的将卷积网络的结果直接进行转置卷积，而是结合了前面卷积层的中间计算结果，这样既利用了卷积部分的位置信息又利用了最后的分类信息。 UNet网络结构 UNet分为两个阶段：downsample stage 和 upsample stage。 图中的每个蓝色框对应了每层的feature map，上面数字表示当前的通道数。左下角的数字表示feature map的尺寸，这里输入为572x572通道数为1。白色的框表示将对应的卷积层结果进行crop后的结果，白色框与蓝色框进行组合，作为后续网络的输入。 因为在前面卷积的过程中没有添加padding，因此会存在feature map的尺寸变化，所以在上采样过程中，需要对每个阶段的卷积计算结果进行crop操作然后再与转置卷积的结果进行concat（通道维度的相加）。 def concat ( tensor1 , tensor2 ) : # concat 2 tensor by the channel axes tensor1 , tensor2 = ( tensor1 , tensor2 ) if

[论文学习以及翻译]TDN: An Integrated Representation Learning Model of Knowledge Graphs 文章主要内容 摘要 前言 相关工作 基于TDN的表示的框架结构 方法 文本信息的表示 网络结构的embedding方法 模型训练过程 定义 训练 过程 实验 数据集 实验的参数设置 链接预测 实验结果分析 结论 读后感 文章下载链接：https://github.com/ciecus/papers/blob/master/%E7%9F%A5%E8%AF%86%E5%92%8C%E8%AF%AD%E4%B9%89%E7%BB%93%E5%90%882019%E5%B9%B4%E6%96%B0%E6%96%87%E7%AB%A0/TDN-%20An%20Integrated%20Representation%20Learning%20Model%20of%20Knowledge%20Graphs.pdf 文章代码链接：暂无 文章主要内容 摘要 知识图谱在人工智能领域起到了非常重要的作用。知识图谱致力于将实体和关系投影到连续的低维空间中。这种表示学习的方法可以通过预测潜在的三元组（head，relation，tail）用来完善知识图。在现有的方法种，人们主要集中于利用已有的三元组知识，但是忽略了融合文本信息和知识网的拓扑结构

目录 3. Mesh Networking 3.1 Bearers 承载层 3.2 Network Layer 网络层 3.2.3 Address validity 地址有效性 3.2.4 Network PDU 3.2.6 Network layer behavior 3.3 Lower Transport Layer 下传输层 3.4 Upper trnsport layer 上传输层 3.5 Access Layer 访问层 3.6 Mesh Security 3. Mesh Networking 本部分以mesh网络的分层结构的顺序自下而上地介绍mesh网络。mesh网络结构如下所示： 3.1 Bearers 承载层 本规范定义了两种承载层： Advertising bearer GATT bearer 3.1.1 Advertising bearer 使用 advertising bearer 时，mesh数据包可以使用Advertising Data发送，BLE advertising PDU使用 Mesh Message AD Type标识。 Length AD Type Contens 0xXX Mesh Message network PDU 任何使用Mesh Message AD Type的广播消息应该是无需连接（ non-connectable）、无需扫描的（

论文阅读 论文链接： https://arxiv.org/pdf/1903.07293.pdf tensorflow版代码Github链接： https://github.com/Jhy1993/HAN 介绍视频： https://www.bilibili.com/video/av53418944/ 参考博客： https://blog.csdn.net/yyl424525/article/details/103804574 文中提出了一种新的基于注意力机制的异质图神经网络 Heterogeneous Graph Attention Network（HAN），可以广泛地应用于异质图分析。注意力机制包括节点级注意力和语义级注意力。节点的注意力主要学习节点及其邻居节点间的权重，语义级的注意力是来学习基于不同meta-path的权重。最后，通过相应地聚合操作得到最终的节点表示。 ABSTRACT 最近，深度学习中最令人兴奋的进步之一是注意机制，它的巨大潜力在各个领域。 本文首先提出了一种基于层次注意的异构图神经网络，包括节点级注意和语义级注意。具体地说： 节点级注意旨在学习节点与其基于元路径的邻居之间的重要性 语义级注意能够学习不同元路径的重要性 通过从节点级和语义级两个层次上学习重要性，可以充分考虑节点和元路径的重要性。该模型通过对基于元路径的邻域特征进行分层聚合，生成节点嵌入。

CS&BS 根据理解，简单画了图： TCP/IP协议模型 根据初步理解，总结如下： TCP/IP协议栈 不同的层 作用 协议 应用层 决定了向用户提供应用服务时通信的活动，客户端和服务端之间的通信 HTTP BS架构，使用URI定位互联网中的资源，无状态协议（Cookie的出现） SMTP 发送电子邮件的协议，客户端以文本形式发出请求，服务端返回3位数字作为应答 SSH 加密的远程登录系统协议 FTP 文件传输协议，使用两条TCP连接：控制和数据传输，通过ASCII码字符串请求，使用3位数字应答 QQ TCPF协议（文字聊天协议），建立在UDP之上，不同请求的发起方相同，请求和响应的序列号相同 DNS 域名解析协议，解决IP地址不好记忆的问题，通过域名检索IP地址，还可查询许多其他记录 传输层 两主机通信时进行建立连接和断开连接的处理，并为确保数据传输进行确认 TCP 面向有连接，保证主机之间通信（可以正确处理丢包、传输顺序乱掉等），能够有效利用带宽，缓解网络拥堵 UDP 面向无连接，可随时发送数据，在收到数据时立即原样发送到网络上，不保证通信 互联网层 在网络和网络相互连接的环境中，将数据从发送端主机发送到接收端主机 IP 跨越网络传送数据包，使整个互联网都能收到数据，使用IP地址，非可靠传输（即使数据包未成功传输也不会重发） ICMP 解决数据包未成功传输问题

CNN基本部件介绍 1. 局部感受野 在图像中局部像素之间的联系较为紧密，而距离较远的像素联系相对较弱。因此，其实每个神经元没必要对图像全局进行感知，只需要感知局部信息，然后在更高层局部信息综合起来即可得到全局信息。卷积操作即是局部感受野的实现，并且卷积操作因为能够权值共享，所以也减少了参数量。 2. 池化 池化是将输入图像进行缩小，减少像素信息，只保留重要信息，主要是为了减少计算量。主要包括最大池化和均值池化。 3. 激活函数 激活函数的用是用来加入非线性。常见的激活函数有sigmod, tanh, relu，前两者常用在全连接层，relu常见于卷积层 4. 全连接层 全连接层在整个卷积神经网络中起分类器的作用。在全连接层之前需要将之前的输出展平 经典网络结构 1. LeNet5 由两个卷积层，两个池化层，两个全连接层组成。卷积核都是5×5，stride=1，池化层使用maxpooling 2. AlexNet 模型共八层（不算input层），包含五个卷积层、三个全连接层。最后一层使用softmax做分类输出 AlexNet使用了ReLU做激活函数；防止过拟合使用dropout和数据增强；双GPU实现；使用LRN 3. VGG 全部使用3×3卷积核的堆叠，来模拟更大的感受野，并且网络层数更深。VGG有五段卷积，每段卷积后接一层最大池化。卷积核数目逐渐增加。 总结：LRN作用不大

VGG-16，输入层224*224*3，经过两层相同的卷积，卷积filter为3*3，stride为1，filter数为64，然后经过一层pooling。接着按照相同的方式，让宽和高越来越小，而通道数逐倍增加，直到512。最后用两层相同全连接加一个softmax。 VGG-16的性能与VGG-19差不多，所以基本用VGG-16 来源： CSDN 作者： rocling 链接： https://blog.csdn.net/rocling/article/details/103833381

SRResNet SRResNet 网络来源于SRGAN，原论文（ https://arxiv.org/abs/1609.04802 ）提到一种扩展方式，允许修复更高频的细节。 SRResNet 的残差块架构基于这篇文章（ http://torch.ch/blog/2016/02/04/resnets.html ）。存在两个小的更改：一个是 SRResNet 使用 Parametric ReLU 而不是 ReLU，ReLU 引入一个可学习参数帮助它适应性地学习部分负系数；另一个区别是 SRResNet 使用了图像上采样方法，SRResNet 使用了子像素卷积层。详见： https://arxiv.org/abs/1609.07009 。 SRGAN网络结构如图1所示。 图1 在生成网络部分(SRResNet)部分包含多个残差块，每个残差块中包含两个3×3的卷积层，卷积层后接批规范化层(batch normalization, BN)和PReLU作为激活函数，两个2×亚像素卷积层(sub-pixel convolution layers)被用来增大特征尺寸。在判别网络部分包含8个卷积层，随着网络层数加深，特征个数不断增加，特征尺寸不断减小，选取激活函数为LeakyReLU，最终通过两个全连接层和最终的sigmoid激活函数得到预测为自然图像的概率。 这篇论文（ https:/

ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构 本文翻译自 ResNet, AlexNet, VGG, Inception: Understanding various architectures of Convolutional Networks ， 原作者保留版权 卷积神经网络在视觉识别任务上的表现令人称奇。好的CNN网络是带有上百万参数和许多隐含层的“庞然怪物”。事实上，一个不好的经验规则是：网络越深，效果越好。AlexNet，VGG，Inception和ResNet是最近一些流行的CNN网络。为什么这些网络表现如此之好？它们是如何设计出来的？为什么它们设计成那样的结构？回答这些问题并不简单，但是这里我们试着去探讨上面的一些问题。网络结构设计是一个复杂的过程，需要花点时间去学习，甚至更长时间去自己动手实验。首先，我们先来讨论一个基本问题： 为什么CNN模型战胜了传统的计算机视觉方法？ 图像分类指的是给定一个图片将其分类成预先定义好的几个类别之一。图像分类的传统流程涉及两个模块： 特征提取 和 分类 。 特征提取 指的是从原始像素点中提取更高级的特征，这些特征能捕捉到各个类别间的区别。这种特征提取是使用无监督方式，从像素点中提取信息时没有用到图像的类别标签。常用的传统特征包括GIST, HOG, SIFT, LBP等。特征提取之后

经典CNN网络结构 Le-Net5 网络结构 def inference ( input_tensor , train , regularizer ) : #第一层：卷积层，过滤器的尺寸为5×5，深度为6,不使用全0补充，步长为1。 #尺寸变化：32×32×1->28×28×6 with tf . variable_scope ( 'layer1-conv1' ) : conv1_weights = tf . get_variable ( 'weight' , [ 5 , 5 , 1 , 6 ] , initializer = tf . truncated_normal_initializer ( stddev = 0.1 ) ) conv1_biases = tf . get_variable ( 'bias' , [ 6 ] , initializer = tf . constant_initializer ( 0.0 ) ) conv1 = tf . nn . conv2d ( input_tensor , conv1_weights , strides = [ 1 , 1 , 1 , 1 ] , padding = 'VALID' ) relu1 = tf . nn . relu ( tf . nn . bias_add ( conv1 , conv1_biases ) )