网络节点

07-noderepr 图机器学习之图表征学习

纵然是瞬间 提交于 2020-02-06 23:54:22
网络中的机器学习 节点分类 链接预测 机器学习的生命圈需要特征工程 网络的特征学习——特征向量 embedding network embedding的意义 节点的表征 节点的相似度衡量→网络相似度衡量 网络信息编码,生成节点表征 用途:异常检测,属性预测,聚类,关系预测 例子:deepwalk 难度:当前的深度学习视为序列或网格数据而设计的,但网络结构比这些更复杂,没有固定的空间结构,没有固定的顺序,是动态的,并且有多类特征 Embedding Nodes 假设我们有图G,V是节点集合,A是邻接矩阵, 将节点编码,编码后的向量计算得到的相似度与原网络的一致 因此需要定义一个编码器,以及计算节点相似度的函数,并优化encoder 浅层encoding,有一个大矩阵,存储各类节点的向量,encoder只是look-up,类似于word embedding 常见的方法:deepwalk,node2vec,transE 如何定义节点相似性 例子:若两个节点的embedding相似,那么在物理结构上,他们:相连?有相同邻居?相似的结构角色?等 随机游走→node embedding 随机游走:从一个节点出发,随机选择一个邻居节点,游走到该节点,再重复上述步骤。经过的节点组成的序列即为图的random walk 公式表示节点u,v在random walk中共同出现的概率 步骤: 1.

02-gnp-smallworld 图机器学习之最小世界

删除回忆录丶 提交于 2020-02-06 23:49:07
本节重点:如何衡量一个网络 (网络量化) 网络的关键属性: 1. 度的分布:P(k) 2. 路径长度:h 3. 集聚系数(clustering coefficient):C 4. 连通分量(connected components):s 1. 度的分布 degree distribution:P(k) 统计每个节点的度,形成归一化后的直方图 2. 路径 3. 距离:最短路径 4. 直径:网络中任意节点最短距离的最大值 5. 平均路径长度(针对连通图或强连通的有向图) 6. 集聚系数(无向图): 首先,看单个节点,其与邻居的连接关系如何。例如节点i,他的度为ki,ei是节点i的邻居间的边的数量 平均集聚系数: 7. 连通性: 最大连通分量(子图/分支)的尺寸,使用BFS广度优先方式 接下来开始量化现实世界中的网络 MSN的联系网络 对分布取log 集聚: 度对应的集聚系数 弱连通分支尺寸的统计: 若连同分支的半径: 平均路径长度为6.6,90%的节点可最小经由8跳后连接 随机图模型 Erdös-Renyi Random Graphs 两类变量(针对无向图): Gnp:n个节点,边的出现(顶点相连)满足概率p Gnm:n个节点,均匀随机选取m个边 n和p不能唯一确定一个图谱,该图谱是随机过程的结果 Gnp的属性: 度的分布:p(k) —— 满足二项分布 路径长度:h 集聚系数: C p

03-motifs 图机器学习之motif和结构角色

霸气de小男生 提交于 2020-02-06 23:48:42
Motifs and Structure Roles in Networks 子图/子网络:subnetworks→network中的组成部分,可用于描述网络特性或区分网络 例子:3个节点的有向子图的不同形态 对于每一个subgraph: 假设我们有一度量工具可以用于对subgraph的重要性(显著性?)进行评估: 负值表示under-representation (不能很好的表征,欠表征?) 正 值表示over-representation (过表征?) 定义网络重要性(显著性?)(network significance profile):一个特征向量,向量中的元素值为所有子图的类型 那么,接下来,我们需要比较不同网络的profiles: 从下图中,横轴是不同的子图类型,纵轴是 归一化后的z score( 应该是指重要度,但此处未给出重要度是如何计算出来的)。不同的曲线表示同类网络中的不同地域/应用。由曲线可得,同类网络具备相似的significance profiles 因此,今天的任务: 1)子图: 定义及发现motifs和graphlet; 2)网络的结构角色:RolX: Structural Role Discovery Method 发现工具 3)发现 Structural Role以及其的应用:结构相似度;角色生成与迁移学习;Making sense of

openstack(queens)多节点手动安装(六):虚拟机的创建和不同计算节点之间虚拟机的冷迁移和热迁移

本秂侑毒 提交于 2020-02-03 08:29:44
虚拟机的创建 虚拟机创建流程 对于nova来说,它最主要的功能就是维护虚拟机的生命周期。以虚拟机创建为例。在创建虚拟机时,它会与其他组件配合,共同完成虚拟机的创建工作。如创建虚拟机所需要的镜像文件,Nova需要通过HTTP方式向glanceclient发送请求,从而获取虚拟机的镜像文件;创建虚拟机网络时,Nova需要通过HTTP方式向neutronclient,从而创建并绑定虚拟机所需要的网络资源;如果需要创建存储磁盘,Nova需要通过Http方式向cinderclient发送请求,创建虚拟机所需要的磁盘。 以上是Nova与其他组件的交互,从以上分析可以看出,Nova与其他组件的交互主要是使用HTTP的方式,在虚拟机的创建时,Nova内部服务之间的流程可以归纳为如下几点: 1.nova-api:主要接受外部(CLI/dashboard)发送来的HTTP请求,进行一系列认证后,再将其转换成内部请求,并通过oslo_message与nova-conductor/nova-compute交互; 2.nova-conductor:主要作为一个数据库代理存在,是nova-compute读写数据库的桥梁,这样做的主要目的是避免nova-compute直接操作数据库而引发安全性问题 3.nova-compute:主要借助计算节点上的Hypervisor对虚拟机进行创建,删除和挂起等操作 4

zigbee关联请求入网

时间秒杀一切 提交于 2020-02-01 20:23:13
2、任何一个zigbee模块要加入到某个网络,一定要有一个处于该网络里的节点作为介绍人,并且这个介绍人不能是终端节点。介绍人节点为被介绍人节点的父节点,被介绍加入的节点称为子节点。二者是父子节点关系。 3、有三个模块:A模块下载了协调器功能代码;B模块下载了路由器功能代码;C模块下载了终端功能代码; 当A没上电,而B、C上电的时候,会一直去寻找网络请求加入网络;直到A模块上电以后,先去创建一个网络确定PANID,以及设定自己的ID为0x0000,然后把B、C加入到网络中来,加入网络可以分成两种:1)、下载了终端代码的C模块先加入网络,那么C模块的父节点肯定是A模块;C入网后,B又开始入网,因为C不能作为介绍人,那么B的父节点只能是A模块。网络拓扑结构为 2)如果是B节点先入网,那么其网络拓扑结构有两种: 4、当被加入节点有多个介绍人可以选择加入的时候,根据相对于被加入节点的信号强度等一些其他的参数来选择最佳的介绍人节点。 5、zigbee网络组建之后,网络里的节点可以进行相互通信,其通信方式有四种:单播、广播、组播和绑定。 6、入网前:路由器都做了些什么事儿? 一直在发上面这个帧。 TYPE:为CMD命令帧格式。是信标请求帧,Beacon request;它的作用是,让在它附近的所有具备介绍人资格的节点,都回复信标帧,这些返回的信标帧被这个想要加入的无线模块拿到,通过这些信标帧

图神经网络 | (2) 图神经网络(Graph Neural Networks,GNN)综述

不打扰是莪最后的温柔 提交于 2020-02-01 16:21:16
原文地址 本篇文章是对 论文“Wu Z , Pan S , Chen F , et al. A Comprehensive Survey on Graph Neural Networks[J]. 2019.” 的翻译与笔记。 论文链接 目录 1. 什么是图神经网络? 2. 有哪些图神经网络? 3. 图卷积网络(Graph Convolution Networks,GCN) 4. 图注意力网络(Graph Attention Networks) 5. Graph Autoencoders 6. Graph Generative Networks 7. Graph Spatial -Temporal Networks 8. 图神经网络的应用 1. 什么是图神经网络? 在过去的几年中,神经网络的成功推动了模式识别和数据挖掘的研究。许多机器学习任务,如目标检测、机器翻译和语音识别,曾经严重依赖手工的特征工程来提取信息特征集,最近被各种端到端的深度学习范式(例如卷积神经网络(CNN)、长短期记忆(LSTM)和自动编码器)彻底改变了。在许多领域中,深度学习的成功部分归因于快速发展的计算资源(如GPU)和大量训练数据的可用性,部分归因于深度学习从欧氏空间数据中提取潜在表示的有效性。 尽管深度学习在欧氏空间中的数据方面取得了巨大的成功,但在许多实际的应用场景中的数据是从非欧式空间生成的

路由表生成算法

倖福魔咒の 提交于 2020-02-01 10:35:33
一:几个概念 1:路由器: 是连接因特网中的个局域网,广域网的设备,它会根据信道的情况自动选择和设定路由,以最佳路径,按前后顺序发送信号. 路由器又称网关设备是用于连接多个逻辑上分开的网络,所谓逻辑网络是代表一个单独的网络或者一个子网,当数据从一个子网传输到另一个子网时,可通过路由器的路由功能来完成.因此,路由器具有潘丹网络地址和选择IP路径的功能,它能在多个网络互联的环境中,简历灵活的连接,可用完全不同的数据分组和介质访问方法连接各种网络,路由器只接受受源站或其他路由器的信息,属于网络层的互联设备. 2:路由表 是指路由器或者其他互联网的网络设备上存储的一张信息表, 该表中存有到达特定网络终端的路径,在某些情况下,还有一些与这些路径相关的度量。 lLinux下查看路由设备 Destination:是目的网络地址 Genmask:是子网掩码 Gateway:是下一条地址 Iface是发送接口 Flags中的U标志表示此条目有效,G标志表示此条目的下一条地址是某个路由器的地址,没有G标志的条目表示目的网络地址是与本机接口直接相连的网络,不必经路由转发,因此下一条地址地址处记为*号. 如果发送数据包的目的地址是192.168.0.0根第一韩的子网掩码做与运算得到192.168.0.0与第一行的目的网络地址相符.因此从etho接口发送出去,

「论文翻译」NeoDTI: neural integration of neighbor information from a HeteroN for discovering new DTIs

余生长醉 提交于 2020-02-01 09:08:41
Bioinformaties 2018 (B类) 文章目录 Abstract Introduction 2 Materials and methods 2.1 Problem formulation 2.2 The workflow of NeoDTI 3 Results 3.1 Datasets 3.2 NeoDTI yields superior performance in predicting new drug–target interactions 3.3 Robustness of NeoDTI 3.4 NeoDTI reveals novel DTIs with literature supports 4 Conclusion Abstract Motivation: 在计算机上准确预测药物-靶标相互作用(DTI)可以指导药物发现过程,从而促进药物开发。 采用系统生物学观点的DTI预测计算方法通常采用以下原理:药物和靶标的特性可以通过其在生物网络中的功能角色来表征。 Results:受信息传递和聚合技术的最新发展的启发,这些技术可以使卷积神经网络通用化以挖掘大规模图数据并大大提高许多与网络相关的预测任务的性能,我们开发了一种新的非线性端到端学习模型,称为NeoDTI,可整合来自异构网络数据的各种信息,并自动学习保留药物和靶标的拓扑结构表示,以促进DTI预测

聊聊BA无标度网络以及其作用

老子叫甜甜 提交于 2020-01-29 18:06:54
病毒传播为什么如此迅速? 我不是医学专业的,所以我无法从专业的视角去解释病毒到底是什么,它们的行为我也不懂,但是我可以从另一个专业的视角,给大家普及一下病毒传播的承载介质,即 网络 。 我不可能去描述真实的网络,所以我只能用抽象的网络去仿真真实的网络,这很容易。 如果我们把所有的城市(或者一个人)看作一个网络的节点,两个城市之间的或真实或虚拟的链接看作该网络的一条边。那么一个城市在考虑是否与另一个城市建立关联时,考虑的是什么呢? 这是一个百鸟朝凤,胜者通吃的过程。 也就是说,一个城市在考虑和哪一个城市套近乎建立关联时,参考的就是该城市目前的知名度,安阳市肯定会考虑是否往上海市单独开通一列火车,而基本不会考虑是否向沧州单独开通一列火车,虽然沧州在地理上更加接近安阳。 应届毕业生在选择去哪里就业时,基本上也是这个过程,他们会参考候选城市当前的就业环境。 这在理论上叫做 BA无标度网络。 我们模拟一下这个过程,我们模拟的是300个节点,每次连接1对节点。非常幸运的是,这几乎不用编程,python已经给出了封装好的BA网络库,这对于不会编程的我而言,荒漠甘泉: import networkx as network import matplotlib . pyplot as plot ba = network . barabasi_albert_graph ( 300 , 1 ) ps =

分布式--CAP原则

早过忘川 提交于 2020-01-29 12:59:55
CAP原则 分布式–CAP原则 CAP理论是指分布式系统架构中通常只能够满足CAP三个指标中的两个,而不能同时满足CAP三个指标。 C(Consistency):一致性 一致性指的是All nodes see the same data at the same time,也就是说所有节点在同一时间看到的数据必须是一模一样的 ,比如足球比赛中,当比分发生了改变,客户端A看到的比分是1:0,而客户端B看到的比分还是0:0;又比如在银行系统中,通过微信进行银行卡转账,卡上余额从100变成了0,但是在支付宝中查看银行卡余额还是100,这显然就破坏了数据的一致性。 A(Avalilability):可用性 可用性指的是Reads and writes always succeed,也就是说无论是读操作还是写操作,始终是成功的,也就是服务一直可用,不存在服务失败或者用户操作失败的情况 。比如说用户发起提现操作,过了会显示提现失败;在进行转账的时候提示了需要等2天后才能到账,显然就破坏了可用性,因为用户的一系列操作换来的是提现失败,转账延迟才能到账,而不是立马响应到账。 P( Partition Toleranc):分区容错性 分区容错性指all nodes look like one node,也就是说多个节点的运行看起来就像是一个节点在运行一样,一个节点宕机不可用,其他节点还可以正常运行