向量的模

原文：http://blog.csdn.net/jacke121/article/details/55804353 向量是由n个实数组成的一个n行1列（n*1）或一个1行n列（1*n）的有序数组； 向量的点乘,也叫向量的内积、数量积，对两个向量执行点乘运算，就是对这两个向量对应位一一相乘之后求和的操作，点乘的结果是一个标量。 点乘公式 对于向量a和向量b： a和b的点积公式为： 要求一维向量a和向量b的行列数相同。 点乘几何意义 点乘的几何意义是可以用来表征或计算两个向量之间的夹角，以及在b向量在a向量方向上的投影，有公式： 推导过程如下，首先看一下向量组成： 定义向量： 根据三角形余弦定理有： 根据关系c=a-b（a、b、c均为向量）有： 即： 向量a，b的长度都是可以计算的已知量，从而有a和b间的夹角θ： 根据这个公式就可以计算向量a和向量b之间的夹角。从而就可以进一步判断这两个向量是否是同一方向，是否正交(也就是垂直)等方向关系，具体对应关系为： a·b>0 方向基本相同，夹角在0°到90°之间 a·b=0 正交，相互垂直 a·b<0 方向基本相反，夹角在90°到180°之间 叉乘公式 两个向量的叉乘，又叫向量积、外积、叉积，叉乘的运算结果是一个向量而不是一个标量。并且两个向量的叉积与这两个向量组成的坐标平面垂直。 对于向量a和向量b： a和b的叉乘公式为： 其中： 根据i

TransE 1 TransE的作用 TransE 作用 就是把三元组翻译成embedding词向量的方法 三元组，也就是（头实体，关系，尾实体）的形式，头实体和尾实体统称为实体。为了简化起见，我们用(h,r,t)来表示三元组。其中 h表示头实体 r表示关系 t表示尾实体 我们的目标是将知识库中所有的实体、关系表示成一个低维的向量。我们把三元组(h,r,t)对应的向量表示为(h,r,t)。 h 表示头实体对应的向量 r 表示关系对应的向量 t 表示尾实体对应的向量 这样，“姚明”这个实体就不再是一个孤立的符号了，而是一个低维的稠密的向量。它看起来就像下面这样： [0.01, 0.04, 0.8, 0.32, 0.09, 0.18] 上面这个向量的维度是6维，真实情况下向量的维度会比这个大，但具体取多大并没有一个统一的标准，一般取为50~200左右。 2 TransE的基本思想 TransE模型认为一个正确的三元组的embedding向量 ( h , r , t ) (h,r,t) ( h , r , t ) 会满足公式: h + r = t h+r=t h + r = t (头实体embedding加上关系embedding会等于尾实体embedding） 如果是一个错误的三元组，那么它们的embedding之间就不满足这种关系。 3.TransE的目标函数

个人分类： 机器学习与Python 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhongkelee/article/details/44064401 转载请声明出处： http://blog.csdn.net/zhongkelee/article/details/44064401 一、PCA简介 1. 相关背景 上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后，颇有体会。最近在做主成分分析和奇异值分解方面的项目，所以记录一下心得体会。 在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。如果分别对每个指标进行分析，分析往往是孤立的，而不是综合的。盲目减少指标会损失很多信息，容易产生错误的结论。 因此需要找到一个合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。主成分分析与因子分析就属于这类降维的方法。 2. 问题描述

目录 一、摘要 二、杂记 三、模型思想 四、实验 五、其他 六、参考文献 一、摘要 深度学习不用去手工提取特征，但是现有深度模型没有在传播预测任务中使用社区结构。所以提出一个CS-RNN框架，把社区在传播中的影响考虑在内，做传播预测。 二、杂记 贡献： ①引入community structure information；②CS-RNN模型包含社区结构标签预测层(community structure labels prediction layer)，可以预测下一个活跃节点的社区结构标签；③参数健壮、结果好；（PS：原文中3、4点被总结到此处第3点了，单从此处来看创新并不是很吸引人。） 参考文献结论： strong community 通过加强局部和社区内部的传播，有利于信息进行全局传播。 文章缺点： 参考文献列举了随着神经网络发展产生的一些深度模型，但是并没有描述这些深度模型的侧重点或者缺点。（PS：那如何突出自己工作的重要性） 三、模型思想 3.1 问题定义： Network： \(G=(V,E)\) ， \(V\) 是顶点代表用户， \(E\) 是边代表用户间关系； Cascade： \(S=\{\left(t_{i}, v_{i}\right) | v_{i} \in V, t_{i} \in[0,+\infty), t_i \le t_{i+1}, i=1,2,...,N

https://www.toutiao.com/a6690696657228530187/ 2019-05-14 10:00:09 本文转载自百度 PaddlePaddle 百度深度学习平台PaddlePaddle于近期开源了基于会话（session-based）的推荐系统模型（SR-GNN）。 相较于之前通过循环神经网络（RNN）来对会话进行序列化建模导致的不能够得到用户的精确表征以及忽略了items中复杂的转换特性，SR-GNN通过将序列化的问题转换为图的问题，对所有的会话序列通过有向图进行建模，然后通过图神经网络（GNN）来学习每个item的隐向量表示，进而通过一个注意力网络（Attention Network）架构模型来捕捉用户的短期兴趣，以达到捕获长期与短期兴趣共存的向量表示。 SR-GNN模型明显优于一些最先进的基于会话的推荐方法。 项目地址：https://github.com/PaddlePaddle/models/tree/develop/PaddleRec/gnn 应用背景 随着互联网上信息量的快速增长，推荐系统能够帮助用户缓解信息过载的问题，进而有效帮助用户在众多Web应用程序中（比如：搜索、电子商务、媒体流网站等）选择自己感兴趣的信息。大多数现有的推荐系统都假设一个前提：用户画像（user profile）和历史活动信息是被不断记录的。 然而实际上

我们知道梯度是一个向量，即是一个矢量，是有方向的，某一点它的梯度方向的指向是该点函数值变化最快的方向，因此要想找到极值就沿着该方向前进是最快的到达极值点的方法。 至于下降，指的是函数图像的某点处梯度向量的模在寻找极值点的路途的过程中逐渐减小，可以想象一下一个3D图像，在逼近它的极值点的过程中经过的点处的梯度向量的模是一直减小的。（因为梯度向量的模为 ， 表示函数在x轴方向的变化率， 表示函数在y轴方向的变化率，在逼近极值点的过程中函数图像逐渐变得平缓，函数在x、y方向变化变慢 和 变小，函数在任意方向变化速度（方向导数）变得逐渐减慢，即梯度向量的模逐渐减小，即梯度下降。） 来源： https://www.cnblogs.com/wisir/p/11794159.html

导言 最优化问题在机器学习中有非常重要的地位，很多机器学习算法最后都归结为求解最优化问题。在各种最优化算法中，梯度下降法是最简单、最常见的一种，在深度学习的训练中被广为使用。在本文中， SIGAI 将为大家系统的讲述梯度下降法的原理和实现细节问题。 最优化问题是求解函数极值的问题，包括极大值和极小值。相信所有的读者对这个问题都不陌生，在初中时我们就学会了求解二次函数的极值（抛物线的顶点），高中时学习了幂函数，指数函数，对数函数，三角函数，反三角函数等各种类型的函数，求函数极值的题更是频频出现。这些方法都采用了各种各样的技巧，没有一个统一的方案。 真正的飞跃发生在大学时，微积分为我们求函数的极值提供了一个统一的思路：找函数的导数等于0的点，因为在极值点处，导数必定为0。这样，只要函数的可导的，我们就可以用这个万能的方法解决问题，幸运的是，在实际应用中我们遇到的函数基本上都是可导的。 在机器学习之类的实际应用中，我们一般将最优化问题统一表述为求解函数的极小值问题，即： 其中x称为优化变量，f称为目标函数。极大值问题可以转换成极小值问题来求解，只需要将目标函数加上负号即可： 有些时候会对优化变量x有约束，包括等式约束和不等式约束，它们定义了优化变量的可行域，即满足约束条件的点构成的集合。在这里我们先不考虑带约束条件的问题。 一个优化问题的全局极小值是指对于可行域里所有的x，有：

作者：sealaes 链接：https://www.jianshu.com/p/4715a4bea89d 来源：简书 【概述】 1、感知机模型特征 ：感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。 2、感知机策略 ：感知机学习的目标是求出将训练数据进行线性划分的分离超平面，导入基于误分类的损失函数，利用梯度下降法对损失函数进行最小化，求得感知机模型。 3、感知机学习算法： 用学习得到的感知机模型对新的输入实例进行分类。 4、重点： 感知机是神经网络和支持向量机的基础，所以一些核心概念要仔细理解和和掌握。 一、感知机模型（机器学习三要素之一） 1、定义2.1（感知机） 公式说明：W和b为感知机模型参数，称为权值（weight）或权值向量（weight vector），b称为偏置，一般b会以bx0的方式形成统一的权值向量w， w.x表示w和x的内积（内积的定义见附录1） ，sign(x)是符号函数，即： 图2.1：Sign符号函数的几何表示 2、感知机的几何解释 线性方程w.x+b=0对应于特征空间的一个超平面 S ，其中w是超平面的法向量 （法向量和超平面的关系见附录2） ，b是超平面的截距。 该超平面将特征空间划分成两个部分，位于两部分的点（特征向量）分别被分成正、负两类，超平面 S 成为分离超平面。 3、感知机学习方法 由训练集（实例的特征向量及类别）T=

　 　　　T1模拟挂了，T2A了，T3不会～总分100 　　 　A. 小P的2048 　　　　简单的模拟，注意细节，考试时打挂了，因为大样例非常特殊，它只有0,1,2操作，而我正好right操作打飞了，100->0 　　 B. 小P的单调数列 　　　　离散化，倒序枚举，三个树状数组维护最大的单调升序列的和，最大降序列的和，最大一部分上升序列加下降序列的和，转移挺简单的 　　 C. 小P的生成树 　　　　最大生成树中的所有向量的和的模长是一个合向量的模长，即所有向量在这个合向量的方向向量上的映射（分向量的模长）之和 　　　　我们可以$360^{\Huge。}$枚举无死角所有方向向量，但是这样枚举会有很多（虽然实测0.01度的枚举会非常快） 　　　　kurskal有一个性质：生成树的形态只与各边边权的相对大小有关，而与具体权值无关 　　　　而对于两个向量，存在一个方向向量使得它两个在这个方向上的投影值相等 　　　　那么这个方向向量就将整个$[0,2π]$区间分成了两个部分，一部分向量1投影大，一部分向量2投影大 　　　　枚举每两个向量，求出划分的边界，这些方向向量将$[0,2π]$区间划分成若干个小区间，在每一个小区间内这m个向量（边）的相对大小确定，所以直接跑最大生成树即可 　　　　具体做法，枚举两个向量$(a,b),(x,y)$,在某一方向向量 $（cosθ，sinθ）$投影相等

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原作者：WangBo_NLPR 原文：https://blog.csdn.net/walilk/article/details/50978864 原作者：Eric_LH 原文：https://blog.csdn.net/eric_lh/article/details/78994461 --------------------- 前言 　机器学习中的大部分问题都是优化问题，而绝大部分优化问题都可以使用梯度下降法处理，那么搞懂什么是梯度，什么是梯度下降法就非常重要！这是基础中的基础，也是必须掌握的概念！ 　提到梯度，就必须从导数（derivative）、偏导数（partial derivative）和方向导数（directional derivative）讲起，弄清楚这些概念，才能够正确理解为什么在优化问题中使用梯度下降法来优化目标函数，并熟练掌握梯度下降法（Gradient Descent）。 　本文主要记录我在学习机器学习过程中对梯度概念复习的笔记，主要参考《高等数学》《简明微积分》以及维基百科上的资料为主，文章小节安排如下： 　1）导数 　2）导数和偏导数 　3）导数与方向导数 　4）导数与梯度 　5）梯度下降法 导数 　一张图读懂导数与微分： 　 　这是高数中的一张经典图