因子分析

在数字信号处理中常常需要用到离散傅立叶变换(DFT)，以获取信号的频域特征。尽管传统的DFT算法能够获取信号频域特征，但是算法计算量大，耗时长，不利于计算机实时对信号进行处理。因此至DFT被发现以来，在很长的一段时间内都不能被应用到实际的工程项目中，直到一种快速的离散傅立叶计算方法——FFT，被发现，离散傅立叶变换才在实际的工程中得到广泛应用。需要强调的是，FFT并不是一种新的频域特征获取方式，而是DFT的一种快速实现算法。本文就FFT的原理以及具体实现过程进行详尽讲解。 DFT计算公式 本文不加推导地直接给出DFT的计算公式： 其中x(n)表示输入的离散数字信号序列，WN为旋转因子，X(k)为输入序列x(n)对应的N个离散频率点的相对幅度。一般情况下，假设x(n)来自于低通采样，采样频率为fs，那么X(k)表示了从-fs/2率开始，频率间隔为fs/N,到fs/2-fs/N截至的N个频率点的相对幅度。因为DFT计算得到的一组离散频率幅度值实际上是在频率轴上从成周期变化的，即X(k+N)=X(k)。因此任意取连续的N个点均可以表示DFT的计算效果，负频率成分比较抽象，难于理解，根据X(k)的周期特性，于是我们又可以认为X(k)表示了从零频率开始，频率间隔为fs/N,到fs-fs/N截至的N个频率点的相对幅度。 N点DFT的计算量 根据(1)式给出的DFT计算公式

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> factpca<-function(x,score="Bartlett",rotation="varimax") { if(!is.matrix(x)){ x<-as.matrix(x) #x为原始的数据矩阵 } z<-scale(x,center=TRUE,scale=TRUE) #将原始数据矩阵标准化 p<-ncol(x) #求观测变量的个数 if(p<3){ stop("factor analysis requires at least three variables") } cr<-cor(z) #求相关系数矩阵 eig<-eigen(cr) #求矩阵的特征值与特征向量 s=sum(eig$values) tmp=0.0 flag=0 for(i in 1:length(eig$values)){ tmp=tmp+eig$values[i] flag=i if(tmp/s>=0.8) break } rowname<-paste("X",1:p,sep="") colname<-paste("Factor",1:flag,sep="") A<-matrix(0,nrow=p,ncol=flag,dimnames=list(rowname,colname)) #构造因子载荷矩阵，初始化为0 for(j

R语言与 数据挖掘：公式；数据；方法 R语言特征 对大小写敏感 通常，数字，字母，. 和 _都是允许的(在一些国家还包括重音字母)。不过，一个命名必须以 . 或者字母开头，并且如果以 . 开头，第二个字符不允许是数字。 基本命令要么是表达式（expressions）要么就是 赋值（assignments）。 命令可以被 (;)隔开，或者另起一行。 基本命令可以通过大括弧({和}) 放在一起构成一个复合表达式（compound expression）。 一行中，从井号(#)开始到句子收尾之间的语句就是是注释。 R是动态类型、强类型的语言。 R的基本数据类型有数值型（numeric）、字符型（character）、复数型（complex）和逻辑型（logical），对象类型有向量、因子、数组、矩阵、数据框、列表、时间序列。 基础指令 程序辅助性操作： 运行 q()——退出R程序 tab——自动补全 ctrl+L——清空console ESC——中断当前计算 调试查错 browser() 和 debug()—— 设置断点进行，运行到此可以进行浏览查看（具体调试看browser（）帮助文档（c,n,Q）） stop('your message here.')——输入参数不正确时，停止程序执行 cat（）——查看变量？ 帮助 help(solve) 和 ?solve 等同 ??solve—

学习目标：熟练使用主成分分析法对自变量进行降维，了解因子旋转的作用，能够对新生成的自变量进行合理解释，进而纳入线性回归模型比较拟合效果。 一、作用 因子分析，通过提取主成分的方式来减少自变量的数量，达到消除多重共线性的效果。 例如，某个餐厅的营业额（y）受到“x1.公交站点广告”、“x2.电台广告”、“x3.电台广告”、“x4.顾客满意度”、“x5.员工满意度”、“x6.天气”、“x7.温度”等多方面的影响。但是，我们发现x1、x2、x3、都与广告有关，x4、x5与‘’满意度‘’有关，x6、x7与气候有关。因而，通过提取主成分，原有的7个变量，有可能就压缩为三个变量，达到了降维效果。 因子分析和相关分析类似，都属于过度性分析，主要为其他分析模型做准备（尤其是线性回归模型） 二、适用条件 在因子分析模型中，公因子的有效提取数量、是否可以得到合理解释都与原有的自变量息息相关。 1、变量的数量 由于因子分析属于降维的一种方法，因此，需要有较多的变量，尤其越多越好。 2、变量间有相关性，并非指线性相关，而是指两个或多个变量同属于某种范畴，往往容易存在多重共线性的现象。 为了检验变量间是否存在相关性，我们可以通过KMO系数及巴特利特球形度检验来完成。 （1）KMO系数 KMO统计量的值在0—1之间（即0<KMO<1）,越接近于1，变量间的相关性越强，做因子分析的效果越好。当KMO>0.7时

论文解读：（TranSparse）Knowledge Graph Completion with Adaptive Sparse Transfer Matrix   先前的基于深度学习的知识表示模型TransE、TransH、TransR（CTransR）和TransD模型均一步步的改进了知识表示的方法，在完善知识图谱补全工作上逐渐提高效果。通过先前的模型，我们基本掌握了知识表示的学习方法：首先通过投影策略将实体和关系映射到对应的语义空间，其次均使用得分函数 f ( h , t ) = ∣ ∣ h + r − t ∣ ∣ f(h,t)=||h+r-t|| f ( h , t ) = ∣ ∣ h + r − t ∣ ∣ 表示实体对的评分。另外使用负采样生成错误样本进行训练，使得正确的样本得分函数值降低，错误样本的得分函数值升高。然而这些模型均忽略了图谱的两个重要特性： 异质性（heterogeneity） 和 不平衡性（imbalance） 。图谱中的异质性是指不同关系对应的实体对数量不一致，例如对于关系 r r r 链接的所有实体对数量可能非常多，而对于 r ′ r' r ′ 链接的所有实体对数量可能只有1个。不平衡性是指头尾实体的数量不一致，例如形如对于（地名，local，洲名）的三元组，地名可能成千上万个，而洲名只有七个。由于数量的不对等

因子分析和 PCA 定义 因子分析就是数据降维工具。 从一组相关变量中 删除冗余或重复 ，把相关的变量放在一个因子中，实在不相关的因子有可能被删掉。 用一组较小的 “ 派生 ” 变量表示相关变量 ，这个派生就是新的因子 。形成彼此相对独立的因素 ，就是说新的因子彼此之间 正交 。 应用 筛选变量。 步骤 3.1 计算所有变量的相关矩阵 3.2 要素提取 ，仅在此处需要使用 PCA 3.3 要素轮换 3.4 就基本因素的数量作出最后决定 3.1 计算所有变量的相关矩阵 构建数据矩阵，该数据矩阵是相关矩阵（矩阵里面全是相关系数）， PCA 之后变为因子矩阵。 绝对值大于 0.3 的相关系数表示可接受的相关性 ，即相关系数大于 0.3 则把它们放在一堆。 3.2 要素提取 ，仅在此处需要使用 PCA （当然也有其他方法， 要素提取使用不同方法有不同结果）按照对方差的解释程度排序。 连续分量解释总样本方差的逐渐变小的部分，并且所有的分量彼此不相关。 确定因子数：特征值大于 1 3.3 要素轮换 因素轴转为了让因子之间差距尽量大。 非旋转因素通常不是很容易解释的 ( 比如因素 1与所有变量都相关，因素二与前四个变量相关) 对因素进行旋转，使它们更有意义，更易于解释 (每个变量都与最小数量的因素相关联)。 不同旋转方法会识别不同因素，这与要素提取使用不同方法有不同结果是一样的。 3.4

1.正交实验设计方法  是由数理统计学科中正交实验方法进化出的一种测试多条件输入的用例设计方法，从大量的（实验）数据（测试例）中挑选适量的，有代表性的点（例），从而合理地安排实验（测试）的一种科学实验设计方法。  条件：因子  取值：水平 2.正交实验设计方法步骤：  ①分析需求，获取因子及水平；  ②根据因子和水平选择正交表；  ③替换因子水平，获取实验次数；  ④细化输出测试用例。 3.案例解析  案例1：网站兼容性测试，要求支持（1）Web浏览器：Netscape 6.2、IE 6.0、Opera 4.0；（2）插件：无、RealPlayer、Mediaplayer；（3）应用服务器：IIS、Apache、Netscape Enterprise；（4）操作系统：Windows2000、Windows NT、Linux  分析因子与水平：4因子3水平  查正交表  替换因子与水平  案例2：某银行交易系统的卡号查询功能界面如图所示：  分析因子与水平：取值只有输入或不输入，5因子2水平  查正交表（取7因子2水平，要取最接近且结果大于所需数量）  替换因子与水平  正交实验法设计测试用例的步骤：   ①分析需求，获取因子和水平；   ②根据因子和水平查正交表；   ③替换正交表中的因子与水平；   ④根据正交表获取测试用例。 来源： CSDN 作者： 小胡没有钱 链接：

论文笔记 —— 《Domain Adaptation via Transfer Component Analysis》 通过降维达到迁移学习——迁移成分分析（TCA, transfer component analysis）。 发现一个好的特征表示能够尽可能减少域之间分布的差异，同时保留原始数据的重要(几何或统计)属性。 方法：用MMD学习一个在RKHS中跨域的迁移成分【利用特征提取方法，通过新的参数核进行域自适应，将数据投影到所学习的Transfer Component上，极大地减小了域分布之间的距离】。 不同但相关的域下面一定存在着公共因子（Transfer Component）和差异因子，我们就是要找到不会导致跨域分布变化的公共因子，这个子空间可以减小数据分布的差异。 KL散度和MMD都可以表示域间差异。 使用TCA学习的特征表示，SVM在跨领域分类中表现最好。这是因为TCA不仅发现了文本数据背后的潜在主题，而且还匹配了潜在主题所跨域的分布。 来源： CSDN 作者： IvyZZxy 链接： https://blog.csdn.net/ZZhangxyuuu/article/details/103465862

https://www.cnblogs.com/wentingtu/archive/2012/03/03/2377971.html 探索性因子分析 探索性因子分析（Exploratory Factor Analysis，EFA） 是一项用来找出多元观测变量的本质结构、并进行处理降维的技术。 因而EFA能够将具有错综复杂关系的变量综合为少数几个核心因子。EFA和PCA的区别在于：PCA中的主成分是原始变量的线性组合，而EFA中的原始变量是公共因子的线性组合，因子是影响变量的潜在变量，变量中不能被因子所解释的部分称为误差，因子和误差均不能直接观察到。进行EFA需要大量的样本，一般经验认为如何估计因子的数目为N，则需要有5N到10N的样本数目。 来源： https://www.cnblogs.com/HISAK/p/11961453.html

数据、模型、IT系统认知 量化投资定义 量化投资主要是指通过数理模型来实现投资理念，由计算机产生交易策略的一种投资方法。 量化投资是一种方法论，而不是具体的交易策略。 通常与基本面、技术面分析相结合。 并以定量方法进行投资的各种技术综合 量化投资的发展历程 初期1950 现代资产组合理论出现，金融投资开始部分转变为数学问题。 发展1980 量化主动管理方法出现，开始依靠量化方法进行投资。 黄金期2000 市场几乎有量化投资接管，并出现Q-quant 风云突变2008 量化史上最大的滑铁卢，随后开始回归P-quant 全新机遇2019 中国市场的兴起，给量化投资带来全新的发展机遇。 传统投资VS量化投资 传统投资方法的股票基金经理的一般投资步骤 首先。对市场上所有的股票进行初步筛选。 其次，对剩余的股票财务状况进行初步分析，一般通过估值指标进行筛选。保证剩余的标的是相对优质的股票。 之后可能还剩下几百、几十支股票，然后资金经理和分析师对他们进行详细的研究。 量化投资方法的股票基金经理的一般投资步骤 首先，构建基本面因子，这些因子可以是用来反映企业的经营状态；也可以访问企业的财务状况或反映企业的行业竞争地位等。 然后根据市值、行业等特殊情况，对因子进行调整，并构建量化分析模型，把各个因子容纳到模型当中。 最后将企业的相关信息输入模型中，并按照模型给出的交易信号进行交易。 相同点