Hypothesis

http://openaccess.thecvf.com/content_cvpr_2017/papers/Jie_Deep_Self-Taught_Learning_CVPR_2017_paper.pdf Deep Self-Taught Learning for Weakly Supervised Object Localization. Zequn Jie, Yunchao Wei, Xiaojie Jin, Jiashi Feng, Wei Liu 亮点 监督学习中用难例挖掘，弱监督中靠可靠样本的挖掘，本文筛选可靠样本的方法比较具有通用性 在线样本收集，通过relative improvement指标，不断提升弱监督驯练样本的质量 本文是少数未采用预计算好的proposal，而采取自适应proposal的文章，可以根据网络训练情况来改变proposal 主要思想 问题 ：大多数现有的弱监督定位（WSL）方法通过对图像级别的监督学习识别到的特征区块来进行探测器的学习。然而，这些特征不包含空间位置的相关信息，同时对探测器的学习来说，其所提供的样本数据质量都比较差。 解决方案 ：检测器学习获取可靠的样本对象特征并以此为基础重新训练自己。相应的，随着探测器本身检测能力的提高和提供的位置信息质量的提高，于是便能进一步的提高较好质量的数据。 文中提出了一个种子样本采集（Seed

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y) T ,简称grad f(x,y)或者▽f(x,y)。对于在点(x 0 ,y 0 )的具体梯度向量就是(∂f/∂x 0 , ∂f/∂y 0 ) T .或者▽f(x 0 ,y 0 )，如果是3个参数的向量梯度，就是(∂f/∂x, ∂f/∂y，∂f/∂z) T ,以此类推。 　　　　那么这个梯度向量求出来有什么意义呢？他的意义从几何意义上讲，就是函数变化增加最快的地方。具体来说，对于函数f(x,y),在点(x 0 ,y 0 )，沿着梯度向量的方向就是(∂f/∂x 0 , ∂f/∂y 0 ) T 的方向是f(x,y)增加最快的地方。或者说，沿着梯度向量的方向，更加容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，也就是 -(∂f/∂x 0 , ∂f/∂y 0 ) T 的方向，梯度减少最快，也就是更加容易找到函数的最小值。 　　　　 2. 梯度下降与梯度上升 　　　　在机器学习算法中

本文中的闪图复制自北岭加州州立大学（California State University, Northridge） 网页 https://www. csun.edu/~vcpsy00h/crea tivity/define.htm 注：文末附交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 这是我在1993年写给一名学生的信，内容涉及他的论文初稿。2003年，我修改了一下这封信，删除了与该学生相关的具体内容，并将修改后的这封信作为对所有研究生的额外知识要求。 I wrote this in 1993 as a letter to a student concerning a draft of his dissertation. in 2003 I edited it to remove some specific references to the student and present it as a small increment to the information available to my grad students. --spaf 先让我以一些看似显而易见的事情开始。Let me start by reviewing some things that may seem obvious: 第一

摘要: 仅用于记录R语言学习过程： 内容提要： 描述性统计；t检验；数据转换；方差分析；卡方检验；回归分析与模型诊断；生存分析；COX回归 写在正文前的话，关于基础知识，此篇为终结篇，笔记来自医学方的课程，仅用于学习R的过程。 正文： 描述性统计 n 如何去生成table1 用 table()函数 ，快速汇总频数 u 生成四格表：table(行名，列名) > table(tips$sex,tips$smoker) No Yes Female 54 33 Male 97 60 u addmargins()函数 ：对生成的table表格进行计算 > table(esoph$agegp,esoph$ncases) 0 1 2 3 4 5 6 8 9 17 25-34 14 1 0 0 0 0 0 0 0 0 35-44 10 2 2 1 0 0 0 0 0 0 45-54 3 2 2 2 3 2 2 0 0 0 55-64 0 0 2 4 3 2 2 1 2 0 65-74 1 4 2 2 2 2 1 0 0 1 75+ 1 7 3 0 0 0 0 0 0 0 > tt <- table(esoph$agegp,esoph$ncases) > addmargins(tt,margin = c(1,2)) # margin 1表示行，2表示列 0 1 2 3 4 5 6 8 9 17

假设检验的定义 假设检验：先对总体参数提出某种假设，然后利用样本数据判断假设是否成立。在逻辑上，假设检验采用了反证法，即先提出假设，再通过适当的统计学方法证明这个假设基本不可能是真的。（说“基本”是因为统计得出的结果来自于随机样本，结论不可能是绝对的，所以我们只能根据概率上的一些依据进行相关的判断。） 假设检验依据的是小概率思想，即小概率事件在一次试验中基本上不会发生。 如果样本数据拒绝该假设，那么我们说该假设检验结果具有统计显著性。一项检验结果在统计上是“显著的”，意思是指样本和总体之间的差别不是由于抽样误差或偶然而造成的。 假设检验的术语 零假设（null hypothesis） ：是试验者想收集证据予以反对的假设，也称为 原假设 ，通常记为 H 0 。 例如：零假设是测试版本的指标均值小于等于原始版本的指标均值。 备择假设（alternative hypothesis） ：是试验者想收集证据予以支持的假设，通常记为H 1 或 H a 。 例如：备择假设是测试版本的指标均值大于原始版本的指标均值。 双尾检验（two-tailed test） ：如果备择假设没有特定的方向性，并含有符号“≠”，这样的检验称为双尾检验。 例如：零假设是测试版本的指标均值等于原始版本的指标均值，备择假设是测试版本的指标均值不等于原始版本的指标均值。 单尾检验（one-tailed test）

台湾大学林轩田机器学习基石课程学习笔记15 -- Validation 上节课我们主要讲了为了避免overfitting，可以使用regularization方法来解决。在之前的Ein上加上一个regularizer，生成Eaug，将其最小化，这样可以有效减少模型的复杂度，避免过拟合现象的发生。那么，机器学习领域还有许多选择，如何保证训练的模型具有良好的泛化能力？本节课将介绍一些概念和方法来解决这个选择性的问题。 1 Model Selection Problem 机器学习模型建立的过程中有许多选择，例如对于简单的二元分类问题，首先是算法A的选择，有PLA，pocket，linear regression，logistic regression等等；其次是迭代次数T的选择，有100，1000,10000等等；之后是学习速率η的选择，有1，0.01,0.0001等等；接着是模型特征转换Φ的选择，有linear，quadratic，poly-10，Legendre-poly-10等等；然后是正则化regularizer的选择，有L2，L1等等；最后是正则化系数λ的选择，有0，0.01，1等等。不同的选择搭配，有不同的机器学习效果。我们的目标就是找到最合适的选择搭配，得到一个好的矩g，构建最佳的机器学习模型。 假设有M个模型，对应有H1,H2,⋯,HM，即有M个hypothesis

台湾大学林轩田机器学习基石课程学习笔记14 -- Regularization 上节课我们介绍了过拟合发生的原因并介绍了解决overfitting的简单方法。本节课，我们将介绍解决overfitting的另一种非常重要的方法：Regularization规则化。 1. Regularized Hypothesis Set 先来看一个典型的overfitting的例子： 如图所示，在数据量不够大的情况下，如果我们使用一个高阶多项式（图中红色曲线所示），例如10阶，对目标函数（蓝色曲线）进行拟合。拟合曲线波动很大，虽然Ein很小，但是Eout很大，也就造成了过拟合现象。 那么如何对过拟合现象进行修正，使hypothesis更接近于target function呢？一种方法就是regularized fit。 这种方法得到的红色fit曲线，要比overfit的红色曲线平滑很多，更接近与目标函数，它的阶数要更低一些。那么问题就变成了我们要把高阶（10阶）的hypothesis sets转换为低阶（2阶）的hypothesis sets。通过下图我们发现，不同阶数的hypothesis存在如下包含关系： 我们发现10阶多项式hypothesis sets里包含了2阶多项式hypothesis sets的所有项，那么在 H10中加入一些限定条件，使它近似为H2即可

迁移学习 材料集合 目录 迁移学习 材料集合 Book novel_papers 1) novel_papers on transfer learning 2) novel_papers on related fileds 更多 DA awesome​​​​​​​ 入门参考 小结 Excellent Scholars 新论文追踪 科研方法论 Presentation 大部分内容 转自 GitHub： https://github.com/yuntaodu/Transfer-learning-materials Book 《迁移学习简明手册》 https://github.com/jindongwang/transferlearning-tutorial novel_papers 1) novel_papers on transfer learning number Title Conference/journel + year Code Keywords Benenit for us 54 Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID ( paper ) NIPS 2020 code contrastive learning, DA, Re-ID

https://amazonaws-china.com/blogs/machine-learning/flagging-suspicious-healthcare-claims-with-amazon-sagemaker/ The National Health Care Anti-Fraud Association (NHCAA) estimates that healthcare fraud costs the nation approximately $68 billion annually—3% of the nation’s $2.26 trillion in healthcare spending. This is a conservative estimate; other estimates range as high as 10% of annual healthcare expenditure, or $230 billion. Healthcare fraud inevitably results in higher premiums and out-of-pocket expenses for consumers, as well as reduced benefits or coverage. Labeling a claim as fraudulent

　　 　　作者 | 青 暮、蒋宝尚 　　编辑 | 青 暮 　　 几百年前的爱尔兰。有一对夫妻，他们彼此相爱。丈夫的头发是浅棕红色的、卷曲的，妻子也是卷发。他们是牧羊人，靠用绵羊毛织布来谋生。妻子甚至把还在羊背上的羊毛直接织成了布。这个冬季对于绵羊而言非常温暖，因为新的羊毛从紧贴皮肤的编织羊毛下生长出来了。然后，出现了几个富人，抢走了他们的土地，还砍断了男人的腿。 　　上述文字描述了一位三十岁女艺术家的梦境，对于这个梦境报告，下图给出了评估结果。结果显示，这个梦境的属性是想象的、负面情绪的、男性特征的，以及有攻击性的，并被归类为噩梦（红色）。 　　 　　你可能会以为这是一个解梦师给出的判断，但实际上，为女艺术家解梦的，是一个AI算法。 　　最近，在一篇发表于《皇家社会科学学会》期刊上的研究中，来自诺基亚贝尔实验室（Nokia Bell Labs）和罗马大学的三位研究员合力 使用AI算法分析了数千个梦，表示AI可以识别并量化梦的特征，特征之间的相互关系，以及梦境反映的情绪，从而帮助心理学家快速识别患者中潜在的压力源和心理健康问题。 　　 　　这篇文章在Science网站上也有推荐 　　例如，一位十几岁的女孩Izzy描述她的梦境：“我当时在家里，那愚蠢的《Looney Tunes》节目中可怕的红色怪物正四处走动。” 　　用AI给出的判断是负面情绪的、有攻击性的，并归类为噩梦，如下图所示