开映射定理和闭图像定理及其应用 - dhchen的文章 - 知乎 https://zhuanlan.zhihu.com/p/28093420
泛函分析随记(一)Hahn-Banach定理 - 陆艺的文章 - 知乎 https://zhuanlan.zhihu.com/p/53079862
hahn banach延拓定理里的一小步? - 知乎 https://www.zhihu.com/question/263942231
小完结:Hahn-Banach定理及其应用 - dhchen的文章 - 知乎 https://zhuanlan.zhihu.com/p/28496285
泛函分析在经济领域有什么应用吗? - 知乎 https://www.zhihu.com/question/31913447
泛函分析在经济学中的作用有以下几点: 1.价格体系本身是商品空间上的一个线性泛函,利用Hahn-Banach定理我们可以非常容易地证明福利经济学第二定理。 2.要想严格地掌握最优控制,需要泛函分析的基础。只是单纯应用的话倒不必要,但是我还是强烈建议经济学的博士生应该掌握Banach空间的微分学,这不光是变分法的问题,而且涉及到经济学很多常用的非线性动力学问题。 对于随机最优控制问题,我们一般有随机Pontryagin最大值原理和Hamilton-Jacobi-Bellman方程两种主要处理方式,HJB方程收敛性需要压缩映射原理。详情见卢卡斯《经济学动态递归方法》。 3.金融数学中的资产定价基本定理需要依靠Hahn-Banach定理的几何形式(凸集分离)以及Riesz表示定理。 4.不动点论证。这一块严格来说属于拓扑学而非分析学,不过泛函分析中很大一部分都在讲拓扑方法。一般均衡理论是这一块内容的标杆,在更复杂的问题中,当一般的不动点定理都失效的时候,我们需要借助映射度,作为最终的解决手段。 总之,就我了解的前沿现代宏观经济学来说,泛函分析与拓扑学的作用日益显著,一如他们在量子力学和广义相对论中的那样。 作者:不变叶层 链接:https://www.zhihu.com/question/31913447/answer/112855460 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 补充一个更简单的,banach不动点定理,也称作压缩映射定理。一般宏观给出一个动态优化问题,然后写出HJB方程,做value function iteration。只要能证明是压缩映射,那么值函数收敛,就可以数值逼近了 | |
听说纳什均衡存在性的证明用到了Brouwer不动点定理。 还有角谷静夫定理在证明经济学市场中全局平衡的存在性有很大作用。 | |
从共鸣定理谈起 - gajet的文章 - 知乎 https://zhuanlan.zhihu.com/p/48490417
从闭图像定理看算子的有界和连续 - gajet的文章 - 知乎 https://zhuanlan.zhihu.com/p/49276709
什么叫做泛函空间的大数定律? - 知乎 https://www.zhihu.com/question/27462946
什么叫做泛函空间的大数定律? - 知乎 这个问题问得很深刻,人们花了很长的时间才领悟到这个问题的答案,所以解释起来有点费力。我这里尝试性地做一个解释。 首先,我们需要搞明白三件事情:什么是一个学习问题、什么是风险最小化、什么是经验风险最小化归纳原则。 什么是学习问题? 对于一个学习问题而言,给定了训练样本 ,而训练的样本是根据联合分布抽取的个独立同分布的观测。学习问题就是从给定的函数集中选出能够最好地逼近训练样本的函数,换句话说,就是用最优函数估计样本背后蕴含的统计规律——用估计。注意,是参数集合,参数并不一定必须是向量,可以是任意多抽象参数。 什么是风险最小化? 风险最小化是用损失函数 表示输入的真实响应与预测之间的差异,它的期望又被叫做风险泛函:由于我们的概率测度未知,所有可用的信息都来自训练样本。所以学习,又可以说成是在经验数据(训练样本)的基础上,最小化风险泛函。 什么是经验风险最小化归纳原则? 显然,我们并不知道概率测度,所以风险泛函并不能直接的计算和最小化。 根据大数定理,人们就很自然的想到用算术平均来代替风险泛函,从而又定义了经验风险泛函 ,用使得经验风险最小的函数逼近使得风险泛函最小的函数。这个原则就被称作经验风险最小化(之后我们简称ERM)归纳原则。 对于一个归纳原则,如果任何给定的观测数据,学习机器都依照这一原则来选择逼近,则我们就可以说这个归纳原则定义了一个学习过程。 那么关键问题来了,为什么需要推广大数定律? 传统的概率统计,包括大数定律,研究的都是渐近理论,换句话说就是当样本数趋向于无穷大时的极限特性。同样的,传统的模式识别几乎所有的方法都是建立在大数定律基础之上。但是,一个显然的条件是,对于任何一个实际问题来说,训练样本的数量,只能是有限的。这里就隐含了一个命题:在样本趋于无穷这个假设下得到的结论,当样本数有限的时候,任然是有效的,或者,至少是一种不错的近似。 一个很自然的想法,就是利用有限样本估计分布,从而得到样本空间的分布规律,这就是传统模式识别的基本出发点。这种在分布已知或在估计分布的基础上进行推断的方式,属于演绎推理。比如Bayes决策,是基于样本的概率分布,可以获得最优结果,保证期望风险最小。 实际上,样本空间的分布规律如果已知的话,所有的学习问题在理论上都可以迎刃而解了。 所以,这时候人们发展了很多密度估计的方法,比如最大似然估计、最邻近估计等等,这些对概率分布都是很好的估计方法,是一种很不错的近似。然而,强的结果需要强的已知条件,Bayes方法、最大似然估计等都需要非常强的先验知识,在实际问题当中,这是很难满足的。 而核密度估计等非参数方法,需要的观测数目又得足够多,才能保证得到对以来关系较好的逼近,当样本数量有限时,非参数方法的渐近特性也不再成立。 基于大数定律,先估计密度,然后用估计的密度来构造待求得函数,这种策略在利用有限样本解决问题时,存在缺陷,传统的模式识别里面,发展了很多的方法去“直接”寻找待求得函数(比如LDA、NN等)。这种在分布未知并不在估计分布的基础上进行推断的方式属于归纳推理。 通用的方法,都是是建立某一标准判据函数,执行梯度下降(现在的部分Deep Learning有用的是Hinton在这个世纪提出的CD算法),达到判据最优值。 选取不同的判据函数,对于计算和收敛性就会出现不同的优劣,但都是执行相同的归纳原则——随机逼近原则。这类算法的迭代停止标准,都是当学习过程达到饱和,即对训练数据中所有元素梯度值都非常小,以至于学习过程无法继续。 然而,这些的这些,基本思想是都是用ERM代替实际中无法实现的风险泛函最小化。所以,其隐含的命题是,学习过程的一致性是显然的!也就是说,概率论中的大数定律显然能够推出:对于以给定函数序列 (其中代表数据对),ERM收敛到最小可能的风险泛函。这一命题似乎符合人们的直观认识,但是却很长时间里没有被人们注意到,这是没有被证明的。 所以,实际上传统的模式识别的统计基础,实际上是有两个硬伤的: (1)并没有对ERM原则下统计学习的一致性进行分析,不能保证:经验风险的下确界能够概率收敛到风险泛函的下确界。 (2)大数定理能够保证算法的渐进性,但是只考虑了渐近性,解决样本有限的问题时,描述的仅仅只是一个极限过程,并没有对收敛速度进行分析,并不一定能够得到好的近似。 那么人们就迫切的需要解决这么几个问题: (1)ERM原则成立的条件是什么; (2)学习过程收敛速度的界; (3)小样本如何进行归纳推理; (4)如何控制学习过程的推广能力; 对这些问题的研究,一共构成了学习理论的四个核心部分: (1)学习过程的一致性。 (2)学习过程收敛速度的非渐近。 (3)控制学习过程的推广能力。 (4)构造学习算法。 关于泛函空间的大数定律,就包含在第一个部分当中,学习过程的一致性,注意,这就是当下所有统计学习理论的基础,所以说它是里程碑,不是泛泛而谈。 那么,如何保证学习过程的一致性? 只有当满足一致性条件,才能保证在ERM原则下得到的最优方法当样本无穷大时趋于使得风险泛函的最优结果,只有满足一致性条件,才能说明我们的学习方法是有效的。 在看一个关键性的定理之前,我们需要确切的描述到底什么才是一致: 对于损失函数集 的任意非空子集都有成立,我们就说ERM方法对函数集和概率分布函数是一致的。 那么对于这个定理: 设函数集满足条件那么EMR原则一致性的充分必要条件是:经验风险在函数集上以如下意义一致收敛于期望风险: 所达到的效果,就是把ERM方法的一致性问题转化为一个一致收敛的问题。 因此,如果函数集 中只包含一个元素,由统计学中的大数定律可以立刻得到上述定理的成立。若函数集中包含有限个中包含有限数目N个元素,统计学中的大数定律,仍然可以证明出上面的定理。可惜是,当函数集中存在无限多个元素时,统计学的大数定律就失效了,无法得到上面的定理。所以我们这才迫切的需要泛函空间的大数定律(在函数的空间)。 至于为什么,我想这个答案的篇幅有点长了,简短的篇幅不足以解释这些,如果题主感兴趣,可以参考最后给出的参考文献[1]。 综上所述,统计学习理论的统计基础(里程碑)是泛函空间的大数定律(在函数 的空间),而不是传统概率统计的大数定律(在样本空间中)。 进一步阅读的参考文献 [1] Vladimir N. Vapnik著. 统计学习理论的本质. | |
| |
用Banach逆定理推导开映射定理的过程实际上可以吸收进Banach空间的基本同构定理。
1.开映射是一个重要的拓扑学概念,先讨论容易想到的Banach逆定理,再通过求导算子的例子强调到上条件
2.完备性分别产生第二纲与闭图像效果,要区分闭算子与闭图像算子,再讨论闭图像算子与连续算子的关系。
3.由Banach逆定理可导出开映射定理,然后能推论中范数比较定理,最后通过定义图范数得到闭图像定理。
完备性使得Banach空间的线性维数不是可数的,请看博文:为什么不存在可数维Banach空间
只要不考虑度量结构,有限维的Banach空间与欧式空间相差无几,具有很多良好的性质,那么在这个基础上是不是可以进一步推广呢?一个自然的想法就是所谓的可数维空间,但实际上可数维Banach空间是不存在的,这是一个多少有点令人惊讶的结论!
有的学生也许会有疑问,我好想听说过可分Hilbert空间是可数维的,既然Hilbert空间是一种特殊的Banach空间,那么不就是说存在着可数维的Banach空间吗?其实,这里两个维数的概念是不同的,在Hilbert空间中我们一般默认的是正交维数,而Banach空间中则是指线性维数。事实上,当正交维数是可数无限的时候,其线性维数是不可数的。其实,对于Hilbert空间,我们有更加简明的处理方案,详见Halmos的《Hilbert空间问题集》第一章内关于线性维数的问题。
要说明不存在可数维Banach空间,一般泛函分析书中都用纲(category)来进行讨论,这里我准备先做个直观说明,它实际上就是对纲这一概念的动机阐释。请注意,下文的讨论尽管非常直观,但在逻辑上并不是很严格的,只是算是指指点点而已。
先讨论开集的存在性,把开集换成开球(不带边界的小球)更加直观,但并不影响具体的结论。先考虑直线上是否包含开集存在,一般人可能觉得这是显然的,但我们要发挥一下某小研究生鸡蛋里面挑骨头的精神,问一维直线中有没有二维的开球,那自然就是找不到的啦!既然二维的都找不到,那么三维、四维乃至无穷维当然更是无从寻觅了。
当然啦,非要装二维开球的话,至少就需要二维空间,也就是说平面。可某小研究生又要在鸡蛋里挑骨头,非要在二维平面上找三维的开球,那自然还是找不到的,四维、五位就更不用说了。同样到底,三维空间中也没有四维开球,四维空间中也没有五维开球,任何有限维空间中自然不会有无穷维的开球!
不仅低维空间中找不到高维的开球,而且有限个乃至可数个低维空间的并集中也容不下一个高维开球。要想能够包容高维个球,这个并至少得是不可数并。比如平面就可以看成是不可数个直线的并,若只是可数个直线的并,其中一定会有空隙的地方,因此容不下一个二维开球的。
做完这些准备工作之后,我们可以得到第一个结论,可数维赋范空间不包含开球。假设可数维Bananch空间X存在,则它必有一个Hamel基{ei},令Xn是由{e1,…,en}张成的有限维空间,则各Xn均不包含无穷维开球,因此X作为它们的可数并也不包含无穷维开球,即便这个开球只是可数维的。
下面我们就要问一个问题,我们的空间是否可以真的不包含开球呢?实际上,只要空间的维数与球相同,那么在理论上是应该存在开球的,如果不存在的话,就说明有某种洞在妨碍着。一个经典例子就是实数R中的有理数Q,任何R的开球内都有无理数,也就是说Q中不包含开球,实际上R\Q中也同样不包含开球。当然,假若取诱导拓扑的话可以容忍有洞的开球,但这个诱导带有某种强迫的意味,这里我们讨论的是在原先空间中的天然开球。
我们知道Banach空间就是完备的赋范线性空间,这就说明它实际上没有洞,因此其自身的开球总是存在的,但上文的讨论已经说明了可数维Banach空间中确实没有可数维开球,这就导致了矛盾!
在这样的动机下,我们可以专门定义纲的概念,本质上就是开球的存在性与与否。先定义闭包不含内点的集为无处稠密集,也就是说补完洞之后还不包含开球,然后再定义第一纲集为无处稠密的可数并,否则就称为第二纲集。尽管就只有这么两大类,但确实能够说明不少问题,对此在Rudin的《泛函分析》中不失幽默的评论说:“这个术语(属于Baire)是公认的平淡无味和缺少启发性的,在某些教科书中采用贫乏集和非贫乏集来代替。但是‘纲推理'是这样牢固地置身于数学文献之中并且如此著名以致于使坚持要改变它的努力看起来是徒劳的”。
这样一来,上述讨论在泛函分析中就被简化成了两句话,可数维赋范空间是第一纲的,而Banach空间作为完备度量空间是第二纲的,因此就不存在可数维Banach空间!
那个纲也是衡量集合大小的一个标准啊!请看博文:漫谈集合比较:基数、测度与纲
https://www.zhihu.com/people/gajet/posts
一般线性变换以及傅里叶变换,欧氏变换,仿射变换,余弦变换,小波变换,拉普拉斯变换,Z变换,希尔伯特变换等等这些所谓的变换太多了,这些到底搞得是什么?怎么像云像雾又像风呢?怎么才能彻底理解它们?它们究竟解决什么问题?这个问题目前到底解决的怎么样了?下面引用两个教师的感慨:第一个老师说:我退休后一个最大的愿…
泛函分析讲到希尔伯特空间的时候,有一条主线,引入一系列的概念,大体按照内积的概念,希尔伯特空间的概念,投影的概念,直角系的概念,共轭算子的概念,投影算子的概念,双线性hermit泛函的概念,最后终于到了谱积分,谱系和谱测度以及谱分解的概念。仔细分析一下就会发现这一系列的概念都是为了引入谱测度,谱系和谱积分…
教材164页有闭图像定理,具体内容是:设 是两个Banach空间, 是 到 的闭线性算子,如果 是 中的闭线性子空间,那么 是连续的。 该定理的意思就是一个闭线性算子从一个Banach空间的闭线性子空间映射到另外一个Banach空间,那么个闭线性算子就是连续算子。下面我们就挨个讨…
学习泛函分析的时候,第一部分也就是度量空间还是很容易理解的,其原因是度量空间有确切的背景,也就是以欧氏空间为背景,无论是距离,范数,赋范线性空间,Banach空间,映照,连续性,稠密性,完备性,致密集等等这些概念,我们都能找到欧氏空间的概念和它对应,或者从欧氏空间出发来理解。但是学到第二部分有界算子的时候…
教材P124中第10行有一个具体的例子即: 的共轭空间 是 。这个证明其实就是构造一个同构映照,使得共轭空间 和 同构,就是抽象空间 使用具体空间 表示出来,也可以说这两个空间相等,也就是存在一个同构映照,在这个映照的意义下,这两个空间相等。 下面的问题立刻就来了,第1问题就是 到底是什么东西…
以上几个概念实在容易混淆,本文此处给以辨析,首先给出概念,然后进行具体分析。 (一) 这几个集的概念。(1) 完备空间:这个空间当然也是一个集,具体定义是:度量空间 R 中每个基本点列都收敛,称R为完备空间;(2)致密集:设R是度量空间,A是R中的集。如果A中的任何点列必有在R中收敛的子点列…
在泛函分析中,C[a,b]是一个Banach空间,也就是完备的赋范线性空间,这个范数的定义就是行范数。C[a,b]就是在区间[a,b]上所有连续函数的集合,并定义了行范数。C[a,b]既然是完备的,那么必然满足完备的定义,也就是:该空间的每一个基本点列都收敛。放在本空间的定义就是基本函数列都收敛,因为完备空…
在讨论度量空间的稠密性的时候,涉及到一些概念,下面我们逐一进行讨论一下,以区分不同,方便理解和记忆。 (一)稠密:设R是度量空间,A及E是R中的点集。如果E中的任何一点的任何环境都含有集A中的点,就称A在E中稠密。教材里面好像也称呼A为稠密子集。仔细推敲这个概念,需要特别注意的是A和E都是一个度…
我们先来看看度量空间极限点的定义:设 是度量空间, 是 中的集,对于 ,如果 的每一个 -环境中都还有 中无限个点,那么称 是点集 的极限点。 这个概念特别要注意几个问题,我们举例说明。因为只有直线点集最为直观,因此多数情况我们以直线点集为例来说明。 (1) 设 是实数直线的子空间…
集合可能是最为基本的概念了,也就是一些元素组成的数据集,集合的特点就是元素的无序性,唯一性和确定性。现在在集合概念的基础上加一个条件,就是元素之间有关系了,只要讨论到元素之间的关系,这时候的集合的概念就升级了,升级到空间了,换句话话说,元素之间有关系的集合就是空间。那么这个关系是什么呢?那就看定义了,不同…
1、商集的定义是:设 是集 上的一个等价关系。又设 是集 中等价类全体( 中元素是 ),称 是集 由等价关系而导出的商集,记为 。因此商集的理解有下面几点: (1) 商集的符号记作为 ,因此看符号就知道和集合 有关,还和等价关系有关; (2) 商集不仅仅是一个集合,还是一个集类,也就是商集中每一个元素都是一个…
略 这个小题的证明不知道下面的证明是否简洁,若有网友见到更好的证明,可以补充 令 ,则过 的直线记为 , 容易证明该直线上在这两点之间的任一点坐标为 ,而对于幂函数 ,在点 处的函数值为 ,显然该幂函数曲线和直线 相交于 两点,而在区间 上幂函数的曲线在直线 下面,即有 ,也就是 。当 为任意实数的时候有 。证毕。…
P5. 第15行"就说点列 按照距离 收敛于记作”,应该修改为“就说点列 按照距离 收敛于 ,记作”。 P7. 正文倒数第2行,“对于任意的复数”,根据上下文似乎应该修改为“对任意的实数”; P13. 倒数第9行到第14行,所有的 上标的数字可能都应该是下标,如果按照教材这种写法容易误解成 的 次方…
可能有错误,欢迎网友指正,可以直接在本专栏下面投稿指正。 1. 设 是可测空间 上广义测度,证明 都是 上测度,举例说明 不是 上的测度。 证明:该题表达出现了错误“ 不是 上的测度”,应该修改为" 不是 上的测度",因为没有对某个具体的测度值表达成测度这种说法,如果修改为下面这种表达倒是可以的“ 不是 上的 的测度”,…
1. 根据广义测度的定义,广义测度是两个测度的差,要求其中一个测度为有限测度,也就是对于任何一个可测集 ,有两个测度 使得广义测度 满足: ; 2. 根据广义测度的定义,很显然得出广义测度和测度的主要区别就是测度要求满足非负性,而广义测度可能为负,其它特性比如空集的测度为0,可列可加性都满足。还有一个区别就是…
本人的解答,欢迎网友批评指正。 1. 证明:充分性。对任意一族互不相交的开区间 ,都有 ,这表明对于任何一组分点, 对这个分点组的变差是有界的,也就是 是有界变差函数,也就是有限函数,而又根据条件,有限的互不相交的开区间就是一族开区间,符合全连续的定义,故可以得出 是全连续的。 必要性。假设对于一族互不相交的开区…
本人的解答,欢迎批评指正 10. 设 是测度空间 的集 上可测函数,如果(I) 存在 上可积函数 ,使得 ; (II) 在 上几乎出处收敛于可测函数 ,那么必有 证明:该题有点奇怪,已知条件就是几乎处处收敛函数列控制收敛定理的已知条件,该题目可以改写为:由几乎处处收敛函数列的控制收敛定理推出函…
三个极限定理,也就是控制收敛定理,levi引理以及fatou引理,需要进行比较以方便记忆和理解。讨论函数列的极限和积分之间的性质也微积分基本的问题,讨论过这个问题为什么重要,就是因为函数积分的完备性对于讨论测度空间十分重要。极限定理要解决的问题就是 是否成立的问题,也就是积分和极限位置交换问题,对于这个问题…
在研究可测函数时,有三个空间的概念,分别是可测空间,测度空间以及完全测度空间,这三个空间需要加以辨析,否则容易糊涂。在辨析之前,我们来看看什么是空间。首先空间是一个集合,也就是集合的性质,空间都有。那么空间和集合的区别在于集合没有结构,而空间有结构,这样一来,我们看的很清楚:空间是有结构的集合。现在第二个…
对L测度和L-S测度的概念,时间长了就容易混乱,不是这个两个概念之间混淆,而是m测度,m外侧度和L测度的概念容易糊涂,同样g测度,g外侧度,以及L-S测度容易混淆,下面给以辨析,目的是以后忘记了可以随时复习。 一、L测度 (1) m测度 该测度针对的是 中的子集,是这样定义的: , ,其中…