句子

【笔记】李宏毅 -- ELMO、BERT、GPT

ε祈祈猫儿з 提交于 2020-04-07 19:56:19
1.背景知识 one-hot -> word class -> word embedding 不过传统的word embedding解决不了多义词的问题。 2. ELMO 为了解决上述问题,首先有了ELMO。 它是一个双向的RNN网络,这样每一个单词都对应两个hidden state,进行拼接便可以得到单词的Embedding表示。当同一个单词上下文不一样,得到的embedding就不同。 当然也可以搞很多层,每一层得到的embedding都要。 根据下游任务,可以得到不同embedding的权重。 3. BERT BERT只是Transformer中的Encoder,那Bert怎么训练呢?有两种方法。 第一个称为Masked LM,做法是随机把一些单词变为Mask,让模型去猜测盖住的地方是什么单词。 假设输入里面的第二个词汇是被盖住的,把其对应的embedding输入到一个多分类模型中,来预测被盖住的单词。 另一种方法是预测下一个句子,这里,先把两句话连起来,中间加一个[SEP]作为两个句子的分隔符。 而在两个句子的开头,放一个[CLS]标志符,将其得到的embedding输入到二分类的模型,输出两个句子是不是接在一起的。 实际中,同时使用两种方法往往得到的结果最好。 在ELMO中,训练好的embedding是不会参与下游训练的,下游任务会训练不同embedding对应的权重

你最喜欢的八个字的句子

我的梦境 提交于 2020-04-06 12:46:04
1.凡是过去,皆为序章。——莎士比亚 16.家人闲坐,灯火可亲。——汪曾祺 17.一思尚存,此志不懈。——胡居仁 19.慎终如始,则无败事。——《道德经》 26.一切皆流,无物常驻。——赫拉克利特 51.不忘初心,方得始终。——《华严经》 来源: oschina 链接: https://my.oschina.net/u/4282347/blog/3220471

day3

做~自己de王妃 提交于 2020-04-06 12:21:19
1. 太阳从西边落下。 【我的答案】The sun turns down in the west. 【标准答案】The sun sets in the west. 【对比分析】turn down ,1 to turn the switch on a machine such as an OVEN,radio etc so that it produces less heat,sound etc;2 to refuse an offer ,request,or invitation set in ,to fasten something into a flat surface so that it does not stick out from it 【解题思路】The sun(主语) sets(谓语) in the west(状语). - 内部关系:动作关系 - 句子时态:一般现在时 - 句子成分:主谓+状 【扩展】 2. 他们暂时待在北京。 【我的答案】They stay in Beijing 【标准答案】They are staying in Beijing. 【对比分析】暂时待在北京,说明现在正在北京,所以是现在进行时,只是表示现在待着,之后会不会待不知道。且stay 有暂住 逗留的意思 【解题思路】They(主语) are staying(谓语) in Beijing(状语

c++句子逆序——substr函数

|▌冷眼眸甩不掉的悲伤 提交于 2020-04-03 21:24:11
#include <iostream> using namespace std; #include <string> // hello world ->world hello int main() { string s, s1, s2; int flag = 0, i = 0; getline(cin, s); for (int j = 0; j < s.size(); j++) { if (s.at(j) == ' ') { s1 = s.substr(flag, j - flag); if (i == 0) { s2 = s1; i++; } else s2 = s1 + " " + s2; flag = j + 1; } if (j == s.size() - 1) { s1 = s.substr(flag, j - flag + 1); s2 = s1 + " " + s2; } } cout << s2; return 0; } 来源: https://www.cnblogs.com/xufeng123/p/12628857.html

c++句子逆序——堆栈实现

∥☆過路亽.° 提交于 2020-04-03 21:06:29
#include <stack> #include <string> using namespace std; int main() { stack<string> ss; string s; while (cin >> s) { ss.push(s); } while (!ss.empty()) { cout << ss.top(); ss.pop(); if (!ss.empty()) cout << ' '; } cout << endl; return 0; } 来源: https://www.cnblogs.com/xufeng123/p/12628865.html

英语复习安排

天大地大妈咪最大 提交于 2020-03-24 01:16:49
本文参考自 https://www.zhihu.com/question/312253149 前期(--7月) 主要任务 :这个时期主要是记单词,把考研英语单词反复记忆几遍,在可可英语中观看双语期刊,跟着翻译 具体方法 1.背单词 每天记单词,单词量逐步提升,边看单词边读出来,增加记忆效果。 看单词回忆汉语,不建议反复抄写。(花费时间长) 第二天重复记忆一遍前一天的单词,遗忘的重新再记几遍。 2.读英文资料 在可可英语上找期刊,对着原文翻译,不懂的进行查阅。 3.长难句翻译 每天两到三个句子,重在坚持 分解句子,越细越好。 自己翻译一遍句子,尽量通顺。 与原文翻译进行对比,重点查看语法与生词,反思自己问题。 中期(7--11月) 主要任务 做真题,边做真题边记忆真题中出现的生词,反复记忆 第一遍(7--9月) 重点复习阅读,略作其他题型。熟悉历年阅读文章以及出题方向,摘抄阅读中陌生的单词以及翻译错误较多的句子。3-4天完成一套真题。 先做阅读部分,做阅读的时候,先 快速浏览一遍选项和问题 。 阅读正文的时候,注意 分析句子的结构和文章的时态 (简单句、复杂句或者复合复杂句等等)。 注意圈出but, and, or, however, moreover 等 并列词和转折词,防止反向干扰,无中生有以及以偏概全的选项. 答案中有比较模糊的两个选项,在做的时候就全部圈出来

二、动词分类

99封情书 提交于 2020-03-23 13:31:21
英语中动词最基本的分类: 实义动词、助动词、情态助动词 三类。 实义动词(Notional verb) 特点: 从词义角度来看,实义动词具备完整的词汇意义; 从在谓语中的作用角度来看,实义动词能单独充当句子谓语。 英语中除了助动词和情态动词以外,其他的均为实义动词 。 助动词(Auxiliary verb) 特点: 从词义角度来看,助动词不具备词汇意义; 从在谓语中的作用角度来看,助动词不能单独充当句子谓语,它必须和实义动词连用, 以构成各种时态、语态、语气、否定和疑问 等。 助动词有: be:am, is, are, was, were, been, being do:dose, did have:has, had, having 助动词 变化形式 功能 例句 be am, is, are, was, were 等 帮助构成进行时态 I am studying grammar. 我正在学习语法。 He is playing football. 他正在踢足球。 帮助构成被动语态 I was cheated. 我被骗了。 do dose, did 帮助实义动词构成否定 I do not like English. 我不喜欢英语。 帮助实义动词构成疑问 Do you like English? 你喜欢英语吗? have has, had 帮助构成完成时态 I have studied

7 实意动词的特征

别等时光非礼了梦想. 提交于 2020-03-06 11:42:28
实意动词的特征 之前Be动词是无意义的,只是做连接的作用。实意动词是有实际意义的词。 实意动词 come来 read读 go去 watch看 play玩 fly飞 He comes from Shenyang. 他来自沈阳。 这里的实意动词comes使用了单三形式 单三 :句子是一般现在时,主语是第三人称单数时,要使用动词的单三形式。通常是把动词添加s或es,或把y改i再加es.这里的comes作谓语,from是介词,from Shenyang介词短语。 She is reading story books. 她正在看故事书。 Be + doing结构为现在进行时。 通过这两个句子的对比, 总结出动词应该有时态的变化。 They went to America yesterday. 他们昨天去美国了。 went是go的过去时无规则变化词。句子是一般过去时,所以go应该变为went。 We have watched the game for three times. 我们看这个游戏已经三次了。 句子为现在完成时,表示动作已经发生/完成,对现在造成影响,可能会继续发生,可能到现在就结束了。 My mother will fly back to China next month. 我的妈妈将在下一个月飞回中国。 句子为 将来时 ,动词不会发生变化,只需在动词前加 will ,表示将会发生

相关系数之余弦相似度

∥☆過路亽.° 提交于 2020-03-05 04:56:43
向量余弦相似度 余弦距离,也称为余弦相似度,是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。 余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似,夹角等于0,即两个向量相等,这就叫"余弦相似性"。 上图两个向量a,b的夹角很小可以说a向量和b向量有很高的的相似性,极端情况下,a和b向量完全重合。如下图: 如上图二:可以认为a和b向量是相等的,也即a,b向量代表的文本是完全相似的,或者说是相等的。如果a和b向量夹角较大,或者反方向。如下图 如上图三: 两个向量a,b的夹角很大可以说a向量和b向量有很底的的相似性,或者说a和b向量代表的文本基本不相似。那么是否可以用两个向量的夹角大小的函数值来计算个体的相似度呢? 向量空间余弦相似度理论就是基于上述来计算个体相似度的一种方法。下面做详细的推理过程分析。 想到余弦公式,最基本计算方法就是初中的最简单的计算公式, 计算夹角 的余弦定值公式为: 但是这个是只适用于直角三角形的,而在非直角三角形中,余弦定理的公式是 三角形中边a和b的夹角 的余弦计算公式为: 公式(2) 余弦定理推导过程: 方法一: 方法二: 在向量表示的三角形中,假设a向量是(x1, y1),b向量是(x2, y2),那么可以将余弦定理改写成下面的形式: 向量a和向量b的夹角 的余弦计算如下 向量点乘及推导过程: 点乘的结果是一个标量

C++_句子逆序_华为上机笔试

有些话、适合烂在心里 提交于 2020-03-04 06:19:42
题目描述 将一个英文语句以单词为单位逆序排放。例如“I am a boy”,逆序排放后为“boy a am I” 所有单词之间用一个空格隔开,语句中除了英文字母外,不再包含其他字符 ////////////////////////////////////////////// 接口说明 /* 反转句子 @param sentence 原句子 @return 反转后的句子 */ public String reverse(String sentence); 输入描述 将一个英文语句以单词为单位逆序排放。 输出描述 得到逆序的句子. 输入 I am a boy 输出 boy a am I 思路 直接依靠空格进行识别分割字符串的方法理论上是可行的,但是过于繁琐,不妨换一种思路,将空格直接改为 ‘\0’ (字符串结束标志)。 可以理解为在内存中将一个字符串分割成了多个小字符串。 改成 ‘\0’ 的方法很秀,源自 soeben 大佬的笔下,文末有贴上出处。 1、搭建函数框架 2、倒序遍历字符串(从尾到头) 3、遇到空格之后将其改为 ‘\0’ 。 4、利用sstream中的ostringstream串接逆序字符串,作为函数处理结果输出。 # include <iostream> # include <cstring> # include <sstream> using namespace std