NLP从入门到放弃_IBM Model1
IBM Model1 IBM Model 是统计机器翻译中的经典翻译模型 IBM Model1仅考虑了词和词之间的互译概率 记录学习 lecture-ibm-model1 的过程 学习 外来句子, foreign sentence f = ( f 1 , . . . f l f ) f=(f_1,...f_{l_f}) f = ( f 1 , . . . f l f ) ,长度为 l f l_f l f 英文句子, english sentence e = ( e 1 , . . . , e l e ) e =(e_1,...,e_{l_e}) e = ( e 1 , . . . , e l e ) ,长度为 l e l_e l e a, alignment 外来句子中的词和英文句子中的词的对应关系,假设英文句子中的 e j e_j e j 对应外来句子中的 f i f_i f i (相同意思),则对应关系为 a : j → i a:j\rightarrow i a : j → i 目标函数, P ( a ∣ e , f ) P(a|e,f) P ( a ∣ e , f ) ,以给定的外来和英语为条件,找出其alignment 参数估计,EM算法 假设是需要将外来句子翻译成英文句子 目标函数 pdf中先给出了一个公式 p ( e , a ∣