词法分析器

实验一：词法分析 一、实验目的 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。 二、实验预习提示 1、 词法分析器的功能和输出格式 词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。本实验中，采用的是一类符号一种别码的方式。 2、 单词的BNF表示 <标识符>----> <字母><字母数字串> <无符号整数>----> <数字><数字串> <加法运算符>----> + <减法运算符>----> - 等等 3、 模块结构（见课本P95-96）(可根据自己的理解适当修改) 三、实验过程和指导： （一） 准备： 阅读课本有关章节，明确语言的语法，写出基本保留字、标识符、常数、运算符、分隔符和程序例。 初步编制好程序。 准备好多组测试数据。 （二） 上机： （三） 程序要求： 1． 要求用C++Builder或者Dephi或者VB或者VC或者JAVA等可视化编程工具编写；要求有界面（即一般windows下应用程序界面）。 2． 输入为某语言源代码。 程序输入

作为从被人类理解的文本，到被计算机理解的文本的第一步，词法分析可通过扫描程序将源程序读入，并进行理解和分割为若干记号。由于扫描程序是格式匹配的一种特殊情况，所以需要研究在扫描过程中的格式说明和识别方法，其中最主要的就是 正则表达式 和 有穷自动机 。 词法分析的通常做法是： 　　1. 写出各类记号的正则表达式。 　　2. 根据正则表达式构造NFA。 　　3. 将NFA转为DFA。 　　4. 根据DFA就可以实现词法分析器。 下面根据 C-Minus的词法 来构造一个词法分析器。 以ID|NUM为例 首先写出ID和NUM的正则表达式 　　ID = letter letter* 　　NUM = digit digit* 　　letter = [a-zA-Z] 　　digit = [0-9] 然后利用Thompson结构将正则表达式ID|NUM转换为NFA。 　　首先构造letter和digit构建机器 　　接着构造ID和NUM的构建机器 　　最后构造ID|NUM的NFA 接着再利用 子集构造 将生成的NFA转换为DFA 最后根据DFA写出程序 利用子集构造模拟NFA 最小化DFA的状态数量 来源： http://www.cnblogs.com/cwblaze/archive/2010/01/28/1658109.html

词法分析的任务： 　　 首先，从阶段上来看，编译器可分为若干个中间阶段： 　　　　 　　典型的，可以包含为一个 前端 ，一个 后端 。前端接收源程序产生一个中间表示，后端接收中间表示继续生成一个目标程序。所以，前端处理的是跟源语言有关的属性，后端处理跟目标机器有关的属性。 　　更细节的， 前端 可以划分为若干个阶段： 　　　　 　　下面我们看看 词法分析器 的任务： 　　　　 　　词法分析器读入程序员写的程序，然后对字符流做切分成记号流。举个例子： 　　　　 这是一个程序员看到的字符流 　　词法分析器将字符流读入，根据关键字、标识符、标点、字符串、整形数等进行划分，形成记号流（单词）： 　　　　 　　那么就会有两个问题： 1.记号的数据结构如何定义？ 2.如何实现从字符流到记号流转换的算法？ 　　首先看 第一个问题 ，如何定义记号的数据结构，假如用C语言实现数据结构的定义，可以这样实现： 　　　　 　　举个例子：假如源语句if(x>5)，则词法分析器返回token{k=IF,lexeme=0};token{k=IPAREN,lexeme=0};token{k=ID,lexeme="X"};…… 　　【 此处小结 】：词法分析器的任务：字符流到记号流。 　　　　　　　字符流：和被编译语言密切相关（ASCII,Unicode,or……） 　　　　　　　记号流：编译器内部定义的数据结构

样例输入：if num > 100 then num2 = 100 else num2 = 0 ; # 样例输出： #include "cstdio" #include "cstring" #include "cctype" const int ERROR = -1 ; const int OVER = 0 ; const int BEGIN = 1; const int END = 2; const int IF = 3; const int THEN = 4; const int WHILE = 5; const int DO = 6; const int CONST = 7; const int VAR = 8; const int CALL = 9 ; const int PROCEDURE = 10; const int ID = 11; const int NUMBER = 12; const int PLUS = 13; const int SUB =14; const int STAR = 15; const int DIV = 16; const int MOD = 17; const int EQUAL = 18;//= const int NE =19;//<> const int LESS = 20;//< const int MORE = 21;//>

1.词法分析器的主要工作 （1）从源程序文件中读入字符。 （ 2）统计行数和列数用于错误单词的定位。 （ 3）删除空格类字符，包括回车、制表符空格。 （ 4）按拼写单词，并用（内码，属性）二元式表示。 (属性值——token 的机内表示) （ 5）如果发现错误则报告出错 （ 6）根据需要是否填写标识符表供以后各阶段使用 2.单词的基本分类 关键字：由程序语言定义的具有固定意义的标识符。也称为保留字例如if、 for、 while、 printf ； 单词种别码为 1。 标识符：用以表示各种名字，如变量名、数组名、函数名； 常数： 任何数值常数。如 125, 1,0.5,3.1416； 运算符： +、 -、 *、 /； 关系运算符： <、 <=、 = 、 >、 >=、 <>； 分界符： ；、，、（、）、 [、 ]； 3.有限状态机 4.程序流程图 5.以下为完整代码 //compiler #include<iostream> #include<ctype.h> #include<cstring> #include<cstdio> using namespace std; const char *k[12] = {"for","if","else","do","while","return","int","char","short","float","double","string"}

由于时间太少，偶尔才花点时间谢谢这个，废话不多说，下面来简单讲解下词法分析器的实现过程。 一下内容包括： 1：讲解简单词法分析器的实现 2：用C语言验证 注意：词法分析器可以用在命令解释器上，原理是一样的。 首先词法分析器的任务就是识别单词的属性，比如在编程语言中是关键字还是标识符或者是数字等等，这些工作就是词法分析需要做的。 下面我们来通过一个非常简单的例子来说明如何让构建。 假设现在又一下关键字需要识别，其id号已经做了下面规定，如果待检测的单词不在其中，则视为标识符，并保存其标识符，如果在其中，则输出id号。 关键字 ID uint8 1 uint16 2 uint32 3 int8 4 int16 5 int32 6 if 20 for 21 while 22 switch 23 case 24 goto 25 那么如何来识别出单词呢？ 一个简单粗暴的方法就是直接判断，我们将其全部定义为字符串， 一个一个判断，这种方式最简单易懂，但是这种方式的效率极低 ，效率低的原因就是每次对其进行遍历，从头开始匹配，如果匹配返回，如果不匹配，继续下一个，这样时间并不确定，而且在最坏情况下的时间复杂度为O(N)。如果将其在嵌入式上面用过命令解释器，基本不可靠。所以下面来说在利用状态机实现该过程，时间复杂度为O(1)，即不管输入那种类型，只需要一次便可得到输出结果，并不需要反复遍历