词法分析器
词法分析器是一个程序，它的任务是从源程序中提取单词。比如从源程序中提取出保留字，标识符，常数，运算符等单词符号。
词法分析器的结果是输出单词（token），通常是二元式（单词种别，单词自身的值）。
单词种别的划分，是如何设计编译器层面上的事情。可以将所有的保留字视为一种，也可以将每个保留字都视为一种。不过通常是将每种单词视为一个整数码，这样方便处理。
单词自身的值，如果一个单词种别只包含一个单词， 那么其种别编码就是其自身的值。 对于标识符和，其在符号表的入口指针作为它自身的值。
状态转换图
状态转换图对于单词的识别是可行的。只要构造出相应语言的单词的状态转换图，那么单词的识别是非常容易的。
正规式
可以将状态转换图的概念加以形式化，那么就是正规式。正规式用数学语言描述了状态转换图。可以用程序对正规式构造相应的状态转换图。
那么只要将状态图加以形式化，那么就可以自动生成词法分析器。
来源：https://www.cnblogs.com/beMaster/p/5066373.html