目录戳这里
词法分析的工作是，将输入的字符串转化为结构清晰的Token
通常来说，这个Token需要包含两样东西，词 和 类型
##词
什么是词呢？例如，输入串如下：
val num = 3 * 7
从直觉上（语法高亮也帮助了我们）可以看出，它由如下几部分组成
val num = 3 * 7
我们不会把val拆成v al或者其他什么形式，因为它是一个“词”
“词”表示用于解析的最小单元。词的规定很宽泛，像emoji语言，它的一个词很可能就是一个emoji图像(虽然我没研究过不过大概如此吧。。)而对于主流的编程语言，词通常为一串字母，数字，某些特殊符号（运算符）
注：如下方式的原理和自动机一致，但是性能没有自动机高。好处在于手写实现几乎不可能出错。
在Latte中，词有如下规定 Scanner.java#L95
如下的符号
// SPLIT
".", ":", "::", "=", "+=", "-=", "*=", "/=", "%=", "<<", ">>", ">>>", "&", "^", "|", "~", "^^", "!", "&&", "||", "!=", "==", "!==", "===", "<", ">", "<=", ">=", "+", "-", "*", "/", "%", "++", "--", "@", "=:=", "!:=", "..", ".:", "..."
// LAYER
"->"
// STRING
"\"", "'", "`"
// NO_RECORD
" "
// ENDING
","
// COMMENT
";"
// PAIR
"{", "}", "[", "]", "(", ")"
被视为“只要遇到便需要分割的”符号，我把它们称做“分隔符”。什么意思呢？
观察
val num = 3 * 7
它写成这些形式都应当是同一种含义
val num=3*7
val num = 3* 7
val num = 3 *7
虽然后两个看上去不太好看，但其含义不应与第一种相异
它为何会被分割为那几个小块？很明显，空格是一个“分隔符”，在空格之前的视为一个Token，在空格之后的视为一个Token。而空格本身，比较特殊，它不但是“分隔符”，还是“不需要被记录的分隔符”，将会被忽略。前后token将直接串联起来
而 * 也是一个“分隔符”，遇到*时将自动分隔前后，并且*本身也是一个词，将被记录在Token串中。
匹配串很简单，直接使用java的indexOf(str)即可。但是我们想要的并不是简单的匹配，而是“最优匹配”
例如
3<<2
首先匹配的应当为<<而不是<。因为<<长度为2，<长度为1。它们下标在同一位置，长度更长的将更加优先
3<(2<<1)
将优先匹配<，因为它的位置相比<<更靠前。
所以得出一个比较通用的结论: 最优匹配项为 1.下标最靠前 2.下标相同时长度最长
在java中也非常容易实现。首先将所有符号放到一个集合中，然后进行长度从大到小的排序。在匹配时按排序后的次序进行匹配，并记录下标。当下标更靠前时更换为匹配项为新的项
可以在这里看出来：排序 Scanner.java#L183 最优匹配 Scanner.java#L631
这样做法的扩展性极强，在修改时，只需要改动一下要修改的词即可。例如一开始设计的lambda为=>，后来经过调查（其实就是在一个java的群里问了问大家更喜欢那种＝ ＝）修改为->，仅仅改动一个字符串就完成了所有的修改。使用词法分析器生成器也可以方便的修改，但是手写自动机再修改就不太容易了。
不过这个方法也是一种DFA，和明确的状态机编程方式并没有本质区别
不过要注意的是，按上述方式分隔将产生一个对于小数的莫名其妙的结果
1.2
匹配.,分隔为1,.，然后，遇到行末，便记录2
所以token串为1 . 2 而不是1.2。幸运的是我们只会在小数上遇到这个问题(更准确的描述为 . 在不向前读时将产生歧义，这个歧义仅会在小数上出现)。在生成后做一个final check，转换一下就行了。或者每当遇到.都向前读一个字符，若为数字则，在生成时就生成为1.2
##类型 Token也有其自身的类型。
val num = 3 * 7
每个token的类型为
val : 修饰符 MODIFIER
num : 合法的名称 VALID_NAME
= : 符号 SYMBOL
3 : 数字 NUMBER_LITERAL
* : 符号 SYMBOL
7 : 数字 NUMBER_LITERAL
实际上，记录了token的“内容”也就相当于记录了token的类型。比如val，再怎么变它也是一个修饰符。所以，标记类型仅仅是出于性能和扩展性考虑（当然，由于词法分析器需要检查token是否合法，所以在检查的时候顺带加上类型也是很自然的事）。
希望看官能关注一下我的编程语言哦～ Latte
来源：oschina
链接：https://my.oschina.net/u/2441372/blog/685369