我们已经准备好了Token,也已经知道了上下文无关文法，每个非终结符对应一个解析函数，利用函数之间的递归调用模拟语法树自上而下的构造过程，现在我们将前面的数学表达式构建为AST。...

如果说词法分析（Lexical Analysis）是将一段字符串输入生成一个个Token的这么一个过程，那么语法分析（Syntax analysis）就是根据某种特定的形式文法（Grammar）对 Token 序列构成的输入文本进行分析并确定其语法结构的一种过程，也可以理解为依据语法规则，把 Token 串转化成 AST的过程，核心知识点就是要会书写语法规则和掌握上下文无关文法以及递归下降算法，语法分析的过程会使用自顶向下或者自底向上的方式进行。👏...

学习了词法分析之后，就来一波实操，我们仿造golang的源代码做一个简单的词法分析，由于是学习，我们尽量做得清晰一点，不涉及优化部分，分别设计三个包token、scanner、lexer，token用来描述数学表达式最基础的组成，scanner是一个扫描器，lexer产生Token 。 # Token ```go type Pos int type Token struct { Lit...

准备了一段时间，终于到第二阶段了，词法分析（Lexical Analysis）其实就是将一段字符串输入生成 一个个 Token 的这么一个过程，也可以叫 Token 序列化，词法分析器在英文中一般叫做 Tokenizer，这里也会涉及到有限自动机，它包含了 DFA 和 NFA。...