OK,书接上文,今次这篇博客是准备说语法分析。
其实词法分析和语法分析可以说是一体的。词法分析用于分析输入的单词,将其一一分门别类。语法分析分析已经分门别类好的单词,看其组成的句子是否符合语言的文法。
首先,先确定一个简单的文法:
S -> if ( M ) { N }
S -> N
M - > P == P
p -> id | digit
N -> int id ; | int id = num ; | Q;
Q - > id = E
E - > E + T | T
T - > id | digit| ( E )
这是一个非常简单的java风格文法,大家一眼就能看出来它的意思了。这段文法会匹配如下的句子:
if(1 == 1)
{
int p = 1;
}
就如从正则表达式可以构造出词法分析器一样,也存在语法分析器的生成器之类的工具,可以用来构造预测分析器。相关的算法有LL(1)、LR(1)等。本文涉及的文法比较简单,符合LL(1)文法,不需要用到LR(1)这样强大而复杂的推理。因而本文准备用递归下降算法来构造预测分析器。
LL(1)文法代表从左到右分析、最左推导和超前查看一个符号。为了确认一个文法是否是LL(1)文法需要构造LL(1)分析表,而为了构造LL(1)分析表又需要计算文法的FIRST和FOLLOW集合(详细的算法可以自行百度,这里就不列出)。
记得第一次看LL(1)描述时看的头晕眼花,云里雾里的。后来自己干脆动手写程序时,就突然一下子明白了,为了要有这些步骤,这些步骤到底用来做什么的?
直接用例子来说明,以S -> if ( M ) { N }、S -> N 来说,我们要如何写匹配这段文法的程序了?
1.获取下一个字符t;
2.根据t,判断是走if ( M ) { N }这条路了,还是走N这条路;
3.如果t == 'if',而N的首字符没有'if'的情况,那就妥妥的走if ( M ) { N },反之也一样;
4.如果N -> if blabla,那么我就傻眼了,到底应该怎么判断了?
如果真出现4中的情况,那么这个文法就不是LL(1)文法。因为从左到右只超前读一个字符无法推导出一个唯一的结果。
事实上,无论是消除左递归、计算FIRST集合、计算FOLLOW集合都是为了确认当前文法在出现分岔路时,每个分支的首个终结字符不相同。
本文的文法比较简单,直接消除左递归后得到满足LL(1)的文法:
S -> if (M) {N}
S -> N
M -> P == P
P -> id | digit
N -> N1 N11 | E
N1 -> int id
N11 -> = num | null
E -> TE1
E1 -> + T | T
T -> id | digit | (E)
然后直接根据这个就可以得到下面的程序啦:
def S():
#下一个字符,用于预测
token = seeToPretict();
if(token == 'if'):
eat('if');
eat('(');
M();
eat(')');
eat('{');
N();
eat('}');
pass
elif(token == 'id' or token == 'digit'):
N();
else :
#报错
Syntaxerror();
print 'complete';
pass
def M():
P();
eat('==');
P();
pass
def P():
#下一个字符
token = getToken();
if(token != 'id' and token != 'digit'):
syntaxerror();
pass
def N():
token = seeToPretict();
if(token == 'int'):
N1();
N11();
eat(';');
elif(token == 'id' or token == 'digit'):
E();
eat(';');
else:
syntaxerror();
pass
def N1():
eat('int');
eat('id');
def N11():
token = seeToPretict();
if(token == '='):
eat('=');
eat('digit');
pass
def E():
T();
E1();
def E1():
token = seeToPretict();
if(token == '+'):
eat('+');
T();
elif(token == 'id' or token == 'digit'):
T();
else:
syntaxerror();
def T():
token = getToken();
if(token != 'id' and token != 'digit'):
syntaxerror();