antlr 解析properties antlr calcite

目录

• 1. 文法产生式

• 1.1. 基于四种模式实现文法产生式

• 1.1.1. 顺序模式
• 1.1.2. 选择模式
• 1.1.3. 记号依赖
• 1.1.4. 递归模式

• 1.2. 消除产生式歧义

• 1.2.1. 定义符号结合性
• 1.2.2. 定义符号优先级

• 1.3. antlr 实际语言例子

• 1.3.1. csv 主要顺序模式
• 1.3.2. json 主要递归模式

• 2. 使用antlr显示语法树方法
• 3. 使用antlr实现语法解析，生成语法树AST

• 3.1. antlr生的语法树相关的数据结构
• 3.2. antlr编译语法文件后自动生成的类
• 3.3. 将antlr生成的类集成起来解析语法，实现应用

• 3.3.1. 打印语法树
• 3.3.2. 代码生成

文法产生式

基于四种模式实现文法产生式

顺序模式

(INT)+
file : (row ‘\n’)* ; */ sequence with a ‘\n’ terminator
row : field (‘,’ field)* ; /* sequence with a ‘,’ separator
field: INT ; // assume fields are just integers

选择模式

field : INT | STRING ;

记号依赖

出现成对终结符级即可
expr: expr ‘(’ exprList? ‘)’ // func call like f(), f(x), f(1,2)

expr ‘[’ expr ‘]’ // array index like a[i], a[i][j]

…
;

递归模式

消除产生式歧义

定义符号结合性

expr : expr ‘^’

定义符号优先级

antlr 实际语言例子

csv 主要顺序模式

json 主要递归模式

使用antlr显示语法树方法

1. 显示解析到的每个token信息
2. 显示lisp形式语法
3. 图形形式语法树
   产生式非终结符上右键 -》 Test rule 非终结符 -》在弹出的窗口输入产生式

使用antlr实现语法解析，生成语法树AST

antlr生的语法树相关的数据结构

xxxContext数据结构记录了每个文法产生式左边非终结符的信息，通过相应的方法可以获得每个文法产生式右边元素的值

例如:

AssignContext->ID()和->expr()

antlr编译语法文件后自动生成的类

• 词法分析类——ArrayInitLexer.java
• 词法分析的结果——记号流ArrayInit.tokens
  对每一个 token赋值一个 token数字
• 语法分析类——ArrayInitParser.java
  每条文法规则的处理方法
• 语法树遍历操作类——ArrayInitListener.java, ArrayInitBaseListener.java

将antlr生成的类集成起来解析语法，实现应用

打印语法树

// import ANTLR's runtime libraries
import org.antlr.v4.runtime.*;
import org.antlr.v4.runtime.tree.*;
public class Test {
public static void main(String[] args) throws Exception {
// create a CharStream that reads from standard input
ANTLRInputStream input = new ANTLRInputStream(System.in);
// create a lexer that feeds off of input CharStream
ArrayInitLexer lexer = new ArrayInitLexer(input);
// create a buffer of tokens pulled from the lexer
CommonTokenStream tokens = new CommonTokenStream(lexer);
// create a parser that feeds off the tokens buffer
ArrayInitParser parser = new ArrayInitParser(tokens);
ParseTree tree = parser.init(); // begin parsing at init rule
System.out.println(tree.toStringTree(parser)); // print LISP-style tree
}
}

代码生成

starter/Translate.java
// import ANTLR's runtime libraries
import org.antlr.v4.runtime.*;
import org.antlr.v4.runtime.tree.*;
public class Translate {
public static void main(String[] args) throws Exception {
// create a CharStream that reads from standard input
ANTLRInputStream input = new ANTLRInputStream(System.in);
// create a lexer that feeds off of input CharStream
ArrayInitLexer lexer = new ArrayInitLexer(input);
// create a buffer of tokens pulled from the lexer
CommonTokenStream tokens = new CommonTokenStream(lexer);
// create a parser that feeds off the tokens buffer
ArrayInitParser parser = new ArrayInitParser(tokens);
ParseTree tree = parser.init(); // begin parsing at init rule
 // Create a generic parse tree walker that can trigger callbacks
 ParseTreeWalker walker = new ParseTreeWalker();
 // Walk the tree created during the parse, trigger callbacks
 walker.walk(new ShortToUnicodeString(), tree);
 System.out.println(); // print a \n after translation
}
}