符号类型的枚举

enum TokenType{//ST语言
......	
};

class Token{
public:
	Token(TokenType type, String value);
	TokenType getType();
	String toString();//打印出字符类型和字串
	bool isVarible();
	bool isScalar();//值类型
private:
	TokenType m_type;
	String m_value;
};

class Lexer{
public:
	List<Token> analyse(Stream source);
};

最简问题
区分关键字和变量名
是否在字典中

流操作，后续可能流操作的思想可能会用到，所以整理了一下流操作的大致思路

一般来说流支持顺序操作
设置到回退等操作就比较麻烦了
回退和peek都需要回退操作
给流定义一个可以回退操作的类
下面以字符流为例
本质上是什么:
主要操作：
1.next
2.putBack
3.peek
成员变量
1.缓存队 缓存用
2.回退栈 缓存回退的操作 其栈顶元素(若有)是给next用的
3.Iterator 主要给peek使用，回退栈无元素了给next用
操作流程：
1.next
	1.取出元素
	若回退栈中有元素，则出栈，否则Iterator.next()
	2.取出的元素入缓存队(缓存队超限，则需要将队首踢出，即出队)
2.putBack
	1.缓存栈，队尾poll，将该元素压入回退栈
3.peek
	若回退栈有元素
		1.查看栈顶元素，返回
	若回退栈没有元素
		1.调用next
		2.调用putBack
peek的逻辑解释：
	好像仅能查看下一个元素，连续调用两次没有区别？？？？？？？
next和putBack解释
	1.缓存队列中保存有Iterator.next过的元素，但未回退的元素，例如ABCDEFGHIJK是Iterator.next过的元素，
	其中HIJK是回退过的元素，那么缓存队中保存有ABCDEFG
	2.回退栈中保存有回退过的元素，如上，则保存有HIJK元素
	3.若缓存队列和回退栈一样大小，则最坏情形，缓存队满时，经常putback操作，当缓存队空时，
	回退栈满，此时继续回退，则缓存队空，停止入栈。所以回退操作时，仅判断缓存是否为空即可，
	不用考虑回退栈是否会溢出。

正则表达式典型的状态转移图

NLP模型如何实现长段落的抽取_流操作


正则描述词法

关键字可以这样描述(if|else|retrun|for|......)
整数可以表示为[+-]?[0-9]+
运算符可以描述为(+|-|*|/|^|&|\||)

提取关键字

关键词的词典

待继续更新。。。