实现一个自己的编程语言——词法分析
首先我们知道我们所有的代码都放在了一个文件内,so,第一件事我们要读入文件并进行词法分析,分析完成之后形成的token流会被接下来的语法分析器消费掉,典型的生产者消费者模型。一个Tokenizer 组成首先需要介绍一种缓存读文件的方法,双缓