首先是Token取值
下面两个值记录当前识别出来的token单元的字面量
首先是空字符,然后如果是空字符,就读下一个字符,知道这个字符不是空为止,也就是LastChar出循环的时候是下一个不为空的字符,下面两个值是记录实际值用于后续处理
如果是这个字符是字符,就开始累计,当取到当前Lastchar不是数字或者字符就出来
然后判断是不是关键字,不是就返回Token值,所以这里能识别三种我们要求的token
如果是数字,我们就把数字的字符拼接起来,直到下一个字符不是数字或者小数点,
然后我们换算出当前的token的数字值,返回需要的token值
如果是#,就吃掉这一行,直接返回下一个token值
这里如果是eof就返回eof且不吃掉,如果不满足上述就是操作符,我们返回操作符的asic
综上,该函数从输入流里面识别一个token类型,然后取得相关的实际字面值供后续处理,然后LastChar此时是token单元字符紧贴的下一个字符(包括空字符)