diff --git a/src/tokenizer.rs b/src/tokenizer.rs index f8aa512..dd03a68 100644 --- a/src/tokenizer.rs +++ b/src/tokenizer.rs @@ -60,7 +60,10 @@ pub fn tokenize(input: &str) -> Vec { } } } else if c == ';' || c == '\n' { - tokens.push(Token::Separator); + if let Some(&Token::Separator) = tokens.last() { + } else { + tokens.push(Token::Separator); + } } else if c == '(' { tokens.push(Token::LParen); } else if c == ')' {