@@ -91,21 +91,21 @@ export function tokenizeSyx(source: string): Token[] {
91
91
curPos ++ ;
92
92
}
93
93
}
94
- if ( src [ 0 ] === '(' ) tokens . push ( { type : inString ? 20 : TokenType . OpenParen , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
95
- else if ( src [ 0 ] === ')' ) tokens . push ( { type : inString ? 20 : TokenType . CloseParen , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
96
- else if ( src [ 0 ] === '{' ) tokens . push ( { type : inString ? 20 : TokenType . OpenBrace , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
97
- else if ( src [ 0 ] === '}' ) tokens . push ( { type : inString ? 20 : TokenType . CloseBrace , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
98
- else if ( src [ 0 ] === '[' ) tokens . push ( { type : inString ? 20 : TokenType . OpenSquare , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
99
- else if ( src [ 0 ] === ']' ) tokens . push ( { type : inString ? 20 : TokenType . CloseSquare , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
100
- else if ( src [ 0 ] === ',' ) tokens . push ( { type : inString ? 20 : TokenType . Comma , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
101
- else if ( src [ 0 ] === ';' ) tokens . push ( { type : inString ? 20 : TokenType . Semicolon , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
102
- else if ( src [ 0 ] === '<' ) tokens . push ( { type : inString ? 20 : TokenType . OpenDiamond , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
103
- else if ( src [ 0 ] === '>' ) tokens . push ( { type : inString ? 20 : TokenType . CloseDiamond , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
94
+ if ( src [ 0 ] === '(' ) tokens . push ( { type : inString ? 20 : TokenType . OpenParen , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
95
+ else if ( src [ 0 ] === ')' ) tokens . push ( { type : inString ? 20 : TokenType . CloseParen , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
96
+ else if ( src [ 0 ] === '{' ) tokens . push ( { type : inString ? 20 : TokenType . OpenBrace , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
97
+ else if ( src [ 0 ] === '}' ) tokens . push ( { type : inString ? 20 : TokenType . CloseBrace , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
98
+ else if ( src [ 0 ] === '[' ) tokens . push ( { type : inString ? 20 : TokenType . OpenSquare , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
99
+ else if ( src [ 0 ] === ']' ) tokens . push ( { type : inString ? 20 : TokenType . CloseSquare , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
100
+ else if ( src [ 0 ] === ',' ) tokens . push ( { type : inString ? 20 : TokenType . Comma , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
101
+ else if ( src [ 0 ] === ';' ) tokens . push ( { type : inString ? 20 : TokenType . Semicolon , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
102
+ else if ( src [ 0 ] === '<' ) tokens . push ( { type : inString ? 20 : TokenType . OpenDiamond , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
103
+ else if ( src [ 0 ] === '>' ) tokens . push ( { type : inString ? 20 : TokenType . CloseDiamond , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
104
104
else if ( src [ 0 ] === '\'' ) { tokens . push ( { type : TokenType . SingleQuote , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ; t ( '\'' ) ; }
105
105
else if ( src [ 0 ] === '"' ) { tokens . push ( { type : TokenType . DoubleQuote , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ; t ( '"' ) ; }
106
- else if ( src [ 0 ] === '|' ) tokens . push ( { type : inString ? 20 : TokenType . VarSeperator , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
106
+ else if ( src [ 0 ] === '|' ) tokens . push ( { type : inString ? 20 : TokenType . VarSeperator , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
107
107
else if ( src [ 0 ] === '+' && chars . includes ( src [ 1 ] ) ) {
108
- if ( src [ 1 ] === 's' ) tokens . push ( { type : inString ? 20 : TokenType . WhitespaceIdentifier , value : '+s' , range : tpr ( pos ( curLine , curPos ) , pos ( curLine , curPos + 2 ) ) } ) ;
108
+ if ( src [ 1 ] === 's' ) tokens . push ( { type : inString ? 20 : TokenType . WhitespaceIdentifier , value : '+s' , range : tpr ( pos ( curLine , curPos ) , pos ( curLine , curPos + 2 ) ) } ) ;
109
109
curPos += 2 ;
110
110
src . shift ( ) ; src . shift ( ) ;
111
111
} else if ( isInt ( src [ 0 ] ) ) {
@@ -116,7 +116,7 @@ export function tokenizeSyx(source: string): Token[] {
116
116
}
117
117
118
118
curPos += ident . length ;
119
- tokens . push ( { type : inString ? 20 : TokenType . IntNumber , value : ident , range : tpr ( pos ( curLine , startPos ) , pos ( curLine , curPos ) ) } ) ;
119
+ tokens . push ( { type : inString ? 20 : TokenType . IntNumber , value : ident , range : tpr ( pos ( curLine , startPos ) , pos ( curLine , curPos ) ) } ) ;
120
120
} else if ( isAlphabetic ( src [ 0 ] ) ) {
121
121
let ident = '' ;
122
122
const startPos = curPos ;
@@ -126,7 +126,7 @@ export function tokenizeSyx(source: string): Token[] {
126
126
}
127
127
128
128
const reserved = keywords [ ident ] ;
129
- tokens . push ( { type : inString ? 20 : reserved ?? TokenType . Identifier , value : ident , range : tpr ( pos ( curLine , startPos ) , pos ( curLine , curPos ) ) } ) ;
129
+ tokens . push ( { type : inString ? 20 : reserved ?? TokenType . Identifier , value : ident , range : tpr ( pos ( curLine , startPos ) , pos ( curLine , curPos ) ) } ) ;
130
130
} else if ( isSkippable ( src [ 0 ] ) && ! inString ) {
131
131
src . shift ( ) ;
132
132
curPos ++ ;
@@ -161,7 +161,7 @@ export function tokenizeSys(source: string): Token[] {
161
161
let curLine = 1 ;
162
162
163
163
while ( src . length > 0 && `${ src [ 0 ] } ${ src [ 1 ] } ${ src [ 2 ] } ` !== ':::' ) {
164
- if ( src [ 0 ] === ';' ) tokens . push ( { type : inString ? 20 : TokenType . Semicolon , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
164
+ if ( src [ 0 ] === ';' ) tokens . push ( { type : inString ? 20 : TokenType . Semicolon , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
165
165
else if ( src [ 0 ] === '\'' ) { tokens . push ( { type : TokenType . SingleQuote , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ; t ( '\'' ) ; }
166
166
else if ( src [ 0 ] === '"' ) { tokens . push ( { type : TokenType . DoubleQuote , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ; t ( '"' ) ; }
167
167
else if ( isAlphabetic ( src [ 0 ] ) ) {
0 commit comments