Die lexikalische Analyse wird durch den Scanner durchgeführt. Dieses Programm faßt die einzelnen Zeichen der Quellsprache zu elementaren Symbolen (Tokens ) zusammen, die dann in der Syntaxanalyse vom Parser weiterverarbeitet werden.
Beispiel:
Eingabe:
begin a:= 4 + 5; end
Ausgabe:
BEGINSY IDF('a') BECOMESY INT(4) ADDSY
INT(5) SEMICOLON ENDSY
Die Tokens werden durch Integerkonstanten dargestellt. Wenn weitere Informationen nötig sind, wie z.B. der numerische Wert einer Integerkonstanten, so kann dieser Wert in zusätzlichen Variablen abgelegt werden.
Ferner liefert der Scanner Informationen zur Fehlerdiagnose, wie z.B. Zeilennummern.
Eine weitere Aufgabe ist das Überlesen von Kommentaren, Leerzeilen, etc.
Prof. Dr. Reinhard Völler