Tokenizer

Das Tokenizer-Projekt zielt auf die Erstellung einer Bibliothek zum Zerlegen eines Eingabestroms in Symbole. Darauf kann ein Parser aufsetzen.

Unter http://svn.mnementh.de/Tokenizer/ befindet sich ein Subversion-Repository mit anonymen Lesezugriff.