Tokenisierung
# Tokenisierung

Tokenisierung bezeichnet in der Computerlinguistik die Segmentierung eines Textes in Einheiten der Wortebene (manchmal auch Sätze, Absätze o. Ä.). Die Tokenisierung des Textes ist Voraussetzung für dessen Weiterverarbeitung, beispielsweise zur syntaktischen Analyse durch Parser, im Textmining oder Information Retrieval. In der Informatik bezeichnet der Begriff analog die Zerlegung eines in einer Programmiersprache verfassten Computerprogrammes in kleinste Einheiten, siehe Token (Übersetzerbau) und Tokenbasierte Kompression. Außerdem wird mit Tokenisierung im Finanzwesen auch der Trend zur Abschaffung des Trägermediums Papier-Urkunde durch digitale Daten bezeichnet.

## Probleme der Tokenisierung

Üblicherweise wird ein Text bei der Tokenisierung in seine Wörter zerlegt. Die White-Space-Tokenisierung ist die einfachste Form einer solchen Zerlegung. Der Text wird bei diesem Verfahren an den Leer- und Interpunktionszeichen aufgetrennt. Bei nicht-segmentisierenden Schriften wie der chinesischen oder japanischen kann es nicht angewandt werden, da in diesen keine Leerzeichen vorhanden sind.

Bei einem alternativen Tokenisierungsverfahren bilden Folgen von Buchstaben einen Token, ebenso alle Folgen von Ziffern. Alle anderen Zeichen bilden für sich genommen einen Token.

Beide Verfahren sind jedoch problematisch im Fall von Mehrwortlexemen, speziell Eigennamen, Währungsangaben usw. Für den Satz Klaus-Rüdiger kauft in New York für $2.50 Fish'n'Chips. wäre aus linguistischer Sicht eine Segmentierung in folgende Tokenfolge adäquater:

## Finanzwesen

Tokenisierung ist im Finanzwesen und im Wertpapierrecht der Trend, Finanzprodukte als Kryptowerte zu digitalisieren und auf einer Blockchain als dezentral gespeicherte Vermögenswerte abzubilden. Der Trend führt weg von der klassischen Papierform eines Trägermediums hin zu digitalen Daten. Beispiele sind die Verwendung von Buchgeld anstatt Bargeld, die Einführung von Kryptowährungen oder die Einführung von elektronischen Wertpapieren anstelle von Wertpapierurkunden. Bei allen wird die Papierform als Trägermedium für Finanzinstrumente abgelöst (tokenisiert) durch digitale Formen. Das Gesetz über elektronische Wertpapiere (eWpG) vom Juni 2021 ermöglicht den Wertpapierhandel mit völlig urkundenlosen Finanzinstrumenten, indem es deren Übergabe durch Eintragung im Wertpapierregister nach § 4 Abs. 4 eWpG ersetzt.

