SCIENCE|humanities|social sciences|linguistics
- téacschomharthú Reference "Faofa ag an gCoiste Téarmaíochta, www.tearma.ie ;Faomhadh an téarma seo mar chuid de Thionscadal Lex"
- ga
- Tokenisierung | lexikalische Analyse | Lexierung | Parsen
- de
- Definition Zerlegung von Text in Folgen von logisch zusammengehörigen Einheiten, so genannte Token, mithilfe eines Computerprogramms (Tokenizer, auch lexikalischer Scanner, kurz: Lexer) Reference "Council-DE in Anlehnung an Wikipedia > Stichwort: Tokenizer (5.2.2021)"
- Comment In der Informatik ist lexikalische Analyse, Lexierung oder Tokenisierung der Prozess der Umwandlung einer Folge von Zeichen (z. B. in einem Computerprogramm oder einer Webseite) in eine Folge von Token (Zeichenfolgen mit einer zugewiesenen und damit identifizierten Bedeutung). Die lexikalische Analyse ist auch ein wichtiges Frühstadium in der Verarbeitung natürlicher Sprache, in dem Text- oder Schallwellen in Wörter und andere Einheiten unterteilt werden.
- tokenization | tokenisation
- en
- Definition the process of breaking a stream of text up into words, phrases, symbols, or other meaningful elements called tokens Reference "Wikipedia. Tokenization (lexical analysis), https://en.wikipedia.org/wiki/Tokenization_(lexical_analysis) [22.7.2016]"
- Comment The list of tokens becomes input for further processing such as parsing or text mining. Tokenization is useful both in linguistics (where it is a form of text segmentation), and in computer science, where it forms part of lexical analysis.