What does tokenization mean in NLP?

A. Text को छोटे parts में बांटना / Splitting text into smaller parts

Step 1: Identify the concept: this is NLP preprocessing. Step 2: In tokenization a sentence or text is divided into words or tokens. Step 3: Remember tokenization as small parts of text.

Step 1: concept पहचानें: यह NLP preprocessing है। Step 2: Tokenization में sentence या text को words या tokens में divide किया जाता है। Step 3: Tokenization मतलब text के छोटे टुकड़े याद रखें।