What is the simple meaning of tokenization?टोकनीकरण का सरल अर्थ क्या है?
Answer and explanationउत्तर और व्याख्या
Correct answer:सही उत्तर: Dividing text or a sentence into smaller units such as words, subwords, or punctuation marksपाठ या वाक्य को शब्दों, उपशब्दों या विराम-चिह्नों जैसी छोटी इकाइयों में बाँटना
Tokenization divides text into smaller units called tokens, such as words, subwords, or punctuation marks. This helps an NLP system process the text, so option A is correct. Translation, sentiment analysis, and dependency analysis are different NLP tasks. Tokenization is commonly used near the beginning of text preprocessing.टोकनीकरण में पाठ को शब्दों, उपशब्दों या विराम-चिह्नों जैसी छोटी इकाइयों में बाँटा जाता है, जिन्हें टोकन कहते हैं। इससे NLP प्रणाली के लिए पाठ को संसाधित करना आसान होता है, इसलिए विकल्प A सही है। अनुवाद, भावना विश्लेषण और निर्भरता विश्लेषण अलग-अलग NLP कार्य हैं।
Student feedback
Was this question useful?
👍 0 Helpful 👎 0 Not helpful
Yes 0% No 0%
0 responsesStudent Reviews
No published reviews yet.
