शब्द विभाजन का सरल अर्थ क्या है?
What is the simple meaning of tokenization?
Explanation opens after your attempt
A. पाठ या वाक्य को शब्दों, उपशब्दों या विराम-चिह्नों जैसी छोटी इकाइयों में बाँटनाDividing text or a sentence into smaller units such as words, subwords, or punctuation marks
Simple Explanation
टोकनीकरण (Tokenization) में पाठ को शब्दों, उपशब्दों या विराम-चिह्नों जैसी छोटी इकाइयों, यानी टोकनों, में विभाजित किया जाता है। इससे NLP प्रणाली के लिए पाठ को आगे संसाधित करना आसान होता है, इसलिए विकल्प A सही है। विकल्प B मशीन अनुवाद, विकल्प C भावना विश्लेषण और विकल्प D वाक्य-विन्यास या निर्भरता विश्लेषण से संबंधित हैं। परीक्षा-टिप: टोकनीकरण को NLP के प्रारंभिक पाठ-पूर्वप्रसंस्करण चरण के रूप में याद रखें। / Tokenization divides text into smaller units, called tokens, such as words, subwords, or punctuation marks. This makes the text easier for an NLP system to process, so option A is correct. Option B refers to machine translation, option C to sentiment analysis, and option D to syntactic or dependency analysis. Exam tip: remember tokenization as an early text-preprocessing step in NLP.
Login to save your score, XP, coins and progress.
