प्राकृतिक भाषा संसाधन में शब्द विभाजन क्यों किया जाता है?
Why is tokenization done in natural language processing?
Explanation opens after your attempt
Correct Answer
A. पाठ को छोटे भागों में विश्लेषण के लिए बांटने हेतु / To divide text into smaller parts for analysis
Concept
Language contains sentences and words.
Why this answer is correct
Tokenization divides text into smaller parts.
Exam Tip
This makes further text analysis easier. चरण 1: भाषा में वाक्य और शब्द होते हैं। चरण 2: शब्द विभाजन पाठ को छोटे भागों में बांटता है। चरण 3: इससे आगे का पाठ विश्लेषण आसान होता है।
Login to save your score, XP, coins and progress.