शब्द विभाजन का सरल अर्थ क्या है?
What is the simple meaning of tokenization?
Explanation opens after your attempt
A. वाक्य को छोटे शब्दों या भागों में तोड़नाBreaking a sentence into smaller words or parts
Concept
In language processing text is divided into smaller parts.
Why this answer is correct
This makes word analysis easier.
Exam Tip
It is an early step in many language tasks. चरण 1: भाषा प्रसंस्करण में पाठ को छोटे भागों में बांटा जाता है। चरण 2: इससे शब्दों का विश्लेषण आसान होता है। चरण 3: यह कई भाषा कार्यों का प्रारंभिक चरण है।
Login to save your score, XP, coins and progress.
