Update
Muft Shiksha™ एक 100% Free Education Portal है 🇮🇳, जिसका उद्देश्य Class 9–12 के हर विद्यार्थी तक High-Quality Education को पूरी तरह मुफ्त पहुँचाना है। 🇮🇳 हम मानते हैं कि अच्छी शिक्षा किसी student की आर्थिक स्थिति पर निर्भर नहीं होनी चाहिए। 🇮🇳 हर विद्यार्थी को वही Quality Study Material, MCQs, Quizzes, Exam Preparation, Concept-Based Learning और Bilingual Support मिलना चाहिए, जो आमतौर पर महंगी Coaching या Premium Platforms में मिलता है। Muft Shiksha™ 🇮🇳 इसी सोच के साथ बनाया गया है • Muft Shiksha™ एक 100% Free Education Portal है 🇮🇳, जिसका उद्देश्य Class 9–12 के हर विद्यार्थी तक High-Quality Education को पूरी तरह मुफ्त पहुँचाना है। 🇮🇳 हम मानते हैं कि अच्छी शिक्षा किसी student की आर्थिक स्थिति पर निर्भर नहीं होनी चाहिए। 🇮🇳 हर विद्यार्थी को वही Quality Study Material, MCQs, Quizzes, Exam Preparation, Concept-Based Learning और Bilingual Support मिलना चाहिए, जो आमतौर पर महंगी Coaching या Premium Platforms में मिलता है। Muft Shiksha™ 🇮🇳 इसी सोच के साथ बनाया गया है • Muft Shiksha™ एक 100% Free Education Portal है 🇮🇳, जिसका उद्देश्य Class 9–12 के हर विद्यार्थी तक High-Quality Education को पूरी तरह मुफ्त पहुँचाना है। 🇮🇳 हम मानते हैं कि अच्छी शिक्षा किसी student की आर्थिक स्थिति पर निर्भर नहीं होनी चाहिए। 🇮🇳 हर विद्यार्थी को वही Quality Study Material, MCQs, Quizzes, Exam Preparation, Concept-Based Learning और Bilingual Support मिलना चाहिए, जो आमतौर पर महंगी Coaching या Premium Platforms में मिलता है। Muft Shiksha™ 🇮🇳 इसी सोच के साथ बनाया गया है
Subjects

प्राकृतिक भाषा संसाधन में शब्द विभाजन क्यों किया जाता है?

Why is tokenization done in natural language processing?

Author: Muft Shiksha Editorial Team Published:
Explanation opens after your attempt
Correct Answer

A. पाठ को छोटे भागों में विश्लेषण के लिए बांटने हेतुTo divide text into smaller parts for analysis

Step 1

Concept

भाषा में वाक्य और शब्द होते हैं। / Language contains sentences and words.

Step 2

Why this answer is correct

शब्द विभाजन पाठ को छोटे भागों में बांटता है। / Tokenization divides text into smaller parts.

Step 3

Exam Tip

इससे आगे का पाठ विश्लेषण आसान होता है। / This makes further text analysis easier.

Question me issue ya doubt hai?

Answer, explanation, typing mistake ya suggestion directly hamari team ko bhejein. 📱Helpline (Call / WhatsApp): +91 7272824365

Related Artificial Intelligence Questions

FAQs

Artificial Intelligence Answer, Explanation and Revision Hints

प्राकृतिक भाषा संसाधन में शब्द विभाजन क्यों किया जाता है? / Why is tokenization done in natural language processing?

Correct Answer: A. पाठ को छोटे भागों में विश्लेषण के लिए बांटने हेतु / To divide text into smaller parts for analysis. Explanation: चरण 1: भाषा में वाक्य और शब्द होते हैं। चरण 2: शब्द विभाजन पाठ को छोटे भागों में बांटता है। चरण 3: इससे आगे का पाठ विश्लेषण आसान होता है। / Step 1: Language contains sentences and words. Step 2: Tokenization divides text into smaller parts. Step 3: This makes further text analysis easier.

Why is option A correct in this Artificial Intelligence MCQ?

शब्द विभाजन पाठ को छोटे भागों में बांटता है। / Tokenization divides text into smaller parts.

What should I remember for this Artificial Intelligence concept?

इससे आगे का पाठ विश्लेषण आसान होता है। / This makes further text analysis easier.