Update
Muft Shiksha™ एक 100% Free Education Portal है 🇮🇳, जिसका उद्देश्य Class 9–12 के हर विद्यार्थी तक High-Quality Education को पूरी तरह मुफ्त पहुँचाना है। 🇮🇳 हम मानते हैं कि अच्छी शिक्षा किसी student की आर्थिक स्थिति पर निर्भर नहीं होनी चाहिए। 🇮🇳 हर विद्यार्थी को वही Quality Study Material, MCQs, Quizzes, Exam Preparation, Concept-Based Learning और Bilingual Support मिलना चाहिए, जो आमतौर पर महंगी Coaching या Premium Platforms में मिलता है। Muft Shiksha™ 🇮🇳 इसी सोच के साथ बनाया गया है • Muft Shiksha™ एक 100% Free Education Portal है 🇮🇳, जिसका उद्देश्य Class 9–12 के हर विद्यार्थी तक High-Quality Education को पूरी तरह मुफ्त पहुँचाना है। 🇮🇳 हम मानते हैं कि अच्छी शिक्षा किसी student की आर्थिक स्थिति पर निर्भर नहीं होनी चाहिए। 🇮🇳 हर विद्यार्थी को वही Quality Study Material, MCQs, Quizzes, Exam Preparation, Concept-Based Learning और Bilingual Support मिलना चाहिए, जो आमतौर पर महंगी Coaching या Premium Platforms में मिलता है। Muft Shiksha™ 🇮🇳 इसी सोच के साथ बनाया गया है • Muft Shiksha™ एक 100% Free Education Portal है 🇮🇳, जिसका उद्देश्य Class 9–12 के हर विद्यार्थी तक High-Quality Education को पूरी तरह मुफ्त पहुँचाना है। 🇮🇳 हम मानते हैं कि अच्छी शिक्षा किसी student की आर्थिक स्थिति पर निर्भर नहीं होनी चाहिए। 🇮🇳 हर विद्यार्थी को वही Quality Study Material, MCQs, Quizzes, Exam Preparation, Concept-Based Learning और Bilingual Support मिलना चाहिए, जो आमतौर पर महंगी Coaching या Premium Platforms में मिलता है। Muft Shiksha™ 🇮🇳 इसी सोच के साथ बनाया गया है
Subjects
Class 12 Artificial Intelligence Part B: Subject Specific Skills Unit 7: Generative AI Easy Level 7

शब्द विभाजन का सरल अर्थ क्या है?

What is the simple meaning of tokenization?

Author: Muft Shiksha Editorial Team Published: Updated:
Correct answer and explanation
Correct Answer

A. पाठ या वाक्य को शब्दों, उपशब्दों या विराम-चिह्नों जैसी छोटी इकाइयों में बाँटनाDividing text or a sentence into smaller units such as words, subwords, or punctuation marks

Explanation

Simple Explanation

टोकनीकरण (Tokenization) में पाठ को शब्दों, उपशब्दों या विराम-चिह्नों जैसी छोटी इकाइयों, यानी टोकनों, में विभाजित किया जाता है। इससे NLP प्रणाली के लिए पाठ को आगे संसाधित करना आसान होता है, इसलिए विकल्प A सही है। विकल्प B मशीन अनुवाद, विकल्प C भावना विश्लेषण और विकल्प D वाक्य-विन्यास या निर्भरता विश्लेषण से संबंधित हैं। परीक्षा-टिप: टोकनीकरण को NLP के प्रारंभिक पाठ-पूर्वप्रसंस्करण चरण के रूप में याद रखें। / Tokenization divides text into smaller units, called tokens, such as words, subwords, or punctuation marks. This makes the text easier for an NLP system to process, so option A is correct. Option B refers to machine translation, option C to sentiment analysis, and option D to syntactic or dependency analysis. Exam tip: remember tokenization as an early text-preprocessing step in NLP.

Short Link https://muftshiksha.com/q/571

Question me issue ya doubt hai?

Answer, explanation, typing mistake ya suggestion directly hamari team ko bhejein. 📱Helpline (Call / WhatsApp): +91 7272824365

Continue practising

Related Artificial Intelligence Questions

इसी subject के 10 चुने हुए सवाल

10 MCQs
  1. जलवायु के लिए व्यक्तिगत योगदान का अच्छा उदाहरण क्या है?
  2. कक्षा में पौधा लगाना किस भावना को बढ़ाता है?
  3. सौर ऊर्जा से चलने वाला स्ट्रीट लाइट किसका उदाहरण है?
  4. भविष्य की पीढ़ियों के लिए संसाधन बचाना किस विचार से जुड़ा है?
  5. संसाधनों का नैतिक उपयोग किस बात पर जोर देता है?
  6. हरित आदतों को ट्रैक करने से क्या लाभ है?
  7. व्यक्तिगत हरित कार्य योजना में क्या शामिल हो सकता है?
  8. पर्यावरण स्वयंसेवक क्या करता है?
  9. स्कूल में पर्यावरण अभियान का उद्देश्य क्या हो सकता है?
  10. सामुदायिक बगीचा किसका अच्छा उदाहरण है?

Related Artificial Intelligence Learning Links

Artificial Intelligence Subject

Level-wise subject practice

Part B: Subject Specific Skills Quiz

Chapter-wise MCQ practice

Search Similar MCQs

Find related questions

Daily Challenge

Fresh quiz practice
FAQs

Artificial Intelligence Answer, Explanation and Revision Hints

शब्द विभाजन का सरल अर्थ क्या है? / What is the simple meaning of tokenization?

Correct Answer: A. पाठ या वाक्य को शब्दों, उपशब्दों या विराम-चिह्नों जैसी छोटी इकाइयों में बाँटना / Dividing text or a sentence into smaller units such as words, subwords, or punctuation marks. Explanation: टोकनीकरण (Tokenization) में पाठ को शब्दों, उपशब्दों या विराम-चिह्नों जैसी छोटी इकाइयों, यानी टोकनों, में विभाजित किया जाता है। इससे NLP प्रणाली के लिए पाठ को आगे संसाधित करना आसान होता है, इसलिए विकल्प A सही है। विकल्प B मशीन अनुवाद, विकल्प C भावना विश्लेषण और विकल्प D वाक्य-विन्यास या निर्भरता विश्लेषण से संबंधित हैं। परीक्षा-टिप: टोकनीकरण को NLP के प्रारंभिक पाठ-पूर्वप्रसंस्करण चरण के रूप में याद रखें। / Tokenization divides text into smaller units, called tokens, such as words, subwords, or punctuation marks. This makes the text easier for an NLP system to process, so option A is correct. Option B refers to machine translation, option C to sentiment analysis, and option D to syntactic or dependency analysis. Exam tip: remember tokenization as an early text-preprocessing step in NLP.