Total Pageviews

Saturday, April 20, 2024

टैग और टैगसेट (Tag and Tagset)

 किसी पाठ में आए हुए शब्दों के साथ उनके शब्दवर्ग (Parts of Speech-POS) या रूप-वाक्यीय सूचनाएँ  (Morpho-Syntactic Information) जोड़ना टैगिंग (Tagging) है। वह टूल या सॉफ्टवेयर जो टैगिंग करता है, टैगर (Tagger) कहलाता है।  

टैगिंग करने के लिए शब्दों के स्वरूप और प्रकार्य के अनुसार उनके अलग-अलग वर्ग/उपवर्ग बनाए जाते हैं। फिर प्रत्येक वर्ग के लिए एक चिह्न निर्मित किया जाता है। इसी चिह्न को टैग (Tag) कहते हैं, जैसे- जातिवाचक संज्ञा के लिए ‘NN’

टैगों के समुच्चय को टैगसेट (Tagset) कहते हैं।

टैगिंग के लिए एक टैगसेट का होना आवश्यक होता है। प्रत्येक भाषा में कुछ शब्दवर्ग समान होते हैं। अतः उनके टैग एक ही होने चाहिए। किंतु भाषा विशेष में पाए जाने वाले शब्दवर्गों के लिए स्वतंत्र टैग बनाए जा सकते हैं। विभिन्न कार्पस विकासकर्ताओं और प्राकृतिक भाषा संसाधन प्रणाली (NLP System) विकासकर्ताओं द्वारा भाँति-भाँति के टैगसेट विकसित किए जाते हैं। उनमें यह प्रयास रहता है कि यथासंभव एकरूपता बनी रहे।

इस लिंक पर जाकर और पढ़ें- 

टैगिंग और टैगसेट (Tagging and Tagset)

टैगिंग (Tagging) और टैगर (Tagger)

 किसी पाठ में आए हुए शब्दों के साथ उनके शब्दवर्ग (Parts of Speech-POS) या रूप-वाक्यीय सूचनाएँ  (Morpho-Syntactic Information) जोड़ना टैगिंग (Tagging) है। वह टूल या सॉफ्टवेयर जो टैगिंग करता है, टैगर (Tagger) कहलाता है।  

टैगिंग करने के लिए शब्दों के स्वरूप और प्रकार्य के अनुसार उनके अलग-अलग वर्ग/उपवर्ग बनाए जाते हैं। फिर प्रत्येक वर्ग के लिए एक चिह्न निर्मित किया जाता है। इसी चिह्न को टैग (Tag) कहते हैं, जैसे- जातिवाचक संज्ञा के लिए ‘NN’

टैगों के समुच्चय को टैगसेट (Tagset) कहते हैं।

टैगिंग के लिए एक टैगसेट का होना आवश्यक होता है। प्रत्येक भाषा में कुछ शब्दवर्ग समान होते हैं। अतः उनके टैग एक ही होने चाहिए। किंतु भाषा विशेष में पाए जाने वाले शब्दवर्गों के लिए स्वतंत्र टैग बनाए जा सकते हैं। विभिन्न कार्पस विकासकर्ताओं और प्राकृतिक भाषा संसाधन प्रणाली (NLP System) विकासकर्ताओं द्वारा भाँति-भाँति के टैगसेट विकसित किए जाते हैं। उनमें यह प्रयास रहता है कि यथासंभव एकरूपता बनी रहे।

इस लिंक पर जाकर और पढ़ें- 

टैगिंग और टैगसेट (Tagging and Tagset)

संदर्भ युक्त टैगिंग (Context sensitive Tagging)

 टैगिंग दो प्रकार के होते हैं- संदर्भ मुक्त और संदर्भ युक्त। संदर्भ मुक्त टैगिंग(Context free Tagging) में किसी शब्द के एक से अधिक टैग होने की स्थिति में यह नहीं देखते हैं कि यहां पर उसका किस रूप में प्रयोग हुआ है, बल्कि दोनों ही टैग दे देते हैं।

दूसरी ओर संदर्भ युक्त टैगिंग(Context sensitive Tagging) में पहले उस वाक्य का संदर्भ समझते हैं और जिस संदर्भ में उस शब्द का प्रयोग हुआ रहता है, वही टैग प्रदान किया जाता है।

इसे नीचे दिए गए दो उदाहरणों से समझ सकते हैं-

उसे रोटी और दाल चाहिए।

उसे और दाल चाहिए।

इनमें से पहले वाक्य में और शब्द का प्रयोग ‘CC’ के रूप में हुआ है, तो दूसरे वाक्य में ‘JJ’ के रूप में। संदर्भ मुक्त टैगिंग (Context free Tagging) में दोनों ही वाक्यों में औरशब्द को ‘CC’ तथा ‘JJ’ दोनों टैग प्रदान किया जाएगा। किंतु संदर्भ युक्त टैगिंग (Context sensitive Tagging) पहले वाक्य में ‘CC’ टैग देंगे तो दूसरे वाक्य में ‘JJ’ टैग देंगे।

उक्त वाक्यों की संदर्भ मुक्त टैगिंग (Context free Tagging):

उसे<PR> रोटी<NN> और<CC> और<JJ> दाल<NN> चाहिए<VM>

 उसे<PR> और<CC> और<JJ> दाल<NN> चाहिए<VM>

उक्त वाक्यों की संदर्भ युक्त टैगिंग (Context sensitive Tagging):

उसे<PR> रोटी<NN> और<CC> दाल<NN> चाहिए<VM>

 उसे<PR> और<JJ> दाल<NN> चाहिए<VM>

 

संदर्भ मुक्त टैगिंग (Context free Tagging)

 टैगिंग दो प्रकार के होते हैं- संदर्भ मुक्त और संदर्भ युक्त। संदर्भ मुक्त टैगिंग(Context free Tagging) में किसी शब्द के एक से अधिक टैग होने की स्थिति में यह नहीं देखते हैं कि यहां पर उसका किस रूप में प्रयोग हुआ है, बल्कि दोनों ही टैग दे देते हैं।

दूसरी ओर संदर्भ युक्त टैगिंग(Context sensitive Tagging) में पहले उस वाक्य का संदर्भ समझते हैं और जिस संदर्भ में उस शब्द का प्रयोग हुआ रहता है, वही टैग प्रदान किया जाता है।

इसे नीचे दिए गए दो उदाहरणों से समझ सकते हैं-

उसे रोटी और दाल चाहिए।

उसे और दाल चाहिए।

इनमें से पहले वाक्य में और शब्द का प्रयोग ‘CC’ के रूप में हुआ है, तो दूसरे वाक्य में ‘JJ’ के रूप में। संदर्भ मुक्त टैगिंग (Context free Tagging) में दोनों ही वाक्यों में औरशब्द को ‘CC’ तथा ‘JJ’ दोनों टैग प्रदान किया जाएगा। किंतु संदर्भ युक्त टैगिंग (Context sensitive Tagging) पहले वाक्य में ‘CC’ टैग देंगे तो दूसरे वाक्य में ‘JJ’ टैग देंगे।

उक्त वाक्यों की संदर्भ मुक्त टैगिंग (Context free Tagging):

उसे<PR> रोटी<NN> और<CC> और<JJ> दाल<NN> चाहिए<VM>

 उसे<PR> और<CC> और<JJ> दाल<NN> चाहिए<VM>

उक्त वाक्यों की संदर्भ युक्त टैगिंग (Context sensitive Tagging):

उसे<PR> रोटी<NN> और<CC> दाल<NN> चाहिए<VM>

 उसे<PR> और<JJ> दाल<NN> चाहिए<VM>