भाषायी प्रणालियों का मूल्यांकन

भाषायी प्रणालियों का मूल्यांकन

1. मूल्यांकन मानदंड

किसी भी भाषा संसाधन प्रणाली के कार्य करने की अपनी क्षमता होती है। अभी तक कोई भी ऐसी प्रणाली विकसित नहीं की जा सकी है, जो किसी मानव भाषा की संपूर्ण भाषायी सामग्री का संसाधन कर सके। अतः प्रणाली निर्माण के बाद उसका मूल्यांकन किया जाता है कि वह संबंधित कार्य के लिए कितनी उपयोगी हो सकी है। मूल्यांकन के निर्धारित मानदंड इस प्रकार हैं-

1.1 शुद्धता (Accuracy)

इसमें यह देखा जाता है कि प्रणाली द्वारा दिया गया आउटपुट कितना सही या शुद्ध है।

1.2 सहजता/स्वाभाविकता (Naturalness)

इसमें यह देखा जाता है कि मशीन द्वारा दिया गया आउटपुट उस भाषा का सहज या स्वाभाविक पाठ है या नहीं। इसके लिए यह देखा जाता कि यदि वही काम मनुष्य करता तो मशीन और मनुष्य के आउटपुट में कितनी समानता है।

1.3 समय (Time)

समय मानदंड के अंतर्गत यह देखते हैं कि संसाधन में प्रणाली द्वारा कितना समय लिया जा रहा है।

1.4 जटिलता निदान (Complexity Handling)

यह मानदंड जटिल भाषायी प्रयोगों में मशीन के काम करने की क्षमता का मूल्यांकन करता है।

2. मूल्यांकन की विधियाँ

2.1 भाषावैज्ञानिक

भाषा संसाधन प्रणालियों के मूल्यांकन के लिए कई विधियाँ विकसित की गई हैं। इनके मुख्यतः तीन प्रकार किए जा सकते हैं-

2.1.1 प्रगति मूल्यांकन (progress evaluation)

2.1.2 पर्याप्तता मूल्यांकन (adequacy evaluation)

2.1.3 निदानात्मक मूल्यांकन (diagnostic evaluation)

(https://hal.archives-ouvertes.fr/hal-00502700/document)

2.2 सांख्यिकीय

2.2.1 Precision

इसमें इनपुट के सापेक्ष मशीन द्वारा दिए गए सही आउटपुट के आधार पर मूल्यांकन किया जाता है। जैसे- यदि 20 संज्ञा और विशेषण शब्दों का इनपुट दिया जाए, जिसमें 12 संज्ञा और 08 विशेषण हों और इनमें से मशीन ने 08 को संज्ञा बताया हो, जिनमें से वास्तव में 05 ही संज्ञा हों तो मशीन का Precision 5/8 होगा।

इनपुट 20 शब्द – 08 संज्ञा का आउटपुट

            वास्तव में          आउटपुट

05 संज्ञा             (संज्ञा) - true positives

03 विशे.            (संज्ञा) - false positives

सूत्र-

Precision = {relevant document}п {retrieved document}

                        |{retrieved document}|

इनपुट में कुल कितने सही संज्ञा शब्द थे? इसमें यह नहीं देखा जाता।

2.2.2 Recall

इसमें इनपुट के सापेक्ष मशीन द्वारा दिए गए आउटपुट के बजाए इनपुट में प्राप्त सभी सही मूल्यों के आधार पर मूल्यांकन किया जाता है। जैसे- यदि 20 संज्ञा और विशेषण शब्दों का इनपुट दिया जाए, जिसमें 12 संज्ञा और 08 विशेषण हों, और इनमें से मशीन ने 08 को संज्ञा बताया हो, जिनमें से वास्तव में 05 ही संज्ञा हों, तो मशीन का Recall 5/12 होगा।

सूत्र-

Precision = {relevant document}п {retrieved document}

                        |{ relevant document}|

2.2.3 F-measure