METEOR
ಎಂಇಟಿಇಒಆರ್ (ಮೆಟ್ರಿಕ್ ಫಾರ್ ಇವಾಲ್ಯುಯೇಷನ್ ಆಫ್ ಟ್ರಾನ್ಸ್ಲೇಷನ್ ವಿತ್ ಎಕ್ಸ್ಪ್ಲಿಸಿಟ್ ಆರ್ಡರಿಂಗ್) ಯಂತ್ರ ಅನುವಾದದ ಫಲಿತಾಂಶದ ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಒಂದು ಮೆಟ್ರಿಕ್ ಆಗಿದೆ. ಮೆಟ್ರಿಕ್ ಯುನಿಗ್ರಾಮ್ ನಿಖರತೆ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆಯ ಸ್ವರಮೇಳದ ಸರಾಸರಿಯನ್ನು ಆಧರಿಸಿದೆ, ಮರುಪಡೆಯುವಿಕೆಯು ನಿಖರತೆಗಿಂತ ಹೆಚ್ಚಿನ ತೂಕವನ್ನು ಹೊಂದಿದೆ. ಇದು ಇತರ ಮಾಪನಗಳಲ್ಲಿ ಕಂಡುಬರದ ಹಲವಾರು ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಸಹ ಹೊಂದಿದೆ, ಉದಾಹರಣೆಗೆ ಸ್ಟ್ಯಾಂಡರ್ಡ್ ನಿಖರವಾದ ಪದ ಹೊಂದಾಣಿಕೆಯೊಂದಿಗೆ ಸ್ಟೆಮಿಂಗ್ ಮತ್ತು ಸಮಾನಾರ್ಥಕ ಹೊಂದಾಣಿಕೆ. ಹೆಚ್ಚು ಜನಪ್ರಿಯವಾದ ಬಿಎಲ್ಇಯು ಮೆಟ್ರಿಕ್ನಲ್ಲಿ ಕಂಡುಬರುವ ಕೆಲವು ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಮೆಟ್ರಿಕ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ ಮತ್ತು ವಾಕ್ಯ ಅಥವಾ ವಿಭಾಗದ ಮಟ್ಟದಲ್ಲಿ ಮಾನವ ತೀರ್ಪಿನೊಂದಿಗೆ ಉತ್ತಮ ಪರಸ್ಪರ ಸಂಬಂಧವನ್ನು ಸಹ ಉತ್ಪಾದಿಸುತ್ತದೆ. ಇದು ಬಿಎಲ್ಇಯು ಮೆಟ್ರಿಕ್ಗಿಂತ ಭಿನ್ನವಾಗಿದೆ, ಇದರಲ್ಲಿ ಬಿಎಲ್ಇಯು ಕಾರ್ಪಸ್ ಮಟ್ಟದಲ್ಲಿ ಪರಸ್ಪರ ಸಂಬಂಧವನ್ನು ಬಯಸುತ್ತದೆ. ಅದೇ ದತ್ತಾಂಶ ಗುಂಪಿನಲ್ಲಿ ಬಿಎಲ್ಇಯುನ 0.817 ಸಾಧನೆಗೆ ಹೋಲಿಸಿದರೆ, ಕಾರ್ಪಸ್ ಮಟ್ಟದಲ್ಲಿ ಮಾನವ ತೀರ್ಪಿನೊಂದಿಗೆ 0.964 ವರೆಗಿನ ಪರಸ್ಪರ ಸಂಬಂಧವನ್ನು ನೀಡುವ ಫಲಿತಾಂಶಗಳನ್ನು ಪ್ರಸ್ತುತಪಡಿಸಲಾಗಿದೆ. ವಾಕ್ಯದ ಮಟ್ಟದಲ್ಲಿ, ಮಾನವ ತೀರ್ಪಿನೊಂದಿಗೆ ಸಾಧಿಸಿದ ಗರಿಷ್ಠ ಪರಸ್ಪರ ಸಂಬಂಧವು 0.403 ಆಗಿತ್ತು. ಅಲ್ಗಾರಿದಮ್ ಬಿ. ಎಲ್. ಇ. ಯು. ಯಂತೆ, ಮೌಲ್ಯಮಾಪನದ ಮೂಲ ಘಟಕವೆಂದರೆ ವಾಕ್ಯ, ಅಲ್ಗಾರಿದಮ್ ಮೊದಲು ಎರಡು ವಾಕ್ಯಗಳ ನಡುವೆ ಜೋಡಣೆಯನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ (ವಿವರಣೆಗಳನ್ನು ನೋಡಿ), ಅಭ್ಯರ್ಥಿ ಅನುವಾದ ಸ್ಟ್ರಿಂಗ್ ಮತ್ತು ಉಲ್ಲೇಖ ಅನುವಾದ ಸ್ಟ್ರಿಂಗ್. ಜೋಡಣೆಯು ಯುನಿಗ್ರಾಮ್ಗಳ ನಡುವಿನ ನಕ್ಷೆಗಳ ಒಂದು ಗುಂಪಾಗಿದೆ. ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ಒಂದು ಸ್ಟ್ರಿಂಗ್ನಲ್ಲಿರುವ ಯುನಿಗ್ರಾಮ್ ಮತ್ತು ಇನ್ನೊಂದು ಸ್ಟ್ರಿಂಗ್ನಲ್ಲಿರುವ ಯುನಿಗ್ರಾಮ್ ನಡುವಿನ ರೇಖೆ ಎಂದು ಭಾವಿಸಬಹುದು. ನಿರ್ಬಂಧಗಳು ಈ ಕೆಳಗಿನಂತಿವೆ; ಅಭ್ಯರ್ಥಿಯ ಅನುವಾದದಲ್ಲಿನ ಪ್ರತಿ ಯುನಿಗ್ರಾಮ್ ಉಲ್ಲೇಖದಲ್ಲಿ ಶೂನ್ಯ ಅಥವಾ ಒಂದು ಯುನಿಗ್ರಾಮ್ಗೆ ನಕ್ಷೆ ಮಾಡಬೇಕು. ಮೇಲೆ ವ್ಯಾಖ್ಯಾನಿಸಿದಂತೆ ಜೋಡಣೆಯನ್ನು ರಚಿಸಲು ನಕ್ಷೆಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ. ಒಂದೇ ಸಂಖ್ಯೆಯ ನಕ್ಷೆಗಳೊಂದಿಗೆ ಎರಡು ಜೋಡಣೆಗಳಿದ್ದರೆ, ಜೋಡಣೆಯನ್ನು ಕಡಿಮೆ ಕ್ರಾಸ್ಗಳೊಂದಿಗೆ ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ, ಅಂದರೆ, ಎರಡು ನಕ್ಷೆಗಳ ಕಡಿಮೆ ಛೇದಕಗಳೊಂದಿಗೆ. ತೋರಿಸಿರುವ ಎರಡು ಜೋಡಣೆಗಳಿಂದ, ಜೋಡಣೆಯನ್ನು (ಎ) ಈ ಹಂತದಲ್ಲಿ ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ. ಹಂತಗಳನ್ನು ಅನುಕ್ರಮವಾಗಿ ನಡೆಸಲಾಗುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ಹಂತವು ಹಿಂದಿನ ಹಂತಗಳಲ್ಲಿ ಹೊಂದಿಕೆಯಾಗದ ಯುನಿಗ್ರಾಮ್ಗಳನ್ನು ಮಾತ್ರ ಜೋಡಿಸುತ್ತದೆ. ಅಂತಿಮ ಜೋಡಣೆಯನ್ನು ಲೆಕ್ಕ ಹಾಕಿದ ನಂತರ, ಅಂಕವನ್ನು ಈ ಕೆಳಗಿನಂತೆ ಲೆಕ್ಕ ಹಾಕಲಾಗುತ್ತದೆಃ ಯುನಿಗ್ರಾಮ್ ನಿಖರತೆಯನ್ನು ಈ ರೀತಿ ಲೆಕ್ಕ ಹಾಕಲಾಗುತ್ತದೆಃ ಉಲ್ಲೇಖ ಅನುವಾದದಲ್ಲಿ ಕಂಡುಬರುವ ಅಭ್ಯರ್ಥಿಯ ಅನುವಾದದಲ್ಲಿನ ಯುನಿಗ್ರಾಮ್ಗಳ ಸಂಖ್ಯೆ ಎಲ್ಲಿದೆ, ಮತ್ತು ಅಭ್ಯರ್ಥಿಯ ಅನುವಾದದಲ್ಲಿ ಯುನಿಗ್ರಾಮ್ಗಳ ಸಂಖ್ಯೆ ಎಲ್ಲಿದೆ. ಯುನಿಗ್ರಾಮ್ ರಿಕಾಲ್ ಅನ್ನು ಹೀಗೆ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆಃ ಮೇಲಿನಂತೆ ಎಲ್ಲಿದೆ, ಮತ್ತು ಇದು ಉಲ್ಲೇಖ ಅನುವಾದದಲ್ಲಿ ಯುನಿಗ್ರಾಮ್ಗಳ ಸಂಖ್ಯೆಯಾಗಿದೆ. ನಿಖರತೆ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಈ ಕೆಳಗಿನ ಶೈಲಿಯಲ್ಲಿ ಸಾಮರಸ್ಯದ ಅರ್ಥವನ್ನು ಬಳಸಿಕೊಂಡು ಸಂಯೋಜಿಸಲಾಗಿದೆ, ನಿಖರತೆಗಿಂತ 9 ಪಟ್ಟು ಹೆಚ್ಚು ತೂಕದ ಮರುಪಡೆಯುವಿಕೆಯೊಂದಿಗೆಃ ಇಲ್ಲಿಯವರೆಗೆ ಪರಿಚಯಿಸಲಾದ ಕ್ರಮಗಳು ಒಂದೇ ಪದಗಳಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಏಕರೂಪತೆಯನ್ನು ಮಾತ್ರ ಪರಿಗಣಿಸುತ್ತವೆ ಆದರೆ ಉಲ್ಲೇಖ ಮತ್ತು ಅಭ್ಯರ್ಥಿ ವಾಕ್ಯ ಎರಡರಲ್ಲೂ ಕಂಡುಬರುವ ದೊಡ್ಡ ಭಾಗಗಳಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಅಲ್ಲ. ಇವುಗಳನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳುವ ಸಲುವಾಗಿ, ಜೋಡಣೆಗೆ ದಂಡವನ್ನು ಲೆಕ್ಕಹಾಕಲು ಉದ್ದವಾದ ಎನ್-ಗ್ರಾಮ್ ಪಂದ್ಯಗಳನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಉಲ್ಲೇಖ ಮತ್ತು ಅಭ್ಯರ್ಥಿಯ ವಾಕ್ಯದ ಪಕ್ಕದಲ್ಲಿರದ ಹೆಚ್ಚಿನ ನಕ್ಷೆಗಳು ಇದ್ದಷ್ಟೂ ದಂಡವು ಹೆಚ್ಚಾಗುತ್ತದೆ. ಈ ದಂಡವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು, ಯುನಿಗ್ರಾಮ್ಗಳನ್ನು ಸಾಧ್ಯವಾದಷ್ಟು ಕಡಿಮೆ ಭಾಗಗಳಾಗಿ ವರ್ಗೀಕರಿಸಲಾಗಿದೆ, ಅಲ್ಲಿ ಒಂದು ಭಾಗವನ್ನು ಊಹೆಯಲ್ಲಿ ಮತ್ತು ಉಲ್ಲೇಖದಲ್ಲಿ ಪಕ್ಕದಲ್ಲಿರುವ ಯುನಿಗ್ರಾಮ್ಗಳ ಗುಂಪಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ. ಅಭ್ಯರ್ಥಿ ಮತ್ತು ಉಲ್ಲೇಖದ ನಡುವಿನ ಪಕ್ಕದ ನಕ್ಷೆಗಳು ಎಷ್ಟು ಉದ್ದವಾಗುತ್ತವೆಯೋ, ಅಷ್ಟು ಕಡಿಮೆ ಭಾಗಗಳು ಇರುತ್ತವೆ. ಉಲ್ಲೇಖಕ್ಕೆ ಹೋಲುವ ಅನುವಾದವು ಕೇವಲ ಒಂದು ಭಾಗವನ್ನು ನೀಡುತ್ತದೆ. ಪೆನಾಲ್ಟಿಯನ್ನು ಈ ಕೆಳಗಿನಂತೆ ಲೆಕ್ಕ ಹಾಕಲಾಗುತ್ತದೆ, ಇಲ್ಲಿ ಸಿ ಎಂದರೆ ತುಂಡುಗಳ ಸಂಖ್ಯೆ, ಮತ್ತು ಮ್ಯಾಪ್ ಮಾಡಲಾದ ಯುನಿಗ್ರಾಮ್ಗಳ ಸಂಖ್ಯೆ. ಒಂದು ವಿಭಾಗದ ಅಂತಿಮ ಅಂಕವನ್ನು ಈ ಕೆಳಗಿನಂತೆ ಲೆಕ್ಕ ಹಾಕಲಾಗುತ್ತದೆ. ಬಿಗ್ರಾಮ್ ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಪಂದ್ಯಗಳು ಇಲ್ಲದಿದ್ದರೆ ದಂಡವನ್ನು ಶೇಕಡಾ 50 ರಷ್ಟು ಕಡಿಮೆ ಮಾಡುವ ಪರಿಣಾಮವನ್ನು ಹೊಂದಿದೆ. ಇಡೀ ಕಾರ್ಪಸ್ ಅಥವಾ ವಿಭಾಗಗಳ ಸಂಗ್ರಹದ ಮೇಲೆ ಸ್ಕೋರ್ ಅನ್ನು ಲೆಕ್ಕಹಾಕಲು, ಒಟ್ಟು ಮೌಲ್ಯಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಲಾಗುತ್ತದೆ ಮತ್ತು ನಂತರ ಅದೇ ಸೂತ್ರವನ್ನು ಬಳಸಿಕೊಂಡು ಸಂಯೋಜಿಸಲಾಗುತ್ತದೆ. ಅಭ್ಯರ್ಥಿಯ ಅನುವಾದವನ್ನು ಒಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ಉಲ್ಲೇಖ ಅನುವಾದಗಳೊಂದಿಗೆ ಹೋಲಿಸಲು ಸಹ ಅಲ್ಗಾರಿದಮ್ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಈ ಸಂದರ್ಭದಲ್ಲಿ ಅಲ್ಗಾರಿದಮ್ ಅಭ್ಯರ್ಥಿಯನ್ನು ಪ್ರತಿಯೊಂದು ಉಲ್ಲೇಖಗಳ ವಿರುದ್ಧ ಹೋಲಿಸುತ್ತದೆ ಮತ್ತು ಹೆಚ್ಚಿನ ಅಂಕವನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ. ಉದಾಹರಣೆಗಳು BLEU F-ಅಳತೆ NIST (ಮೆಟ್ರಿಕ್) ರೂಜ್ (ಮೆಟ್ರಿಕ್) ಪದ ದೋಷ ದರ (WER) LEPOR ನಾಮಪದ-ಪದಗುಚ್ಛ ಚಂಕಿಂಗ್ ಟಿಪ್ಪಣಿಗಳು ಬ್ಯಾನರ್ಜಿ, ಎಸ್. ಮತ್ತು ಲಾವಿ, ಎ. (2005) ಉಲ್ಲೇಖಗಳು ಬ್ಯಾನರ್ಜಿ, ಎಸ್. ಮತ್ತು ಲಾವಿ, ಎ. (2005) ಅಸೋಸಿಯೇಷನ್ ಆಫ್ ಕಂಪ್ಯೂಟೇಶನಲ್ ಲಿಂಗ್ವಿಸ್ಟಿಕ್ಸ್ (ಎಸಿಎಲ್-2005), ಆನ್ ಆರ್ಬರ್, ಮಿಚಿಗನ್, ಜೂನ್ 2005, ಲಾವಿ, ಎ., ಸಾಗೆ, ಕೆ. ಮತ್ತು ಜಯರಾಮನ್, ಎಸ್. (2004) "ದಿ ಸಿಗ್ನಿಫಿಕೆನ್ಸ್ ಆಫ್ ರೀಕಾಲ್ ಇನ್ ಆಟೋಮ್ಯಾಟಿಕ್ ಮೆಟ್ರಿಕ್ಸ್ ಫಾರ್ ಎಂಟಿ ಇವಾಲ್ಯುಯೇಷನ್" ಇನ್ ಪ್ರೊಸೀಡಿಂಗ್ಸ್ ಆಫ್ ಎಎಂಟಿಎ 2004, ವಾಷಿಂಗ್ಟನ್ ಡಿ. ಸಿ. ಯಲ್ಲಿ ನಡೆದ 43ನೇ ವಾರ್ಷಿಕ ಸಭೆಯಲ್ಲಿ ಎಂಟಿ ಮತ್ತು/ಅಥವಾ ಸಾರಾಂಶಕ್ಕಾಗಿ ಆಂತರಿಕ ಮತ್ತು ಬಾಹ್ಯ ಮೌಲ್ಯಮಾಪನ ಕ್ರಮಗಳ ಕಾರ್ಯಾಗಾರದ ಕಾರ್ಯವಿಧಾನಗಳಲ್ಲಿ "ಮಾನವ ತೀರ್ಪುಗಳೊಂದಿಗೆ ಸುಧಾರಿತ ಸಂಬಂಧದೊಂದಿಗೆ ಎಂಟಿ ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ ಮೀಟರ್ಃ ಒಂದು ಸ್ವಯಂಚಾಲಿತ ಮೆಟ್ರಿಕ್". ಸೆಪ್ಟೆಂಬರ್ 2004 ಬಾಹ್ಯ ಕೊಂಡಿಗಳು ಮೀಟರ್ ಸ್ವಯಂಚಾಲಿತ ಯಂತ್ರ ಅನುವಾದ ಮೌಲ್ಯಮಾಪನ ವ್ಯವಸ್ಥೆ (ಡೌನ್ಲೋಡ್ಗಾಗಿ ಕೊಂಡಿ ಸೇರಿದಂತೆ) ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆ ಯಂತ್ರ ಅನುವಾದದ ಮೌಲ್ಯಮಾಪನ