Automated essay scoring
ಸ್ವಯಂಚಾಲಿತ ಪ್ರಬಂಧ ಸ್ಕೋರಿಂಗ್ (ಎಇಎಸ್) ಎನ್ನುವುದು ಶೈಕ್ಷಣಿಕ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ಬರೆಯಲಾದ ಪ್ರಬಂಧಗಳಿಗೆ ಶ್ರೇಣಿಗಳನ್ನು ನಿಗದಿಪಡಿಸಲು ವಿಶೇಷ ಕಂಪ್ಯೂಟರ್ ಪ್ರೋಗ್ರಾಂಗಳ ಬಳಕೆಯಾಗಿದೆ. ಇದು ಶೈಕ್ಷಣಿಕ ಮೌಲ್ಯಮಾಪನದ ಒಂದು ರೂಪವಾಗಿದೆ ಮತ್ತು ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆಯ ಅನ್ವಯವಾಗಿದೆ. ಇದರ ಉದ್ದೇಶವು ಪಠ್ಯ ಘಟಕಗಳ ದೊಡ್ಡ ಗುಂಪನ್ನು ಸಣ್ಣ ಸಂಖ್ಯೆಯ ಪ್ರತ್ಯೇಕ ವರ್ಗಗಳಾಗಿ ವರ್ಗೀಕರಿಸುವುದು, ಸಂಭಾವ್ಯ ಶ್ರೇಣಿಗಳಿಗೆ ಅನುಗುಣವಾಗಿ, ಉದಾಹರಣೆಗೆ, 1 ರಿಂದ 6 ರವರೆಗಿನ ಸಂಖ್ಯೆಗಳು. ಆದ್ದರಿಂದ, ಇದನ್ನು ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ವರ್ಗೀಕರಣದ ಸಮಸ್ಯೆ ಎಂದು ಪರಿಗಣಿಸಬಹುದು. ಎಇಎಸ್ನಲ್ಲಿ ಹೆಚ್ಚುತ್ತಿರುವ ಆಸಕ್ತಿಗೆ ಹಲವಾರು ಅಂಶಗಳು ಕೊಡುಗೆ ನೀಡಿವೆ. ಅವುಗಳಲ್ಲಿ ವೆಚ್ಚ, ಹೊಣೆಗಾರಿಕೆ, ಮಾನದಂಡಗಳು ಮತ್ತು ತಂತ್ರಜ್ಞಾನ ಸೇರಿವೆ. ಹೆಚ್ಚುತ್ತಿರುವ ಶಿಕ್ಷಣ ವೆಚ್ಚಗಳು ಮಾನದಂಡಗಳನ್ನು ಹೇರುವ ಮೂಲಕ ಫಲಿತಾಂಶಗಳಿಗೆ ಶಿಕ್ಷಣ ವ್ಯವಸ್ಥೆಯನ್ನು ಹೊಣೆಗಾರರನ್ನಾಗಿ ಮಾಡುವ ಒತ್ತಡಕ್ಕೆ ಕಾರಣವಾಗಿವೆ. ಮಾಹಿತಿ ತಂತ್ರಜ್ಞಾನದ ಪ್ರಗತಿಯು ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ಶೈಕ್ಷಣಿಕ ಸಾಧನೆಯನ್ನು ಅಳೆಯುವ ಭರವಸೆ ನೀಡುತ್ತದೆ. ಶಿಕ್ಷಣದಲ್ಲಿ ಹೆಚ್ಚಿನ-ಹಕ್ಕಿನ ಪರೀಕ್ಷೆಗಾಗಿ ಎಇಎಸ್ನ ಬಳಕೆಯು ಗಮನಾರ್ಹವಾದ ಹಿಂಬಡಿತವನ್ನು ಉಂಟುಮಾಡಿದೆ, ಕಂಪ್ಯೂಟರ್ಗಳು ಇನ್ನೂ ನಿಖರವಾಗಿ ಗ್ರೇಡ್ ಬರವಣಿಗೆಯನ್ನು ಮಾಡಲಾರವು ಮತ್ತು ಅಂತಹ ಉದ್ದೇಶಗಳಿಗಾಗಿ ಅವುಗಳ ಬಳಕೆಯು ಬೋಧನಾ ಬರವಣಿಗೆಯನ್ನು ಕಡಿಮೆ ರೀತಿಯಲ್ಲಿ ಉತ್ತೇಜಿಸುತ್ತದೆ ಎಂದು ವಾದಿಸುವ ಮೂಲಕ ವಿರೋಧಿಗಳು ಸಂಶೋಧನೆಯತ್ತ ಗಮನ ಹರಿಸಿದ್ದಾರೆ (ಅಂದರೆ. ಪರೀಕ್ಷೆಗೆ ಬೋಧನೆ). ಇತಿಹಾಸ ಎಇಎಸ್ನ ಹೆಚ್ಚಿನ ಐತಿಹಾಸಿಕ ಸಾರಾಂಶಗಳು ಈ ಕ್ಷೇತ್ರದ ಮೂಲವನ್ನು ಎಲ್ಲಿಸ್ ಬ್ಯಾಟನ್ ಪೇಜ್ ಅವರ ಕೆಲಸಕ್ಕೆ ಗುರುತಿಸುತ್ತವೆ. 1966 ರಲ್ಲಿ, ಅವರು ಕಂಪ್ಯೂಟರ್ ಮೂಲಕ ಪ್ರಬಂಧಗಳನ್ನು ಗಳಿಸುವ ಸಾಧ್ಯತೆಗಾಗಿ ವಾದಿಸಿದರು, ಮತ್ತು 1968 ರಲ್ಲಿ ಅವರು ಪ್ರಾಜೆಕ್ಟ್ ಎಸ್ಸೇ ಗ್ರೇಡ್ (ಪಿಇಜಿ) ಎಂಬ ಪ್ರೋಗ್ರಾಂನೊಂದಿಗೆ ತಮ್ಮ ಯಶಸ್ವಿ ಕೃತಿಯನ್ನು ಪ್ರಕಟಿಸಿದರು. ಆ ಕಾಲದ ತಂತ್ರಜ್ಞಾನವನ್ನು ಬಳಸಿಕೊಂಡು, ಗಣಕೀಕೃತ ಪ್ರಬಂಧ ಸ್ಕೋರಿಂಗ್ ವೆಚ್ಚ-ಪರಿಣಾಮಕಾರಿಯಾಗಿರಲಿಲ್ಲ, ಆದ್ದರಿಂದ ಪೇಜ್ ಸುಮಾರು ಎರಡು ದಶಕಗಳ ಕಾಲ ತನ್ನ ಪ್ರಯತ್ನಗಳನ್ನು ಸ್ಥಗಿತಗೊಳಿಸಿದರು. ಅಂತಿಮವಾಗಿ, ಪೇಜ್ ಪಿಇಜಿಯನ್ನು ಮೆಷರ್ಮೆಂಟ್ ಇನ್ಕಾರ್ಪೊರೇಟೆಡ್ಗೆ ಮಾರಾಟ ಮಾಡಿತು, 1990 ರ ಹೊತ್ತಿಗೆ, ಡೆಸ್ಕ್ಟಾಪ್ ಕಂಪ್ಯೂಟರ್ಗಳು ಎಷ್ಟು ಶಕ್ತಿಯುತವಾಗಿದ್ದವು ಮತ್ತು ಎಇಎಸ್ ಒಂದು ಪ್ರಾಯೋಗಿಕ ಸಾಧ್ಯತೆಯಾಗಿತ್ತು. 1982ರಷ್ಟು ಹಿಂದೆಯೇ, ರೈಟರ್ಸ್ ವರ್ಕ್ಬೆಂಚ್ ಎಂಬ ಯುನಿಕ್ಸ್ ಪ್ರೋಗ್ರಾಂ ವಿರಾಮ ಚಿಹ್ನೆ, ಕಾಗುಣಿತ ಮತ್ತು ವ್ಯಾಕರಣ ಸಲಹೆಗಳನ್ನು ನೀಡಲು ಸಾಧ್ಯವಾಯಿತು. ಹಲವಾರು ಕಂಪನಿಗಳ ಸಹಯೋಗದೊಂದಿಗೆ (ವಿಶೇಷವಾಗಿ ಎಜುಕೇಷನಲ್ ಟೆಸ್ಟಿಂಗ್ ಸರ್ವೀಸ್), ಪೇಜ್ ಪಿಇಜಿಯನ್ನು ನವೀಕರಿಸಿತು ಮತ್ತು 1990ರ ದಶಕದ ಆರಂಭದಲ್ಲಿ ಕೆಲವು ಯಶಸ್ವಿ ಪ್ರಯೋಗಗಳನ್ನು ನಡೆಸಿತು. ಪೀಟರ್ ಫೋಲ್ಟ್ಜ್ ಮತ್ತು ಥಾಮಸ್ ಲ್ಯಾಂಡೌರ್ ಅವರು ಇಂಟೆಲಿಜೆಂಟ್ ಎಸ್ಸೇ ಅಸೆಸರ್ (ಐಇಎ) ಎಂಬ ಸ್ಕೋರಿಂಗ್ ಎಂಜಿನ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಒಂದು ವ್ಯವಸ್ಥೆಯನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದರು. ಐಇಎಯನ್ನು ಮೊದಲ ಬಾರಿಗೆ 1997 ರಲ್ಲಿ ತಮ್ಮ ಪದವಿಪೂರ್ವ ಕೋರ್ಸ್ಗಳಿಗೆ ಪ್ರಬಂಧಗಳನ್ನು ಸ್ಕೋರ್ ಮಾಡಲು ಬಳಸಲಾಯಿತು. ಇದು ಈಗ ಪಿಯರ್ಸನ್ ಎಜುಕೇಷನಲ್ ಟೆಕ್ನಾಲಜೀಸ್ನ ಉತ್ಪನ್ನವಾಗಿದೆ ಮತ್ತು ಹಲವಾರು ವಾಣಿಜ್ಯ ಉತ್ಪನ್ನಗಳು ಮತ್ತು ರಾಜ್ಯ ಮತ್ತು ರಾಷ್ಟ್ರೀಯ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಅಂಕಗಳನ್ನು ಗಳಿಸಲು ಬಳಸಲಾಗುತ್ತದೆ. ಇಂಟೆಲಿಮೆಟ್ರಿಕ್ ಎಂಬುದು ವಾಂಟೇಜ್ ಲರ್ನಿಂಗ್ನ ಎಇಎಸ್ ಎಂಜಿನ್ ಆಗಿದೆ. ಇದರ ಅಭಿವೃದ್ಧಿಯು 1996ರಲ್ಲಿ ಪ್ರಾರಂಭವಾಯಿತು. ಇದನ್ನು ಮೊದಲ ಬಾರಿಗೆ 1998ರಲ್ಲಿ ಪ್ರಬಂಧಗಳನ್ನು ಬರೆಯಲು ವಾಣಿಜ್ಯಿಕವಾಗಿ ಬಳಸಲಾಯಿತು. ಎಜುಕೇಷನಲ್ ಟೆಸ್ಟಿಂಗ್ ಸರ್ವೀಸ್ ಸ್ವಯಂಚಾಲಿತ ಪ್ರಬಂಧ ಸ್ಕೋರಿಂಗ್ ಪ್ರೋಗ್ರಾಂ "ಇ-ರೇಟರ್" ಅನ್ನು ಒದಗಿಸುತ್ತದೆ. ಇದನ್ನು ಮೊದಲ ಬಾರಿಗೆ 1999ರ ಫೆಬ್ರವರಿಯಲ್ಲಿ ವಾಣಿಜ್ಯಿಕವಾಗಿ ಬಳಸಲಾಯಿತು. ಇದರ ಅಭಿವೃದ್ಧಿಯಲ್ಲಿ ಜಿಲ್ ಬರ್ಸ್ಟೀನ್ ತಂಡದ ನಾಯಕರಾಗಿದ್ದರು. ಇಟಿಎಸ್ನ ಮಾನದಂಡ ಆನ್ಲೈನ್ ಬರವಣಿಗೆ ಮೌಲ್ಯಮಾಪನ ಸೇವೆಯು ಅಂಕಗಳು ಮತ್ತು ಉದ್ದೇಶಿತ ಪ್ರತಿಕ್ರಿಯೆ ಎರಡನ್ನೂ ಒದಗಿಸಲು ಇ-ರೇಟರ್ ಎಂಜಿನ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಲಾರೆನ್ಸ್ ರುಡ್ನರ್ ಅವರು ಬೇಯೇಶಿಯನ್ ಸ್ಕೋರಿಂಗ್ ಮೇಲೆ ಸ್ವಲ್ಪ ಕೆಲಸ ಮಾಡಿದ್ದಾರೆ ಮತ್ತು ಬೆಟ್ಸಿ (ಬೇಯೇಶಿಯನ್ ಎಸ್ಸೇ ಟೆಸ್ಟ್ ಸ್ಕೋರಿಂಗ್ ಸಿಸ್ಟಂ) ಎಂಬ ವ್ಯವಸ್ಥೆಯನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ್ದಾರೆ. ಅವರ ಕೆಲವು ಫಲಿತಾಂಶಗಳನ್ನು ಮುದ್ರಣ ಅಥವಾ ಆನ್ಲೈನ್ನಲ್ಲಿ ಪ್ರಕಟಿಸಲಾಗಿದೆ, ಆದರೆ ಯಾವುದೇ ವಾಣಿಜ್ಯ ವ್ಯವಸ್ಥೆಯು ಇನ್ನೂ ಬೆಟ್ಸಿ ಅನ್ನು ಸಂಯೋಜಿಸಿಲ್ಲ. ಹೊವಾರ್ಡ್ ಮಿಟ್ಜೆಲ್ ಮತ್ತು ಸ್ಯೂ ಲಾಟ್ರಿಡ್ಜ್ ಅವರ ನೇತೃತ್ವದಲ್ಲಿ, ಪೆಸಿಫಿಕ್ ಮೆಟ್ರಿಕ್ಸ್ ಒಂದು ನಿರ್ಮಿತ ಪ್ರತಿಕ್ರಿಯೆ ಸ್ವಯಂಚಾಲಿತ ಸ್ಕೋರಿಂಗ್ ಎಂಜಿನ್, ಸಿಆರ್ಎಎಸ್ಇ ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿತು. ಪ್ರಸ್ತುತ ಹಲವಾರು ರಾಜ್ಯ ಶಿಕ್ಷಣ ಇಲಾಖೆಗಳು ಮತ್ತು ಯು. ಎಸ್. ಡಿಪಾರ್ಟ್ಮೆಂಟ್ ಆಫ್ ಎಜುಕೇಶನ್-ಅನುದಾನಿತ ವರ್ಧಿತ ಮೌಲ್ಯಮಾಪನ ಅನುದಾನದಲ್ಲಿ ಬಳಸಲಾಗುತ್ತಿರುವ ಪೆಸಿಫಿಕ್ ಮೆಟ್ರಿಕ್ಸ್ನ ತಂತ್ರಜ್ಞಾನವನ್ನು 2007 ರಿಂದ ದೊಡ್ಡ ಪ್ರಮಾಣದ ರಚನಾತ್ಮಕ ಮತ್ತು ಸಂಕ್ಷಿಪ್ತ ಮೌಲ್ಯಮಾಪನ ಪರಿಸರದಲ್ಲಿ ಬಳಸಲಾಗುತ್ತಿದೆ. ಮೆಷರ್ಮೆಂಟ್ ಇಂಕ್ 2002ರಲ್ಲಿ ಪಿಇಜಿಯ ಹಕ್ಕುಗಳನ್ನು ಪಡೆದುಕೊಂಡಿತು ಮತ್ತು ಅದನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವುದನ್ನು ಮುಂದುವರೆಸಿದೆ. 2012ರಲ್ಲಿ, ಹೆವ್ಲೆಟ್ ಫೌಂಡೇಶನ್ ಸ್ವಯಂಚಾಲಿತ ವಿದ್ಯಾರ್ಥಿ ಮೌಲ್ಯಮಾಪನ ಪ್ರಶಸ್ತಿ (ಎಎಸ್ಎಪಿ) ಎಂಬ ಸ್ಪರ್ಧೆಯನ್ನು ಆಯೋಜಿಸಿತು. 201 ಚಾಲೆಂಜ್ ಭಾಗವಹಿಸುವವರು ಎಇಎಸ್ ಬಳಸಿ, ಎಂಟು ವಿಭಿನ್ನ ಪ್ರಾಂಪ್ಟ್ಗಳಿಗೆ ಬರೆಯಲಾದ ಸಾವಿರಾರು ಪ್ರಬಂಧಗಳಿಗೆ ಮಾನವ ರೇಟರ್ಗಳು ನೀಡುವ ಅಂಕಗಳನ್ನು ಊಹಿಸಲು ಪ್ರಯತ್ನಿಸಿದರು. ಎಇಎಸ್ ಮಾನವ ರೇಟರ್ಗಳಷ್ಟೇ ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿರಬಹುದು ಎಂಬುದನ್ನು ಪ್ರದರ್ಶಿಸುವುದು ಇದರ ಉದ್ದೇಶವಾಗಿತ್ತು. ಈ ಸ್ಪರ್ಧೆಯು ಎಎಸ್ಎಪಿ ದತ್ತಾಂಶದ ಉಪವಿಭಾಗದಲ್ಲಿ ಒಂಬತ್ತು ಎಇಎಸ್ ಮಾರಾಟಗಾರರ ನಡುವೆ ಪ್ರತ್ಯೇಕ ಪ್ರದರ್ಶನವನ್ನು ಸಹ ಆಯೋಜಿಸಿತು. ಸ್ವಯಂಚಾಲಿತ ಪ್ರಬಂಧದ ಅಂಕಗಳು ಮಾನವ ಅಂಕಗಳಷ್ಟೇ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿವೆ ಎಂದು ತನಿಖಾಧಿಕಾರಿಗಳು ವರದಿ ಮಾಡಿದರೂ, ಈ ಹೇಳಿಕೆಯನ್ನು ಯಾವುದೇ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಪರೀಕ್ಷೆಗಳು ದೃಢೀಕರಿಸಲಿಲ್ಲ ಏಕೆಂದರೆ ಕೆಲವು ಮಾರಾಟಗಾರರು ತಮ್ಮ ಭಾಗವಹಿಸುವಿಕೆಗೆ ಪೂರ್ವ ಷರತ್ತಾಗಿ ಅಂತಹ ಯಾವುದೇ ಪರೀಕ್ಷೆಗಳನ್ನು ನಡೆಸಬೇಕಾಗಿಲ್ಲ. ಇದಲ್ಲದೆ, ಎಜುಕೇಷನಲ್ ಟೆಸ್ಟಿಂಗ್ ಸರ್ವೀಸ್ನಲ್ಲಿ ಅಸೆಸ್ಮೆಂಟ್ ಇನ್ನೋವೇಶನ್ನಲ್ಲಿ ನಾರ್ಮನ್ ಒ. ಫ್ರೆಡೆರಿಕ್ಸನ್ ಚೇರ್ ರಾಂಡಿ ಇ. ಬೆನೆಟ್ ಸೇರಿದಂತೆ ಎಇಎಸ್ ಮಾನವ ರೇಟರ್ಗಳಂತೆ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿರಬಹುದು ಎಂದು ಹೆವ್ಲೆಟ್ ಅಧ್ಯಯನವು ತೋರಿಸಿದೆ ಎಂಬ ಹೇಳಿಕೆಯನ್ನು ಬಲವಾಗಿ ವಿರೋಧಿಸಲಾಗಿದೆ. ಅಧ್ಯಯನದ ಕೆಲವು ಪ್ರಮುಖ ಟೀಕೆಗಳೆಂದರೆ, ಎಂಟು ದತ್ತಾಂಶ ಸಮೂಹಗಳಲ್ಲಿ ಐದು ಪ್ರಬಂಧಗಳ ಬದಲಿಗೆ ಪ್ಯಾರಾಗಳನ್ನು ಒಳಗೊಂಡಿವೆ, ಎಂಟು ದತ್ತಾಂಶ ಸಮೂಹಗಳಲ್ಲಿ ನಾಲ್ಕನ್ನು ಮಾನವ ಓದುಗರು ಬರವಣಿಗೆ ಸಾಮರ್ಥ್ಯಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ವಿಷಯಕ್ಕಾಗಿ ಮಾತ್ರ ಶ್ರೇಣೀಕರಿಸಿದ್ದಾರೆ ಮತ್ತು ಮಾನವ ಓದುಗರು ಮತ್ತು ಎಇಎಸ್ ಯಂತ್ರಗಳನ್ನು "ನಿಜವಾದ ಅಂಕ" ದ ವಿರುದ್ಧ ಅಳೆಯುವ ಬದಲು, ಇಬ್ಬರು ಓದುಗರ ಅಂಕಗಳ ಸರಾಸರಿ, ಈ ಅಧ್ಯಯನವು ಕೃತಕ ರಚನೆಯನ್ನು ಬಳಸಿಕೊಂಡಿತು, "ಪರಿಹರಿಸಿದ ಅಂಕ", ಇದು ನಾಲ್ಕು ಡೇಟಾಸೆಟ್ಗಳಲ್ಲಿ ಭಿನ್ನಾಭಿಪ್ರಾಯವಿದ್ದರೆ ಎರಡು ಮಾನವ ಅಂಕಗಳಲ್ಲಿ ಹೆಚ್ಚಿನದನ್ನು ಒಳಗೊಂಡಿತ್ತು. ಈ ಕೊನೆಯ ಅಭ್ಯಾಸವು, ನಿರ್ದಿಷ್ಟವಾಗಿ, ಈ ದತ್ತಾಂಶಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸಲು ಅವಕಾಶ ನೀಡುವ ಮೂಲಕ ಯಂತ್ರಗಳಿಗೆ ಅನ್ಯಾಯದ ಪ್ರಯೋಜನವನ್ನು ನೀಡಿತು. 1966 ರಲ್ಲಿ, ಪೇಜ್ ಭವಿಷ್ಯದಲ್ಲಿ, ಕಂಪ್ಯೂಟರ್ ಆಧಾರಿತ ನ್ಯಾಯಾಧೀಶರು ಇತರ ಮಾನವ ನ್ಯಾಯಾಧೀಶರಿಗಿಂತ ಪ್ರತಿ ಮಾನವ ನ್ಯಾಯಾಧೀಶರೊಂದಿಗೆ ಉತ್ತಮ ಪರಸ್ಪರ ಸಂಬಂಧ ಹೊಂದಿರುತ್ತಾರೆ ಎಂದು ಊಹಿಸಿದರು. ಸಾಮಾನ್ಯವಾಗಿ ಪ್ರಬಂಧ ಗುರುತಿಗೆ ಈ ವಿಧಾನದ ಅನ್ವಯಿಕತೆಯನ್ನು ಟೀಕಿಸಿದರೂ, ಬ್ರಿಟಿಷ್ ಜಿ. ಸಿ. ಎಸ್. ಇ ವ್ಯವಸ್ಥೆಯ ವಿಶಿಷ್ಟವಾದ ಸಣ್ಣ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉಚಿತ ಪಠ್ಯ ಉತ್ತರಗಳನ್ನು ಗುರುತಿಸಲು ಈ ಊಹೆಯನ್ನು ಬೆಂಬಲಿಸಲಾಯಿತು. ವಿವಿಧ ಮಾನವ ಶಿಕ್ಷಕರು ಗುರುತಿಸುವಾಗ ಸ್ವಯಂಚಾಲಿತ ವ್ಯವಸ್ಥೆಗಳು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ಮೇಲ್ವಿಚಾರಿತ ಕಲಿಕೆಯ ಫಲಿತಾಂಶಗಳು ತೋರಿಸುತ್ತವೆ. ಉತ್ತರಗಳ ಮೇಲ್ವಿಚಾರಣೆಯಿಲ್ಲದ ಸಮೂಹವು ಅತ್ಯುತ್ತಮ ಪತ್ರಿಕೆಗಳು ಮತ್ತು ದುರ್ಬಲ ಪತ್ರಿಕೆಗಳು ಉತ್ತಮವಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸಲಾದ ಸಮೂಹಗಳನ್ನು ರೂಪಿಸುತ್ತವೆ ಮತ್ತು ಈ ಸಮೂಹಗಳಿಗೆ ಸ್ವಯಂಚಾಲಿತ ಗುರುತು ನಿಯಮವು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂದು ತೋರಿಸಿದೆ, ಆದರೆ ಮೂರನೇ ಸಮೂಹಕ್ಕೆ ('ಮಿಶ್ರ') ಮಾನವ ಶಿಕ್ಷಕರು ನೀಡುವ ಅಂಕಗಳು ವಿವಾದಾತ್ಮಕವಾಗಬಹುದು ಮತ್ತು 'ಮಿಶ್ರ' ಸಮೂಹದಿಂದ ಕೃತಿಗಳ ಯಾವುದೇ ಮೌಲ್ಯಮಾಪನದ ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ಹೆಚ್ಚಾಗಿ ಪ್ರಶ್ನಿಸಬಹುದು (ಮಾನವ ಮತ್ತು ಕಂಪ್ಯೂಟರ್ ಆಧಾರಿತ). ಪ್ರಬಂಧದ ಗುಣಮಟ್ಟದ ವಿವಿಧ ಆಯಾಮಗಳು ಇತ್ತೀಚಿನ ಸಮೀಕ್ಷೆಯ ಪ್ರಕಾರ, ಆಧುನಿಕ ಎಇಎಸ್ ವ್ಯವಸ್ಥೆಗಳು ಬಳಕೆದಾರರಿಗೆ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಒದಗಿಸುವ ಸಲುವಾಗಿ ಪ್ರಬಂಧದ ಗುಣಮಟ್ಟದ ವಿಭಿನ್ನ ಆಯಾಮಗಳನ್ನು ಗಳಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತವೆ. ಈ ಆಯಾಮಗಳು ಈ ಕೆಳಗಿನ ಅಂಶಗಳನ್ನು ಒಳಗೊಂಡಿವೆಃ ವ್ಯಾಕರಣಾತ್ಮಕತೆಃ ಈ ಕೆಳಗಿನ ವ್ಯಾಕರಣ ನಿಯಮಗಳ ಬಳಕೆ, ಪದ ಬಳಕೆಯ ಯಂತ್ರಶಾಸ್ತ್ರಃ ಕಾಗುಣಿತ, ವಿರಾಮ ಚಿಹ್ನೆ, ದೊಡ್ಡಕ್ಷರದ ಶೈಲಿಗಾಗಿ ಈ ಕೆಳಗಿನ ನಿಯಮಗಳು ಪ್ರಸ್ತುತತೆಃ ಪ್ರಾಂಪ್ಟ್ ಸಂಸ್ಥೆಗೆ ವಿಷಯವು ಎಷ್ಟು ಪ್ರಸ್ತುತವಾಗಿದೆಃ ಪ್ರಬಂಧವು ಎಷ್ಟು ಚೆನ್ನಾಗಿ ರಚನೆಯಾಗಿದೆ ಅಭಿವೃದ್ಧಿಃ ಉದಾಹರಣೆಗಳೊಂದಿಗೆ ವಿಚಾರಗಳ ಅಭಿವೃದ್ಧಿ ಒಗ್ಗಟ್ಟುಃ ಪರಿವರ್ತನೆಯ ಪದಗುಚ್ಛಗಳ ಸೂಕ್ತ ಬಳಕೆ ಸುಸಂಬದ್ಧತೆಃ ವಿಚಾರಗಳ ನಡುವೆ ಸೂಕ್ತವಾದ ಪರಿವರ್ತನೆಗಳು ಪ್ರಬಂಧದ ಸ್ಪಷ್ಟತೆಃ ಪ್ರಮುಖ ವಾದದ ಕಾರ್ಯವಿಧಾನದ ಮನವರಿಕೆ ಮೊದಲಿನಿಂದಲೂ, ಎಇಎಸ್ನ ಮೂಲ ಕಾರ್ಯವಿಧಾನವು ಎಚ್ಚರಿಕೆಯಿಂದ ಕೈಯಿಂದ ಅಂಕಗಳನ್ನು ಪಡೆದ ಪ್ರಬಂಧಗಳ ತರಬೇತಿ ಗುಂಪಿನೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ. ಪ್ರೋಗ್ರಾಂ ಪ್ರತಿ ಪ್ರಬಂಧದ ಪಠ್ಯದ ಮೇಲ್ಮೈ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ, ಉದಾಹರಣೆಗೆ ಪದಗಳ ಒಟ್ಟು ಸಂಖ್ಯೆ, ಅಧೀನ ಷರತ್ತುಗಳ ಸಂಖ್ಯೆ, ಅಥವಾ ದೊಡ್ಡಕ್ಷರ ಮತ್ತು ಸಣ್ಣಕ್ಷರ ಅಕ್ಷರಗಳ ಅನುಪಾತ-ಯಾವುದೇ ಮಾನವ ಒಳನೋಟವಿಲ್ಲದೆ ಅಳೆಯಬಹುದಾದ ಪ್ರಮಾಣಗಳು. ಇದು ನಂತರ ಈ ಪ್ರಮಾಣಗಳನ್ನು ಪ್ರಬಂಧಗಳು ಪಡೆದ ಅಂಕಗಳೊಂದಿಗೆ ಸಂಬಂಧಿಸುವ ಗಣಿತದ ಮಾದರಿಯನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ. ನಂತರ ಅದೇ ಮಾದರಿಯನ್ನು ಹೊಸ ಪ್ರಬಂಧಗಳ ಅಂಕಗಳನ್ನು ಲೆಕ್ಕ ಹಾಕಲು ಅನ್ವಯಿಸಲಾಗುತ್ತದೆ. ಇತ್ತೀಚೆಗೆ, ಅಂತಹ ಒಂದು ಗಣಿತದ ಮಾದರಿಯನ್ನು ಐಸಾಕ್ ಪರ್ಸಿಂಗ್ ಮತ್ತು ವಿನ್ಸೆಂಟ್ ಎನ್ಜಿ ರಚಿಸಿದ್ದಾರೆ. ಇದು ಮೇಲಿನ ವೈಶಿಷ್ಟ್ಯಗಳ ಮೇಲಿನ ಪ್ರಬಂಧಗಳನ್ನು ಮಾತ್ರವಲ್ಲದೆ ಅವುಗಳ ವಾದದ ಸಾಮರ್ಥ್ಯದ ಮೇಲೂ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ. ಇದು ಪ್ರಬಂಧದ ವಿವಿಧ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ, ಉದಾಹರಣೆಗೆ ಲೇಖಕರ ಒಪ್ಪಂದದ ಮಟ್ಟ ಮತ್ತು ಅದಕ್ಕೆ ಕಾರಣಗಳು, ಪ್ರಾಂಪ್ಟ್ನ ವಿಷಯಕ್ಕೆ ಬದ್ಧತೆ, ವಾದದ ಘಟಕಗಳ ಸ್ಥಳಗಳು (ಪ್ರಮುಖ ಹಕ್ಕು, ಹಕ್ಕು, ಪ್ರಮೇಯ), ವಾದಗಳಲ್ಲಿನ ದೋಷಗಳು, ವಾದಗಳಲ್ಲಿನ ಒಗ್ಗಟ್ಟು ವಿವಿಧ ಇತರ ವೈಶಿಷ್ಟ್ಯಗಳ ನಡುವೆ. ಮೇಲೆ ತಿಳಿಸಲಾದ ಇತರ ಮಾದರಿಗಳಿಗೆ ವ್ಯತಿರಿಕ್ತವಾಗಿ, ಈ ಮಾದರಿಯು ಪ್ರಬಂಧಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸುವಾಗ ಮಾನವ ಒಳನೋಟವನ್ನು ನಕಲು ಮಾಡುವಲ್ಲಿ ಹತ್ತಿರವಾಗಿದೆ. ಆಳವಾದ ನರ ಜಾಲಗಳ ಹೆಚ್ಚುತ್ತಿರುವ ಜನಪ್ರಿಯತೆಯಿಂದಾಗಿ, ಸ್ವಯಂಚಾಲಿತ ಪ್ರಬಂಧ ಸ್ಕೋರಿಂಗ್ಗಾಗಿ ಆಳವಾದ ಕಲಿಕೆಯ ವಿಧಾನಗಳನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳಲಾಗಿದೆ, ಸಾಮಾನ್ಯವಾಗಿ ಉತ್ತಮ ಫಲಿತಾಂಶಗಳನ್ನು ಪಡೆಯುತ್ತದೆ, ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಅಂತರ-ಮಾನವ ಒಪ್ಪಂದದ ಮಟ್ಟವನ್ನು ಮೀರಿಸುತ್ತದೆ. ವಿವಿಧ ಎಇಎಸ್ ಪ್ರೋಗ್ರಾಂಗಳು ಅವು ಯಾವ ನಿರ್ದಿಷ್ಟ ಮೇಲ್ಮೈ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಅಳೆಯುತ್ತವೆ, ತರಬೇತಿ ಸೆಟ್ನಲ್ಲಿ ಎಷ್ಟು ಪ್ರಬಂಧಗಳು ಬೇಕಾಗುತ್ತವೆ ಮತ್ತು ಗಣಿತದ ಮಾಡೆಲಿಂಗ್ ತಂತ್ರದಲ್ಲಿ ಹೆಚ್ಚು ಗಮನಾರ್ಹವಾಗಿ ಭಿನ್ನವಾಗಿರುತ್ತವೆ. ಆರಂಭಿಕ ಪ್ರಯತ್ನಗಳಲ್ಲಿ ರೇಖೀಯ ಹಿಂಜರಿತವನ್ನು ಬಳಸಲಾಯಿತು. ಆಧುನಿಕ ವ್ಯವಸ್ಥೆಗಳು ರೇಖೀಯ ಹಿಂಜರಿತ ಅಥವಾ ಇತರ ಯಂತ್ರ ಕಲಿಕೆಯ ತಂತ್ರಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಸುಪ್ತ ಶಬ್ದಾರ್ಥದ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಬೇಯೇಶಿಯನ್ ತೀರ್ಮಾನದಂತಹ ಇತರ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ತಂತ್ರಗಳೊಂದಿಗೆ ಸಂಯೋಜಿಸಬಹುದು. ಯಂತ್ರ ಕಲಿಕೆಯ ಮಾದರಿಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಕ್ರಾಸ್-ಡೊಮೇನ್ ಸೆಟ್ಟಿಂಗ್ನಲ್ಲಿ ಸ್ವಯಂಚಾಲಿತ ಪ್ರಬಂಧ ಸ್ಕೋರಿಂಗ್ ಕಾರ್ಯವನ್ನು ಸಹ ಅಧ್ಯಯನ ಮಾಡಲಾಗಿದೆ, ಅಲ್ಲಿ ಮಾದರಿಗಳಿಗೆ ಒಂದು ಪ್ರಾಂಪ್ಟ್ (ವಿಷಯ) ಗಾಗಿ ಬರೆಯಲಾದ ಪ್ರಬಂಧಗಳ ಮೇಲೆ ತರಬೇತಿ ನೀಡಲಾಗುತ್ತದೆ ಮತ್ತು ಮತ್ತೊಂದು ಪ್ರಾಂಪ್ಟ್ಗಾಗಿ ಬರೆಯಲಾದ ಪ್ರಬಂಧಗಳ ಮೇಲೆ ಪರೀಕ್ಷಿಸಲಾಗುತ್ತದೆ. ಕ್ರಾಸ್-ಡೊಮೇನ್ ಸನ್ನಿವೇಶದಲ್ಲಿ ಯಶಸ್ವಿ ವಿಧಾನಗಳು ಆಳವಾದ ಮತ್ತು ಆಳವಿಲ್ಲದ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಸಂಯೋಜಿಸುವ ಆಳವಾದ ನರ ಜಾಲಗಳು ಅಥವಾ ಮಾದರಿಗಳನ್ನು ಆಧರಿಸಿವೆ. ಯಶಸ್ಸಿನ ಮಾನದಂಡ ಮೌಲ್ಯಮಾಪನದ ಯಾವುದೇ ವಿಧಾನವನ್ನು ಸಿಂಧುತ್ವ, ನ್ಯಾಯಸಮ್ಮತತೆ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹತೆಯ ಆಧಾರದ ಮೇಲೆ ನಿರ್ಣಯಿಸಬೇಕು. ಒಂದು ಸಾಧನವು ನಿಜವಾಗಿಯೂ ಅಳೆಯಲು ಉದ್ದೇಶಿಸಿರುವ ಗುಣಲಕ್ಷಣವನ್ನು ಅಳೆಯಿದರೆ ಅದು ಮಾನ್ಯವಾಗಿರುತ್ತದೆ. ಅದು, ಪರಿಣಾಮಕಾರಿಯಾಗಿ, ಯಾವುದೇ ಒಂದು ವರ್ಗದ ಜನರಿಗೆ ದಂಡ ವಿಧಿಸದಿದ್ದರೆ ಅಥವಾ ಸವಲತ್ತು ನೀಡದಿದ್ದರೆ ಅದು ನ್ಯಾಯಯುತವಾಗಿದೆ. ಅಸಂಬದ್ಧ ಬಾಹ್ಯ ಅಂಶಗಳನ್ನು ಬದಲಾಯಿಸಲಾಗಿದ್ದರೂ ಸಹ, ಅದರ ಫಲಿತಾಂಶವನ್ನು ಪುನರಾವರ್ತಿಸಬಹುದಾದರೆ ಅದು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿರುತ್ತದೆ. ಕಂಪ್ಯೂಟರ್ಗಳು ಚಿತ್ರವನ್ನು ಪ್ರವೇಶಿಸುವ ಮೊದಲು, ಉನ್ನತ ಮಟ್ಟದ ಪ್ರಬಂಧಗಳಿಗೆ ಸಾಮಾನ್ಯವಾಗಿ ಇಬ್ಬರು ತರಬೇತಿ ಪಡೆದ ಮಾನವ ರೇಟರ್ಗಳು ಅಂಕಗಳನ್ನು ನೀಡುತ್ತಿದ್ದರು. ಅಂಕಗಳು ಒಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ಅಂಕಗಳಿಂದ ಭಿನ್ನವಾಗಿದ್ದರೆ, ಹೆಚ್ಚು ಅನುಭವಿ ಮೂರನೇ ರೇಟರ್ ಭಿನ್ನಾಭಿಪ್ರಾಯವನ್ನು ಬಗೆಹರಿಸುತ್ತಾರೆ. ಈ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ, ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ಅಳೆಯಲು ಸುಲಭವಾದ ಮಾರ್ಗವಿದೆಃ ಅಂತರ-ರೇಟರ್ ಒಪ್ಪಂದದ ಮೂಲಕ. ರೇಟರ್ಗಳು ಒಂದು ಹಂತದಲ್ಲಿ ಸ್ಥಿರವಾಗಿ ಒಪ್ಪಿಕೊಳ್ಳದಿದ್ದರೆ, ಅವರ ತರಬೇತಿಯು ತಪ್ಪಾಗಿರಬಹುದು. ಇತರ ರೇಟರ್ಗಳು ಅದೇ ಪ್ರಬಂಧಗಳನ್ನು ಹೇಗೆ ನೋಡುತ್ತಾರೆ ಎಂಬುದರ ಬಗ್ಗೆ ರೇಟರ್ ನಿರಂತರವಾಗಿ ಭಿನ್ನಾಭಿಪ್ರಾಯ ಹೊಂದಿದ್ದರೆ, ಆ ರೇಟರ್ಗೆ ಬಹುಶಃ ಹೆಚ್ಚುವರಿ ತರಬೇತಿಯ ಅಗತ್ಯವಿದೆ. ಅಂತರ-ಪ್ರಾದೇಶಿಕ ಒಪ್ಪಂದವನ್ನು ಅಳೆಯಲು ವಿವಿಧ ಅಂಕಿಅಂಶಗಳನ್ನು ಪ್ರಸ್ತಾಪಿಸಲಾಗಿದೆ. ಅವುಗಳಲ್ಲಿ ಶೇಕಡಾವಾರು ಒಪ್ಪಂದ, ಸ್ಕಾಟ್ನ π, ಕೋಹೆನ್ನ κ, ಕ್ರಿಪೆಂಡಾರ್ಫ್ನ α, ಪಿಯರ್ಸನ್ನ ಪರಸ್ಪರ ಸಂಬಂಧದ ಗುಣಾಂಕ r, ಸ್ಪಿಯರ್ಮ್ಯಾನ್ನ ಶ್ರೇಣಿಯ ಪರಸ್ಪರ ಸಂಬಂಧದ ಗುಣಾಂಕ ρ, ಮತ್ತು ಲಿನ್ನ ಸಾಮರಸ್ಯದ ಪರಸ್ಪರ ಸಂಬಂಧದ ಗುಣಾಂಕ ಸೇರಿವೆ. ಶೇಕಡಾವಾರು ಒಪ್ಪಂದವು 1 ರಿಂದ n ರವರೆಗಿನ ಅಂಕಗಳೊಂದಿಗೆ ಗ್ರೇಡಿಂಗ್ ಮಾಪಕಗಳಿಗೆ ಅನ್ವಯವಾಗುವ ಸರಳ ಅಂಕಿ ಅಂಶವಾಗಿದೆ, ಅಲ್ಲಿ ಸಾಮಾನ್ಯವಾಗಿ 4 ≤ n ≤ 6. ಇದು ಮೂರು ಅಂಕಿಗಳಾಗಿ ವರದಿಯಾಗಿದೆ, ಪ್ರತಿಯೊಂದೂ ಒಟ್ಟು ಅಂಕಗಳ ಸಂಖ್ಯೆಯ ಶೇಕಡಾವಾರುಃ ನಿಖರವಾದ ಒಪ್ಪಂದ (ಇಬ್ಬರು ರೇಟರ್ಗಳು ಪ್ರಬಂಧಕ್ಕೆ ಒಂದೇ ಅಂಕವನ್ನು ನೀಡಿದರು), ಪಕ್ಕದ ಒಪ್ಪಂದ (ರೇಟರ್ಗಳು ಗರಿಷ್ಠ ಒಂದು ಹಂತದಿಂದ ಭಿನ್ನವಾಗಿರುತ್ತಾರೆ; ಇದು ನಿಖರವಾದ ಒಪ್ಪಂದವನ್ನು ಒಳಗೊಂಡಿದೆ), ಮತ್ತು ತೀವ್ರ ಭಿನ್ನಾಭಿಪ್ರಾಯ (ರೇಟರ್ಗಳು ಎರಡಕ್ಕಿಂತ ಹೆಚ್ಚು ಅಂಕಗಳಿಂದ ಭಿನ್ನವಾಗಿರುತ್ತಾರೆ). ತಜ್ಞ ಮಾನವ ದರ್ಜೆಯವರು ಎಲ್ಲಾ ಪ್ರಬಂಧಗಳಲ್ಲಿ 53 ರಿಂದ 81 ಪ್ರತಿಶತದಷ್ಟು ನಿಖರವಾದ ಒಪ್ಪಂದವನ್ನು ಸಾಧಿಸುವುದು ಕಂಡುಬಂದಿದೆ, ಮತ್ತು 97 ರಿಂದ 100% ಗೆ ಪಕ್ಕದ ಒಪ್ಪಂದವು ಕಂಡುಬಂದಿದೆ. ಕಂಪ್ಯೂಟರ್ನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯಲು ಇಂಟರ್-ರೇಟರ್ ಒಪ್ಪಂದವನ್ನು ಈಗ ಅನ್ವಯಿಸಬಹುದು. ಪ್ರಬಂಧಗಳ ಒಂದು ಗುಂಪನ್ನು ಇಬ್ಬರು ಮಾನವ ರೇಟರ್ಗಳಿಗೆ ಮತ್ತು ಎಇಎಸ್ ಪ್ರೋಗ್ರಾಂಗೆ ನೀಡಲಾಗುತ್ತದೆ. ಕಂಪ್ಯೂಟರ್-ನಿಯೋಜಿಸಿದ ಅಂಕಗಳು ಮಾನವ ರೇಟರ್ಗಳಲ್ಲಿ ಒಂದನ್ನು ಒಪ್ಪಿದರೆ ಮತ್ತು ರೇಟರ್ಗಳು ಪರಸ್ಪರ ಒಪ್ಪಿದರೆ, ಎಇಎಸ್ ಪ್ರೋಗ್ರಾಂ ಅನ್ನು ವಿಶ್ವಾಸಾರ್ಹವೆಂದು ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ. ಪರ್ಯಾಯವಾಗಿ, ಎರಡು ಮಾನವ ರೇಟರ್ಗಳ ಅಂಕಗಳ ಸರಾಸರಿಯನ್ನು ತೆಗೆದುಕೊಳ್ಳುವ ಮೂಲಕ ಪ್ರತಿ ಪ್ರಬಂಧಕ್ಕೂ "ನಿಜವಾದ ಅಂಕ" ವನ್ನು ನೀಡಲಾಗುತ್ತದೆ, ಮತ್ತು ಇಬ್ಬರು ಮಾನವರು ಮತ್ತು ಗಣಕಯಂತ್ರವನ್ನು ನಿಜವಾದ ಅಂಕಗಳೊಂದಿಗೆ ಅವರ ಒಪ್ಪಂದದ ಆಧಾರದ ಮೇಲೆ ಹೋಲಿಸಲಾಗುತ್ತದೆ. ಕೆಲವು ಸಂಶೋಧಕರು ತಮ್ಮ ಎಇಎಸ್ ವ್ಯವಸ್ಥೆಗಳು ವಾಸ್ತವವಾಗಿ ಮನುಷ್ಯರಿಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಬಲ್ಲವು ಎಂದು ವರದಿ ಮಾಡಿದ್ದಾರೆ. ಪೇಜ್ 1994ರಲ್ಲಿ ಪಿಇಜಿಗಾಗಿ ಈ ಹಕ್ಕನ್ನು ಮಂಡಿಸಿದರು. 2003ರಲ್ಲಿ ಸ್ಕಾಟ್ ಎಲಿಯಟ್, ಇಂಟೆಲ್ಲಿಮೆಟ್ರಿಕ್ ಸಾಮಾನ್ಯವಾಗಿ ಮಾನವ ಅಂಕಗಳನ್ನು ಗಳಿಸುವವರನ್ನು ಮೀರಿಸುತ್ತದೆ ಎಂದು ಹೇಳಿದರು. ಆದಾಗ್ಯೂ, ಯಾವುದೇ ರೀತಿಯ ಸಂಕೀರ್ಣ ಬರವಣಿಗೆ ಪರೀಕ್ಷೆಗೆ ಎಇಎಸ್ ಯಂತ್ರಗಳು ಮಾನವ ಓದುಗರಿಗಿಂತ ಕಡಿಮೆ ವಿಶ್ವಾಸಾರ್ಹವೆಂದು ತೋರುತ್ತದೆ. ಪ್ರಸ್ತುತ ಆಚರಣೆಯಲ್ಲಿ, ಜಿಎಂಎಟಿಯಂತಹ ಹೆಚ್ಚಿನ-ಹಕ್ಕಿನ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಯಾವಾಗಲೂ ಕನಿಷ್ಠ ಒಬ್ಬ ವ್ಯಕ್ತಿಯಿಂದ ಗಳಿಸಲಾಗುತ್ತದೆ. ಎರಡನೇ ರೇಟರ್ ಬದಲಿಗೆ ಎಇಎಸ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಮಾನವ ರೇಟರ್ ಒಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ಅಂಶಗಳ ಯಾವುದೇ ಭಿನ್ನಾಭಿಪ್ರಾಯಗಳನ್ನು ಪರಿಹರಿಸುತ್ತಾನೆ. ಎಇಎಸ್ನ ಟೀಕೆಯು ವಿವಿಧ ಆಧಾರದ ಮೇಲೆ ಟೀಕಿಸಲ್ಪಟ್ಟಿದೆ. ಯಾಂಗ್ ಮತ್ತು ಇತರರು. "ಪ್ರತಿಕ್ರಿಯೆಗಳ ಮೇಲ್ಮೈ ವೈಶಿಷ್ಟ್ಯಗಳ ಮೇಲೆ ಅತಿಯಾದ ಅವಲಂಬನೆ, ಪ್ರತಿಕ್ರಿಯೆಗಳ ವಿಷಯ ಮತ್ತು ಸೃಜನಶೀಲತೆಗೆ ಅಸಂವೇದನಶೀಲತೆ ಮತ್ತು ಹೊಸ ರೀತಿಯ ವಂಚನೆ ಮತ್ತು ಪರೀಕ್ಷಾ-ತೆಗೆದುಕೊಳ್ಳುವ ತಂತ್ರಗಳಿಗೆ ದುರ್ಬಲತೆಯನ್ನು" ಉಲ್ಲೇಖಿಸಿ. ತಮ್ಮ ಬರವಣಿಗೆಯನ್ನು ಯಾರೂ ಓದುವುದಿಲ್ಲ ಎಂದು ತಿಳಿದಿದ್ದರೆ ವಿದ್ಯಾರ್ಥಿಗಳ ಪ್ರೇರಣೆ ಕಡಿಮೆಯಾಗುತ್ತದೆ ಎಂದು ಹಲವಾರು ವಿಮರ್ಶಕರು ಕಳವಳ ವ್ಯಕ್ತಪಡಿಸಿದ್ದಾರೆ. ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಕೀಳುಮಟ್ಟದ ಪ್ರಬಂಧಗಳಿಗೆ ಹೆಚ್ಚಿನ ಅಂಕಗಳನ್ನು ನೀಡಲಾಗುತ್ತಿರುವ ವರದಿಗಳು ಹೆಚ್ಚು ಹೇಳುವ ವಿಮರ್ಶೆಗಳಲ್ಲಿ ಸೇರಿವೆ. HumanReaders.Org ಅರ್ಜಿಯು 2013ರ ಮಾರ್ಚ್ 12ರಂದು, HumanReaders.Org "ಹೈ-ಸ್ಟೇಕ್ಸ್ ಅಸೆಸ್ಮೆಂಟ್ನಲ್ಲಿ ವಿದ್ಯಾರ್ಥಿ ಪ್ರಬಂಧಗಳ ಯಂತ್ರ ಅಂಕಗಳ ವಿರುದ್ಧ ವೃತ್ತಿಪರರು" ಎಂಬ ಆನ್ಲೈನ್ ಅರ್ಜಿಯನ್ನು ಪ್ರಾರಂಭಿಸಿತು. ಕೆಲವೇ ವಾರಗಳಲ್ಲಿ, ಈ ಅರ್ಜಿಯು ನೋಮ್ ಚೋಮ್ಸ್ಕಿ ಸೇರಿದಂತೆ ಸಾವಿರಾರು ಸಹಿಗಳನ್ನು ಗಳಿಸಿತು ಮತ್ತು ದಿ ನ್ಯೂಯಾರ್ಕ್ ಟೈಮ್ಸ್ ಸೇರಿದಂತೆ ಹಲವಾರು ಪತ್ರಿಕೆಗಳಲ್ಲಿ ಮತ್ತು ಹಲವಾರು ಶಿಕ್ಷಣ ಮತ್ತು ತಂತ್ರಜ್ಞಾನ ಬ್ಲಾಗ್ಗಳಲ್ಲಿ ಉಲ್ಲೇಖಿಸಲ್ಪಟ್ಟಿತು. ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ಪರೀಕ್ಷೆಗೆ ಎಇಎಸ್ನ ಬಳಕೆಯನ್ನು "ಕ್ಷುಲ್ಲಕ", "ಕಡಿಮೆ", "ನಿಖರವಲ್ಲದ", "ರೋಗನಿರ್ಣಯ ಮಾಡದ", "ಅನ್ಯಾಯ" ಮತ್ತು "ಗೌಪ್ಯ" ಎಂದು ಅರ್ಜಿಯು ವಿವರಿಸುತ್ತದೆ. ಎಇಎಸ್ ಕುರಿತ ಸಂಶೋಧನೆಯ ವಿವರವಾದ ಸಾರಾಂಶದಲ್ಲಿ, ಅರ್ಜಿಯ ತಾಣವು, "ವಿದ್ಯಾರ್ಥಿಗಳು, ಪೋಷಕರು, ಶಿಕ್ಷಕರು, ಉದ್ಯೋಗದಾತರು, ಆಡಳಿತಾಧಿಕಾರಿಗಳು, ಶಾಸಕರು-ಯಾರೂ ಪ್ರಬಂಧಗಳ ಯಂತ್ರ ಸ್ಕೋರಿಂಗ್ ಅನ್ನು ಅವಲಂಬಿಸಲಾಗುವುದಿಲ್ಲ ಎಂದು ಸಂಶೋಧನೆಗಳು ತೋರಿಸುತ್ತವೆ. ಮತ್ತು ಯಂತ್ರ ಸ್ಕೋರಿಂಗ್ ಅಳೆಯುವುದಿಲ್ಲ ಮತ್ತು ಆದ್ದರಿಂದ, ಅಧಿಕೃತ ಬರವಣಿಗೆಯ ಕ್ರಿಯೆಗಳನ್ನು ಉತ್ತೇಜಿಸುವುದಿಲ್ಲ" ಎಂದು ಹೇಳುತ್ತದೆ. ಅರ್ಜಿಯು ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೆಚ್ಚಿನ-ಹಕ್ಕಿನ ಪರೀಕ್ಷೆಗೆ ಎಇಎಸ್ನ ಬಳಕೆಯನ್ನು ತಿಳಿಸುತ್ತದೆ ಮತ್ತು ಇತರ ಸಂಭವನೀಯ ಬಳಕೆಗಳ ಬಗ್ಗೆ ಏನನ್ನೂ ಹೇಳುವುದಿಲ್ಲ. ಸಾಫ್ಟ್ವೇರ್ ಸ್ವಯಂಚಾಲಿತ ಪ್ರಬಂಧ ಸ್ಕೋರಿಂಗ್ಗಾಗಿ ಹೆಚ್ಚಿನ ಸಂಪನ್ಮೂಲಗಳು ಸ್ವಾಮ್ಯಸೂಚಕವಾಗಿವೆ. ಇ-ರೇಟರ್-ಎಜುಕೇಷನಲ್ ಟೆಸ್ಟಿಂಗ್ ಸರ್ವೀಸ್ ಇಂಟೆಲಿಮೆಟ್ರಿಕ್ನಿಂದ-ವಾಂಟೇಜ್ ಲರ್ನಿಂಗ್ ಪ್ರಾಜೆಕ್ಟ್ ಎಸ್ಸೇ ಗ್ರೇಡ್ನಿಂದ-ಮಾಪನ, ಇಂಕ್. ಉಲ್ಲೇಖಗಳು ಕಂಪ್ಯೂಟೇಶನಲ್ ಭಾಷಾಶಾಸ್ತ್ರ ಶೈಕ್ಷಣಿಕ ಮೌಲ್ಯಮಾಪನ ವಿಧಾನಗಳು ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ವರ್ಗೀಕರಣ ಪ್ರಬಂಧಗಳು ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆಯ ಕಾರ್ಯಗಳು