Noisy text analytics
ಗದ್ದಲದ ಪಠ್ಯ ವಿಶ್ಲೇಷಣೆಯು ಮಾಹಿತಿಯ ಹೊರತೆಗೆಯುವಿಕೆಯ ಪ್ರಕ್ರಿಯೆಯಾಗಿದ್ದು, ಇದರ ಗುರಿಯು ಗದ್ದಲದ ರಚನೆಯಿಲ್ಲದ ಪಠ್ಯ ದತ್ತಾಂಶದಿಂದ ರಚನಾತ್ಮಕ ಅಥವಾ ಅರೆ-ರಚನೆಯ ಮಾಹಿತಿಯನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಹೊರತೆಗೆಯುವುದು. ಪಠ್ಯ ವಿಶ್ಲೇಷಣೆಯು ಬೆಳೆಯುತ್ತಿರುವ ಮತ್ತು ಪ್ರಬುದ್ಧ ಕ್ಷೇತ್ರವಾಗಿದ್ದು, ದೊಡ್ಡ ಪ್ರಮಾಣದ ದತ್ತಾಂಶವನ್ನು ಉತ್ಪಾದಿಸುವುದರಿಂದ ಹೆಚ್ಚಿನ ಮೌಲ್ಯವನ್ನು ಹೊಂದಿದೆ, ಗದ್ದಲದ ಪಠ್ಯದ ಸಂಸ್ಕರಣೆಯು ಪ್ರಾಮುಖ್ಯತೆಯನ್ನು ಪಡೆಯುತ್ತಿದೆ ಏಕೆಂದರೆ ಬಹಳಷ್ಟು ಸಾಮಾನ್ಯ ಅಪ್ಲಿಕೇಶನ್ಗಳು ಗದ್ದಲದ ಪಠ್ಯ ದತ್ತಾಂಶವನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ. ಆನ್ಲೈನ್ ಚಾಟ್, ಪಠ್ಯ ಸಂದೇಶಗಳು, ಇ-ಮೇಲ್ಗಳು, ಸಂದೇಶ ಬೋರ್ಡ್ಗಳು, ಸುದ್ದಿ ಗುಂಪುಗಳು, ಬ್ಲಾಗ್ಗಳು, ವಿಕಿಗಳು ಮತ್ತು ವೆಬ್ ಪುಟಗಳಂತಹ ಅನೌಪಚಾರಿಕ ಸೆಟ್ಟಿಂಗ್ಗಳಲ್ಲಿ ಗದ್ದಲದ ರಚನೆಯಿಲ್ಲದ ಪಠ್ಯ ದತ್ತಾಂಶವು ಕಂಡುಬರುತ್ತದೆ. ಅಲ್ಲದೆ, ಸ್ವಯಂಚಾಲಿತ ಭಾಷಣ ಗುರುತಿಸುವಿಕೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಸ್ವಯಂಪ್ರೇರಿತ ಭಾಷಣವನ್ನು ಸಂಸ್ಕರಿಸುವ ಮೂಲಕ ಮತ್ತು ಆಪ್ಟಿಕಲ್ ಅಕ್ಷರ ಗುರುತಿಸುವಿಕೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಮುದ್ರಿತ ಅಥವಾ ಕೈಬರಹದ ಪಠ್ಯವು ಸಂಸ್ಕರಣಾ ಶಬ್ದವನ್ನು ಹೊಂದಿರುತ್ತದೆ. ಅಂತಹ ಸಂದರ್ಭಗಳಲ್ಲಿ ಉತ್ಪತ್ತಿಯಾಗುವ ಪಠ್ಯವು ಸಾಮಾನ್ಯವಾಗಿ ಕಾಗುಣಿತ ದೋಷಗಳು, ಸಂಕ್ಷೇಪಣಗಳು, ಪ್ರಮಾಣಿತವಲ್ಲದ ಪದಗಳು, ಸುಳ್ಳು ಪ್ರಾರಂಭಗಳು, ಪುನರಾವರ್ತನೆಗಳು, ಕಾಣೆಯಾದ ವಿರಾಮ ಚಿಹ್ನೆಗಳು, ಕಾಣೆಯಾದ ಅಕ್ಷರದ ಕೇಸ್ ಮಾಹಿತಿ, "ಉಮ್" ಮತ್ತು "ಉಹ್" ನಂತಹ ಪದಗಳನ್ನು ಭರ್ತಿ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸುವುದು ಮತ್ತು ಇತರ ಪಠ್ಯ ಸಂದೇಶಗಳು ಮತ್ತು ಮಾತಿನ ಅಸ್ಪಷ್ಟತೆಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಅಂತಹ ಪಠ್ಯವನ್ನು ಸಂಪರ್ಕ ಕೇಂದ್ರಗಳು, ಚಾಟ್ ರೂಮ್ಗಳು, ಪಠ್ಯ ದಾಖಲೆಗಳ ಆಪ್ಟಿಕಲ್ ಅಕ್ಷರ ಗುರುತಿಸುವಿಕೆ (ಒಸಿಆರ್), ಕಿರು ಸಂದೇಶ ಸೇವೆ (ಎಸ್ಎಂಎಸ್) ಪಠ್ಯ ಇತ್ಯಾದಿಗಳಲ್ಲಿ ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಕಾಣಬಹುದು. ಐತಿಹಾಸಿಕ ಭಾಷೆಯೊಂದಿಗಿನ ದಾಖಲೆಗಳು ಭಾಷೆಯ ಬಗ್ಗೆ ಇಂದಿನ ಜ್ಞಾನಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಗದ್ದಲದವೆಂದು ಪರಿಗಣಿಸಬಹುದು. ಅಂತಹ ಪಠ್ಯವು ಉಪಯುಕ್ತವಾದ ಪ್ರಮುಖ ಐತಿಹಾಸಿಕ, ಧಾರ್ಮಿಕ, ಪ್ರಾಚೀನ ವೈದ್ಯಕೀಯ ಜ್ಞಾನವನ್ನು ಹೊಂದಿದೆ. ಈ ಎಲ್ಲಾ ಸಂದರ್ಭಗಳಲ್ಲಿ ಉತ್ಪತ್ತಿಯಾಗುವ ಗದ್ದಲದ ಪಠ್ಯದ ಸ್ವರೂಪವು ಸಾಂಪ್ರದಾಯಿಕ ಪಠ್ಯ ವಿಶ್ಲೇಷಣೆ ತಂತ್ರಗಳನ್ನು ಮೀರಿ ಸಾಗುತ್ತದೆ. ಗದ್ದಲದ ಪಠ್ಯ ವಿಶ್ಲೇಷಣೆಯ ತಂತ್ರಗಳು ಕಾಣೆಯಾದ ವಿರಾಮಚಿಹ್ನೆ ಮತ್ತು ಪ್ರಮಾಣಿತವಲ್ಲದ ಪದಗಳ ಬಳಕೆಯು ಸಾಮಾನ್ಯವಾಗಿ ಪಾರ್ಟ್-ಆಫ್-ಸ್ಪೀಚ್ ಟ್ಯಾಗಿಂಗ್ ಮತ್ತು ಪಾರ್ಸಿಂಗ್ನಂತಹ ಪ್ರಮಾಣಿತ ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣಾ ಸಾಧನಗಳಿಗೆ ಅಡ್ಡಿಯಾಗಬಹುದು. ಗದ್ದಲದ ದತ್ತಾಂಶದಿಂದ ಕಲಿಯಲು ಮತ್ತು ನಂತರ ಗದ್ದಲದ ದತ್ತಾಂಶವನ್ನು ಸಂಸ್ಕರಿಸಲು ಸಾಧ್ಯವಾಗುವ ತಂತ್ರಗಳನ್ನು ಈಗ ಮಾತ್ರ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾಗುತ್ತಿದೆ. ಗದ್ದಲದ ಪಠ್ಯದ ಸಂಭಾವ್ಯ ಮೂಲ ವರ್ಲ್ಡ್ ವೈಡ್ ವೆಬ್ಃ ಕಳಪೆ ಲಿಖಿತ ಪಠ್ಯವು ವೆಬ್ ಪುಟಗಳು, ಆನ್ಲೈನ್ ಚಾಟ್, ಬ್ಲಾಗ್ಗಳು, ವಿಕಿಗಳು, ಚರ್ಚಾ ವೇದಿಕೆಗಳು, ಸುದ್ದಿ ಗುಂಪುಗಳಲ್ಲಿ ಕಂಡುಬರುತ್ತದೆ. ಈ ದತ್ತಾಂಶಗಳಲ್ಲಿ ಹೆಚ್ಚಿನವು ರಚನೆಯಾಗಿಲ್ಲ ಮತ್ತು ಬರೆಯುವ ಶೈಲಿಯು ಚೆನ್ನಾಗಿ ಬರೆಯಲಾದ ಸುದ್ದಿ ಲೇಖನಗಳಿಗಿಂತ ಬಹಳ ಭಿನ್ನವಾಗಿದೆ. ವೆಬ್ ದತ್ತಾಂಶದ ವಿಶ್ಲೇಷಣೆಯು ಮುಖ್ಯವಾಗಿದೆ ಏಕೆಂದರೆ ಅವು ಮಾರುಕಟ್ಟೆ ಸಂಚಲನ ವಿಶ್ಲೇಷಣೆ, ಮಾರುಕಟ್ಟೆ ವಿಮರ್ಶೆ, ಪ್ರವೃತ್ತಿಯ ಅಂದಾಜು ಇತ್ಯಾದಿಗಳಿಗೆ ಮೂಲಗಳಾಗಿವೆ. ಅಲ್ಲದೆ, ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ದತ್ತಾಂಶದಿಂದಾಗಿ, ಮಾಹಿತಿಯ ಹೊರತೆಗೆಯುವಿಕೆ, ವರ್ಗೀಕರಣ, ಸ್ವಯಂಚಾಲಿತ ಸಾರಾಂಶ ಮತ್ತು ಈ ದತ್ತಾಂಶದ ವಿಶ್ಲೇಷಣೆಯ ಪರಿಣಾಮಕಾರಿ ವಿಧಾನಗಳನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಅಗತ್ಯವಾಗಿದೆ. ಸಂಪರ್ಕ ಕೇಂದ್ರಗಳುಃ ಇದು ಕಂಪ್ಯೂಟರ್ ಮಾರಾಟ ಮತ್ತು ಬೆಂಬಲದಿಂದ ಹಿಡಿದು ಮೊಬೈಲ್ ಫೋನ್ಗಳವರೆಗೆ ಉಡುಪುಗಳವರೆಗೆ ಡೊಮೇನ್ಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಸಹಾಯ ಮೇಜುಗಳು, ಮಾಹಿತಿ ಮಾರ್ಗಗಳು ಮತ್ತು ಗ್ರಾಹಕ ಸೇವಾ ಕೇಂದ್ರಗಳಿಗೆ ಸಾಮಾನ್ಯ ಪದವಾಗಿದೆ. ಅಭಿವೃದ್ಧಿ ಹೊಂದಿದ ಜಗತ್ತಿನಲ್ಲಿ ಸರಾಸರಿ ಒಬ್ಬ ವ್ಯಕ್ತಿಯು ಕನಿಷ್ಠ ವಾರಕ್ಕೊಮ್ಮೆಯಾದರೂ ಸಂಪರ್ಕ ಕೇಂದ್ರದ ಪ್ರತಿನಿಧಿಯೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸುತ್ತಾನೆ. ಒಬ್ಬ ಸಾಮಾನ್ಯ ಸಂಪರ್ಕ ಕೇಂದ್ರದ ಏಜೆಂಟ್ ದಿನಕ್ಕೆ ನೂರಕ್ಕೂ ಹೆಚ್ಚು ಕರೆಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತಾನೆ. ಅವು ಧ್ವನಿ, ಆನ್ಲೈನ್ ಚಾಟ್ ಮತ್ತು ಇ-ಮೇಲ್ನಂತಹ ವಿವಿಧ ವಿಧಾನಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. ಸಂಪರ್ಕ ಕೇಂದ್ರ ಉದ್ಯಮವು ಇ-ಮೇಲ್ಗಳು, ಚಾಟ್ ಲಾಗ್ಗಳು, ಧ್ವನಿ ಸಂಭಾಷಣೆ ಪ್ರತಿಲೇಖನಗಳು, ಗ್ರಾಹಕರ ಪ್ರತಿಕ್ರಿಯೆ ಇತ್ಯಾದಿಗಳ ರೂಪದಲ್ಲಿ ಗಿಗಾಬೈಟ್ಗಳಷ್ಟು ದತ್ತಾಂಶವನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಸಂಪರ್ಕ ಕೇಂದ್ರದ ದತ್ತಾಂಶದ ಬಹುಪಾಲು ಧ್ವನಿ ಸಂಭಾಷಣೆಗಳಾಗಿವೆ. ಅತ್ಯಾಧುನಿಕ ಸ್ವಯಂಚಾಲಿತ ಭಾಷಣ ಗುರುತಿಸುವಿಕೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಇವುಗಳ ಪ್ರತಿಲೇಖನವು 30-40% ಪದ ದೋಷ ದರದೊಂದಿಗೆ ಪಠ್ಯಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ. ಇದಲ್ಲದೆ, ಗ್ರಾಹಕರು ಮತ್ತು ಏಜೆಂಟರ ನಡುವಿನ ಆನ್ಲೈನ್ ಚಾಟ್ ಮತ್ತು ಇಮೇಲ್ನಲ್ಲಿನ ಸಂವಹನಗಳಂತಹ ಲಿಖಿತ ಸಂವಹನ ವಿಧಾನಗಳು ಸಹ ಗದ್ದಲದ ಪ್ರವೃತ್ತಿಯನ್ನು ಹೊಂದಿರುತ್ತವೆ. ಗ್ರಾಹಕ ಸಂಬಂಧ ನಿರ್ವಹಣೆ, ಗ್ರಾಹಕ ತೃಪ್ತಿ ವಿಶ್ಲೇಷಣೆ, ಕರೆ ಮಾಡೆಲಿಂಗ್, ಗ್ರಾಹಕ ಪ್ರೊಫೈಲಿಂಗ್, ಏಜೆಂಟ್ ಪ್ರೊಫೈಲಿಂಗ್ ಇತ್ಯಾದಿಗಳಿಗೆ ಸಂಪರ್ಕ ಕೇಂದ್ರದ ದತ್ತಾಂಶದ ವಿಶ್ಲೇಷಣೆ ಅತ್ಯಗತ್ಯವಾಗಿದೆ ಮತ್ತು ಕಳಪೆ ಲಿಖಿತ ಪಠ್ಯವನ್ನು ನಿರ್ವಹಿಸಲು ಅತ್ಯಾಧುನಿಕ ತಂತ್ರಗಳು ಬೇಕಾಗುತ್ತವೆ. ಮುದ್ರಿತ ದಾಖಲೆಗಳುಃ ಅನೇಕ ಗ್ರಂಥಾಲಯಗಳು, ಸರ್ಕಾರಿ ಸಂಸ್ಥೆಗಳು ಮತ್ತು ರಾಷ್ಟ್ರೀಯ ರಕ್ಷಣಾ ಸಂಸ್ಥೆಗಳು ಹಾರ್ಡ್ ಕಾಪಿ ದಾಖಲೆಗಳ ವಿಶಾಲವಾದ ಭಂಡಾರಗಳನ್ನು ಹೊಂದಿವೆ. ಅಂತಹ ಡಾಕ್ಯುಮೆಂಟ್ಗಳಿಂದ ವಿಷಯವನ್ನು ಹಿಂಪಡೆಯಲು ಮತ್ತು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು, ಅವುಗಳನ್ನು ಆಪ್ಟಿಕಲ್ ಕ್ಯಾರೆಕ್ಟರ್ ರೆಕಗ್ನಿಷನ್ ಬಳಸಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬೇಕಾಗುತ್ತದೆ. ಮುದ್ರಿತ ಪಠ್ಯದ ಜೊತೆಗೆ, ಈ ದಾಖಲೆಗಳು ಕೈಬರಹದ ಟಿಪ್ಪಣಿಗಳನ್ನು ಸಹ ಹೊಂದಿರಬಹುದು. ಅಕ್ಷರಶೈಲಿಯ ಗಾತ್ರ, ಮುದ್ರಣದ ಗುಣಮಟ್ಟ ಇತ್ಯಾದಿಗಳನ್ನು ಅವಲಂಬಿಸಿ ಓಸಿಆರ್ಡ್ ಪಠ್ಯವು ಹೆಚ್ಚು ಗದ್ದಲದಂತಿರಬಹುದು. ಇದು 2-3% ಪದ ದೋಷ ದರಗಳಿಂದ ಹಿಡಿದು 50-60% ಪದ ದೋಷ ದರಗಳವರೆಗೆ ಇರಬಹುದು. ಕೈಬರಹದ ಟಿಪ್ಪಣಿಗಳನ್ನು ಅರ್ಥೈಸಿಕೊಳ್ಳುವುದು ವಿಶೇಷವಾಗಿ ಕಷ್ಟವಾಗಬಹುದು ಮತ್ತು ಅವುಗಳ ಉಪಸ್ಥಿತಿಯಲ್ಲಿ ದೋಷದ ಪ್ರಮಾಣವು ತುಂಬಾ ಹೆಚ್ಚಾಗಿರಬಹುದು. ಕಿರು ಸಂದೇಶ ಸೇವೆ (ಎಸ್ಎಂಎಸ್): ಚಾಟ್ಗಳು, ಇಮೇಲ್ಗಳು ಮತ್ತು ಎಸ್ಎಂಎಸ್ ಪಠ್ಯಗಳಂತಹ ಕಂಪ್ಯೂಟರ್ ಮಧ್ಯಸ್ಥಿಕೆಯ ಪ್ರವಚನಗಳಲ್ಲಿ ಭಾಷೆಯ ಬಳಕೆಯು ಭಾಷೆಯ ಪ್ರಮಾಣಿತ ರೂಪಕ್ಕಿಂತ ಗಮನಾರ್ಹವಾಗಿ ಭಿನ್ನವಾಗಿದೆ. ಸಂದೇಶದ ಉದ್ದವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಪ್ರಚೋದನೆಯು ವೇಗವಾಗಿ ಬೆರಳಚ್ಚು ಮಾಡಲು ಮತ್ತು ಶಬ್ದಾರ್ಥದ ಸ್ಪಷ್ಟತೆಯ ಅಗತ್ಯವನ್ನು ಸುಗಮಗೊಳಿಸುತ್ತದೆ, ಇದು ಪಠ್ಯ ಭಾಷೆ ಎಂದು ಕರೆಯಲ್ಪಡುವ ಈ ಪ್ರಮಾಣಿತವಲ್ಲದ ರೂಪದ ರಚನೆಯನ್ನು ರೂಪಿಸುತ್ತದೆ. ಪಠ್ಯ ವಿಶ್ಲೇಷಣೆ ಮಾಹಿತಿ ಹೊರತೆಗೆಯುವಿಕೆ ಕಂಪ್ಯೂಟೇಶನಲ್ ಭಾಷಾಶಾಸ್ತ್ರ ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆ ಹೆಸರಿಸಲಾದ ಘಟಕ ಗುರುತಿಸುವಿಕೆ ಪಠ್ಯ ಗಣಿಗಾರಿಕೆ ಸ್ವಯಂಚಾಲಿತ ಸಾರಾಂಶ ಅಂಕಿಅಂಶಗಳ ವರ್ಗೀಕರಣ ದತ್ತಾಂಶ ಗುಣಮಟ್ಟದ ಉಲ್ಲೇಖಗಳು "ವಾಂಗ್, ಡಬ್ಲ್ಯೂ., ಲಿಯು, ಡಬ್ಲ್ಯೂ. ಮತ್ತು ಬೆನಾಮೌನ್, ಎಂ. ಡರ್ಟಿ ಪಠ್ಯಗಳನ್ನು ಸ್ವಚ್ಛಗೊಳಿಸಲು ವರ್ಧಿತ ಸಮಗ್ರ ಅಂಕಗಳು. ರಲ್ಲಿಃ ಐ. ಜೆ. ಸಿ. ಎ. ಐ. ವರ್ಕ್ಷಾಪ್ ಆನ್ ಅನಾಲಿಟಿಕ್ಸ್ ಫಾರ್ ನಾಯಿಸ್ ಅನ್ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಟೆಕ್ಸ್ಟ್ ಡೇಟಾ (ಎ. ಎನ್. ಡಿ.), 2007; ಹೈದರಾಬಾದ್, ಭಾರತ. "ಎಲ್. ವಿ. ಸುಬ್ರಮಣ್ಯಂ, ಎಸ್. ರಾಯ್, ಟಿ. ಎ. ಫಾರೂಕಿ, ಎಸ್. ನೇಗಿ, ಪಠ್ಯ ಶಬ್ದದ ಪ್ರಕಾರಗಳು ಮತ್ತು ಗದ್ದಲದ ಪಠ್ಯವನ್ನು ನಿರ್ವಹಿಸುವ ತಂತ್ರಗಳ ಸಮೀಕ್ಷೆ. 2009ರಲ್ಲಿ, "ನಾಯಿಸ್ ಅನ್ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಟೆಕ್ಸ್ಟ್ ಡೇಟಾ (ಎ. ಎನ್. ಡಿ.) ಗಾಗಿ ವಿಶ್ಲೇಷಣೆ ಕುರಿತ ಮೂರನೇ ಕಾರ್ಯಾಗಾರ". ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ಅನ್ವಯಗಳು ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣ ಕಂಪ್ಯೂಟೇಶನಲ್ ಭಾಷಾಶಾಸ್ತ್ರ ಮಾಹಿತಿ ಮರುಪಡೆಯುವಿಕೆ ಪ್ರಕಾರಗಳು ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆ