Semantic compression
ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆಯಲ್ಲಿ, ಶಬ್ದಾರ್ಥದ ಸಂಕೋಚನವು ಭಾಷೆಯ ವೈವಿಧ್ಯತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮೂಲಕ ಪಠ್ಯ ದಾಖಲೆಯನ್ನು (ಅಥವಾ ದಾಖಲೆಗಳ ಗುಂಪನ್ನು) ನಿರ್ಮಿಸಲು ಬಳಸುವ ನಿಘಂಟನ್ನು ಸಂಕುಚಿತಗೊಳಿಸುವ ಪ್ರಕ್ರಿಯೆಯಾಗಿದ್ದು, ಪಠ್ಯ ಶಬ್ದಾರ್ಥವನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುತ್ತದೆ. ಇದರ ಪರಿಣಾಮವಾಗಿ, ಅದೇ ವಿಚಾರಗಳನ್ನು ಸಣ್ಣ ಪದಗಳ ಗುಂಪಿನಿಂದ ಪ್ರತಿನಿಧಿಸಬಹುದು. ಹೆಚ್ಚಿನ ಅನ್ವಯಿಕೆಗಳಲ್ಲಿ, ಶಬ್ದಾರ್ಥದ ಸಂಕೋಚನವು ನಷ್ಟದ ಸಂಕೋಚನವಾಗಿದೆ, ಅಂದರೆ, ಹೆಚ್ಚಿದ ಪ್ರೋಲಿಕ್ಸಿಟಿಯು ಲೆಕ್ಸಿಕಲ್ ಸಂಕೋಚನವನ್ನು ಸರಿದೂಗಿಸುವುದಿಲ್ಲ, ಮತ್ತು ಮೂಲ ದಾಖಲೆಯನ್ನು ಹಿಮ್ಮುಖ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಪುನರ್ನಿರ್ಮಿಸಲಾಗುವುದಿಲ್ಲ. ಸಾಮಾನ್ಯೀಕರಣದ ಮೂಲಕ ಶಬ್ದಾರ್ಥದ ಸಂಕೋಚನವನ್ನು ಮೂಲಭೂತವಾಗಿ ಎರಡು ಹಂತಗಳಲ್ಲಿ ಸಾಧಿಸಲಾಗುತ್ತದೆ, ಆವರ್ತನ ನಿಘಂಟುಗಳು ಮತ್ತು ಶಬ್ದಾರ್ಥದ ಜಾಲವನ್ನು ಬಳಸಿಃ ಗುರಿ ನಿಘಂಟನ್ನು ಗುರುತಿಸಲು ಸಂಚಿತ ಪದದ ಆವರ್ತನಗಳನ್ನು ನಿರ್ಧರಿಸುವುದು, ಕಡಿಮೆ ಆಗಾಗ್ಗೆ ಪದಗಳನ್ನು ಗುರಿ ನಿಘಂಟಿನಿಂದ ಅವುಗಳ ಹೈಪರ್ನಿಮ್ಗಳೊಂದಿಗೆ (ಸಾಮಾನ್ಯೀಕರಣ) ಬದಲಾಯಿಸುವುದು. ಹಂತ 1ಕ್ಕೆ ಪದದ ಆವರ್ತನಗಳನ್ನು ಜೋಡಿಸುವುದು ಮತ್ತು ಶಬ್ದಾರ್ಥದ ಸಂಬಂಧಗಳ ಬಗೆಗಿನ ಮಾಹಿತಿಯ ಅಗತ್ಯವಿರುತ್ತದೆ, ನಿರ್ದಿಷ್ಟವಾಗಿ ಊಹಾಪೋಹ. ಪದ ಶ್ರೇಣಿಯಲ್ಲಿ ಮೇಲ್ಮುಖವಾಗಿ ಚಲಿಸುವಾಗ, ಸಂಚಿತ ಪರಿಕಲ್ಪನೆಯ ಆವರ್ತನವು ಅವುಗಳ ಹೈಪರ್ನಿಮ್ನ ಆವರ್ತನಕ್ಕೆ ಹೈಪೋನಿಮ್ಗಳ ಆವರ್ತನಗಳ ಮೊತ್ತವನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ಲೆಕ್ಕ ಹಾಕುತ್ತದೆ. ನಂತರ, ಉದ್ದೇಶಿತ ನಿಘಂಟನ್ನು ನಿರ್ಮಿಸಲು ಉನ್ನತ ಸಂಚಯಿತ ಆವರ್ತನಗಳನ್ನು ಹೊಂದಿರುವ ಅಪೇಕ್ಷಿತ ಸಂಖ್ಯೆಯ ಪದಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ. ಎರಡನೇ ಹಂತದಲ್ಲಿ, ಉಳಿದ ಪದಗಳಿಗೆ ಸಂಕೋಚನ ಮ್ಯಾಪಿಂಗ್ ನಿಯಮಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ, ಔಟ್ಪುಟ್ ಪಠ್ಯದಲ್ಲಿ ಅದರ ಹೈಪರ್ನಿಮ್ನಂತೆ ಕಡಿಮೆ ಆಗಾಗ್ಗೆ ಊಹಾಪೋಹದ ಪ್ರತಿಯೊಂದು ಘಟನೆಯನ್ನು ನಿರ್ವಹಿಸುವ ಸಲುವಾಗಿ. ಉದಾಹರಣೆ ಪಠ್ಯದ ಕೆಳಗಿನ ತುಣುಕನ್ನು ಶಬ್ದಾರ್ಥದ ಸಂಕೋಚನದಿಂದ ಸಂಸ್ಕರಿಸಲಾಗಿದೆ. ದಪ್ಪ ಪದಗಳನ್ನು ಅವುಗಳ ಹೈಪರ್ನಿಮ್ಗಳಿಂದ ಬದಲಾಯಿಸಲಾಗಿದೆ. ಇವೆರಡೂ ಗೂಡು ಕಟ್ಟುವ ಸಾಮಾಜಿಕ ಕೀಟಗಳಾಗಿವೆ, ಆದರೆ ಕಾಗದದ ಕಣಜಗಳು ಮತ್ತು ಜೇನುನೊಣಗಳು ತಮ್ಮ ವಸಾಹತುಗಳನ್ನು ವಿಭಿನ್ನ ರೀತಿಯಲ್ಲಿ ಸಂಘಟಿಸುತ್ತವೆ. ಹೊಸ ಅಧ್ಯಯನವೊಂದರಲ್ಲಿ, ತಮ್ಮ ವ್ಯತ್ಯಾಸಗಳ ಹೊರತಾಗಿಯೂ, ಈ ಕೀಟಗಳು ತಮ್ಮ ಸಾಮಾಜಿಕ behavior.The ಅಧ್ಯಯನಕ್ಕೆ ಮಾರ್ಗದರ್ಶನ ನೀಡಲು ಒಂದೇ ಜೀನ್ಗಳ ಜಾಲವನ್ನು ಅವಲಂಬಿಸಿವೆ ಎಂದು ಸಂಶೋಧಕರು ವರದಿ ಮಾಡಿದ್ದಾರೆ. ಜೇನುಹುಳುಗಳು ಮತ್ತು ಕಾಗದದ ಕಣಜಗಳು 100 ದಶಲಕ್ಷಕ್ಕೂ ಹೆಚ್ಚು ವರ್ಷಗಳ ವಿಕಾಸದಿಂದ ಬೇರ್ಪಟ್ಟಿವೆ, ಮತ್ತು ವಸಾಹತುಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಕೆಲಸವನ್ನು ಅವು ಹೇಗೆ ವಿಭಜಿಸುತ್ತವೆ ಎಂಬುದರಲ್ಲಿ ಗಮನಾರ್ಹ ವ್ಯತ್ಯಾಸಗಳಿವೆ. ಈ ವಿಧಾನವು ಈ ಕೆಳಗಿನ ಪಠ್ಯವನ್ನು ನೀಡುತ್ತದೆಃ ಇವೆರಡೂ ಸೌಲಭ್ಯವನ್ನು ನಿರ್ಮಿಸುವ ಕೀಟಗಳಾಗಿವೆ, ಆದರೆ ಕೀಟಗಳು ಮತ್ತು ಜೇನುತುಪ್ಪದ ಕೀಟಗಳು ತಮ್ಮ ಜೈವಿಕ ಗುಂಪುಗಳನ್ನು ವಿಭಿನ್ನ ರಚನೆಯಲ್ಲಿ ಜೋಡಿಸುತ್ತವೆ. ಹೊಸ ಅಧ್ಯಯನವೊಂದರಲ್ಲಿ, ತಮ್ಮ ಅಭಿಪ್ರಾಯಗಳ ಭಿನ್ನಾಭಿಪ್ರಾಯಗಳ ಹೊರತಾಗಿಯೂ, ಈ ಕೀಟಗಳು ತಮ್ಮ ಪಕ್ಷದ ವರ್ತನೆಯನ್ನು ಮುನ್ನಡೆಸಲು ಒಂದೇ ರೀತಿಯ ಜೀನ್ಗಳ ಜಾಲವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಎಂದು ಸಂಶೋಧಕರು ವರದಿ ಮಾಡಿದ್ದಾರೆ. ಈ ಅಧ್ಯಯನವು ಸಂಸ್ಥೆಯ ಬ್ಯಾಕ್ಟೀರಿಯಾ ಬಯೋಲಾಜಿಕಲ್ ಸೈನ್ಸಸ್ನ ಮುಂದುವರಿಕೆಯಲ್ಲಿ ಕಂಡುಬರುತ್ತದೆ. ಜೇನುತುಪ್ಪದ ಕೀಟಗಳು ಮತ್ತು ಕೀಟಗಳು ನೂರು ದಶಲಕ್ಷಕ್ಕೂ ಹೆಚ್ಚು ವರ್ಷಗಳ ಸಾವಯವ ಪ್ರಕ್ರಿಯೆಗಳಿಂದ ಬೇರ್ಪಟ್ಟಿವೆ, ಮತ್ತು ಅವು ಜೈವಿಕ ಗುಂಪನ್ನು ದೃಢೀಕರಿಸುವ ಕೆಲಸವನ್ನು ಹೇಗೆ ವಿಭಜಿಸುತ್ತವೆ ಎಂಬುದರ ಬಗ್ಗೆ ಅಭಿಪ್ರಾಯಗಳ ವ್ಯತ್ಯಾಸಗಳಿವೆ. ಸ್ವಾಭಾವಿಕ ಭಾಷೆಯ ಅಭಿವ್ಯಕ್ತಿಗಳನ್ನು ಸಂಕ್ಷಿಪ್ತವಾಗಿಡುವ ಸ್ವಾಭಾವಿಕ ಪ್ರವೃತ್ತಿಯನ್ನು ಅರ್ಥಹೀನ ಪದಗಳು ಅಥವಾ ಅನಗತ್ಯವಾದ ಅರ್ಥಪೂರ್ಣ ಪದಗಳನ್ನು (ವಿಶೇಷವಾಗಿ ಪ್ಲಿಯೋನಾಮ್ಸ್ಗಳನ್ನು ತಪ್ಪಿಸಲು) ಬಿಟ್ಟುಬಿಡುವ ಮೂಲಕ ಸೂಚ್ಯ ಶಬ್ದಾರ್ಥದ ಸಂಕೋಚನದ ಒಂದು ರೂಪವೆಂದು ಗ್ರಹಿಸಬಹುದು. ಅನ್ವಯಗಳು ಮತ್ತು ಪ್ರಯೋಜನಗಳು ವಾಹಕ ಬಾಹ್ಯಾಕಾಶ ಮಾದರಿಯಲ್ಲಿ, ಒಂದು ನಿಘಂಟನ್ನು ಸಾಂದ್ರಗೊಳಿಸುವುದರಿಂದ ಆಯಾಮದ ಇಳಿಕೆಗೆ ಕಾರಣವಾಗುತ್ತದೆ, ಇದು ಕಡಿಮೆ ಗಣನೆಯ ಸಂಕೀರ್ಣತೆ ಮತ್ತು ದಕ್ಷತೆಯ ಮೇಲೆ ಸಕಾರಾತ್ಮಕ ಪ್ರಭಾವಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ. ಮಾಹಿತಿಯ ಮರುಪಡೆಯುವಿಕೆಯ ಕಾರ್ಯಗಳಲ್ಲಿ ಶಬ್ದಾರ್ಥದ ಸಂಕೋಚನವು ಪ್ರಯೋಜನಕಾರಿಯಾಗಿದ್ದು, ಅವುಗಳ ಪರಿಣಾಮಕಾರಿತ್ವವನ್ನು ಸುಧಾರಿಸುತ್ತದೆ (ನಿಖರತೆ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆ ಎರಡರಲ್ಲೂ). ಇದಕ್ಕೆ ಕಾರಣ ಹೆಚ್ಚು ನಿಖರವಾದ ವಿವರಣೆಗಳು (ಭಾಷಾ ವೈವಿಧ್ಯತೆಯ ಕಡಿಮೆ ಪರಿಣಾಮ-ಸೀಮಿತ ಭಾಷಾ ಪುನರುಕ್ತಿ, ನಿಯಂತ್ರಿತ ನಿಘಂಟಿನತ್ತ ಒಂದು ಹೆಜ್ಜೆ). ಮೇಲಿನ ಉದಾಹರಣೆಯಲ್ಲಿರುವಂತೆ, ಔಟ್ಪುಟ್ ಅನ್ನು ನೈಸರ್ಗಿಕ ಪಠ್ಯವಾಗಿ ಪ್ರದರ್ಶಿಸಲು ಸಾಧ್ಯವಿದೆ (ಇನ್ಫ್ಲೆಕ್ಷನ್ ಅನ್ನು ಮರು-ಅನ್ವಯಿಸುವುದು, ಸ್ಟಾಪ್ ಪದಗಳನ್ನು ಸೇರಿಸುವುದು). ನಿಯಂತ್ರಿತ ನೈಸರ್ಗಿಕ ಭಾಷಾ ಮಾಹಿತಿ ಸಿದ್ಧಾಂತ ಲೆಕ್ಸಿಕಲ್ ಸಬ್ಸ್ಟಿಟ್ಯೂಷನ್ ಮಾಹಿತಿಯ ಪ್ರಮಾಣಗಳು ಪಠ್ಯ ಸರಳೀಕರಣ ಉಲ್ಲೇಖಗಳು ಬಾಹ್ಯ ಕೊಂಡಿಗಳು ಪ್ರಾಜೆಕ್ಟ್ ಸೆನೆಕಾದಲ್ಲಿ ಶಬ್ದಾರ್ಥದ ಸಂಕೋಚನ (ಶಬ್ದಾರ್ಥದ ಜಾಲಗಳು ಮತ್ತು ವರ್ಗೀಕರಣ) ಜಾಲತಾಣ ಮಾಹಿತಿ ಮರುಪಡೆಯುವಿಕೆ ತಂತ್ರಗಳು ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆ ಪರಿಮಾಣಾತ್ಮಕ ಭಾಷಾಶಾಸ್ತ್ರ ಕಂಪ್ಯೂಟೇಶನಲ್ ಭಾಷಾಶಾಸ್ತ್ರ