Hyperparameter (machine learning)
ಯಂತ್ರ ಕಲಿಕೆಯಲ್ಲಿ, ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ ಒಂದು ನಿಯತಾಂಕವಾಗಿದ್ದು, ಅದರ ಮೌಲ್ಯವನ್ನು ಕಲಿಕೆಯ ಪ್ರಕ್ರಿಯೆಯನ್ನು ನಿಯಂತ್ರಿಸಲು ಬಳಸಲಾಗುತ್ತದೆ. ಇದಕ್ಕೆ ವ್ಯತಿರಿಕ್ತವಾಗಿ, ಇತರ ನಿಯತಾಂಕಗಳ ಮೌಲ್ಯಗಳನ್ನು (ಸಾಮಾನ್ಯವಾಗಿ ನೋಡ್ ತೂಕಗಳು) ತರಬೇತಿಯ ಮೂಲಕ ಪಡೆಯಲಾಗುತ್ತದೆ. ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳನ್ನು ಮಾದರಿ ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳಾಗಿ ವರ್ಗೀಕರಿಸಬಹುದು, ತರಬೇತಿ ಸೆಟ್ಗೆ ಯಂತ್ರವನ್ನು ಅಳವಡಿಸುವಾಗ ಅದನ್ನು ಊಹಿಸಲಾಗುವುದಿಲ್ಲ ಏಕೆಂದರೆ ಅವು ಮಾದರಿ ಆಯ್ಕೆ ಕಾರ್ಯ ಅಥವಾ ಅಲ್ಗಾರಿದಮ್ ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತವೆ, ಇದು ತಾತ್ವಿಕವಾಗಿ ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೇಲೆ ಯಾವುದೇ ಪ್ರಭಾವವನ್ನು ಬೀರುವುದಿಲ್ಲ ಆದರೆ ಕಲಿಕೆಯ ಪ್ರಕ್ರಿಯೆಯ ವೇಗ ಮತ್ತು ಗುಣಮಟ್ಟದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ. ಮಾದರಿ ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ನ ಒಂದು ಉದಾಹರಣೆಯೆಂದರೆ ನರವ್ಯೂಹದ ಸ್ಥಳಶಾಸ್ತ್ರ ಮತ್ತು ಗಾತ್ರ. ಅಲ್ಗಾರಿದಮ್ ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ಗಳ ಉದಾಹರಣೆಗಳೆಂದರೆ ಕಲಿಕೆಯ ದರ ಮತ್ತು ಬ್ಯಾಚ್ ಗಾತ್ರ ಮತ್ತು ಮಿನಿ-ಬ್ಯಾಚ್ ಗಾತ್ರ. ಬ್ಯಾಚ್ ಗಾತ್ರವು ಪೂರ್ಣ ದತ್ತಾಂಶ ಮಾದರಿಯನ್ನು ಉಲ್ಲೇಖಿಸಬಹುದು, ಅಲ್ಲಿ ಮಿನಿ-ಬ್ಯಾಚ್ ಗಾತ್ರವು ಸಣ್ಣ ಮಾದರಿ ಗುಂಪಾಗಿರುತ್ತದೆ. ವಿಭಿನ್ನ ಮಾದರಿ ತರಬೇತಿ ಕ್ರಮಾವಳಿಗಳಿಗೆ ವಿಭಿನ್ನ ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ಗಳು ಬೇಕಾಗುತ್ತವೆ, ಕೆಲವು ಸರಳ ಕ್ರಮಾವಳಿಗಳಿಗೆ (ಸಾಧಾರಣ ಕನಿಷ್ಠ ಚೌಕಗಳ ಹಿಂಜರಿತದಂತಹ) ಯಾವುದೂ ಅಗತ್ಯವಿಲ್ಲ. ಈ ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳನ್ನು ನೀಡಿದರೆ, ತರಬೇತಿ ಅಲ್ಗಾರಿದಮ್ ಡೇಟಾದಿಂದ ನಿಯತಾಂಕಗಳನ್ನು ಕಲಿಯುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಲಾಸೋ ಒಂದು ಕ್ರಮಾವಳಿಯಾಗಿದ್ದು ಅದು ಸಾಮಾನ್ಯ ಕನಿಷ್ಠ ಚೌಕಗಳ ಹಿಂಜರಿತಕ್ಕೆ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವ ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ ಅನ್ನು ಸೇರಿಸುತ್ತದೆ, ಇದನ್ನು ತರಬೇತಿ ಕ್ರಮಾವಳಿಯ ಮೂಲಕ ನಿಯತಾಂಕಗಳನ್ನು ಅಂದಾಜು ಮಾಡುವ ಮೊದಲು ಹೊಂದಿಸಬೇಕಾಗುತ್ತದೆ. ಪರಿಗಣನೆಗಳು ಒಂದು ಮಾದರಿಯನ್ನು ತರಬೇತಿ ನೀಡಲು ಮತ್ತು ಪರೀಕ್ಷಿಸಲು ಬೇಕಾಗುವ ಸಮಯವು ಅದರ ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳ ಆಯ್ಕೆಯನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ. ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ ಸಾಮಾನ್ಯವಾಗಿ ನಿರಂತರ ಅಥವಾ ಪೂರ್ಣಾಂಕದ ಪ್ರಕಾರವನ್ನು ಹೊಂದಿರುತ್ತದೆ, ಇದು ಮಿಶ್ರ-ರೀತಿಯ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ. ಕೆಲವು ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳ ಅಸ್ತಿತ್ವವು ಇತರರ ಮೌಲ್ಯದ ಮೇಲೆ ಷರತ್ತುಬದ್ಧವಾಗಿದೆ, ಉದಾಹರಣೆಗೆ. ನರವ್ಯೂಹದ ಪ್ರತಿಯೊಂದು ಗುಪ್ತ ಪದರದ ಗಾತ್ರವು ಪದರಗಳ ಸಂಖ್ಯೆಯ ಮೇಲೆ ಷರತ್ತುಬದ್ಧವಾಗಿರಬಹುದು. ಕಲಿಯುವ ತೊಂದರೆ ನಿಯತಾಂಕಗಳು ಸಾಮಾನ್ಯವಾಗಿ, ಆದರೆ ಯಾವಾಗಲೂ ಅಲ್ಲ, ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ಗಳನ್ನು ಪ್ರಸಿದ್ಧ ಗ್ರೇಡಿಯಂಟ್ ಆಧಾರಿತ ವಿಧಾನಗಳನ್ನು (ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್, ಎಲ್ಬಿಎಫ್ಜಿಎಸ್ನಂತಹ) ಬಳಸಿಕೊಂಡು ಕಲಿಯಲು ಸಾಧ್ಯವಿಲ್ಲ-ಇವುಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ನಿಯತಾಂಕಗಳನ್ನು ಕಲಿಯಲು ಬಳಸಲಾಗುತ್ತದೆ. ಈ ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳು ಮಾದರಿ ಪ್ರಾತಿನಿಧ್ಯವನ್ನು ವಿವರಿಸುವ ನಿಯತಾಂಕಗಳಾಗಿವೆ, ಅದನ್ನು ಸಾಮಾನ್ಯ ಆಪ್ಟಿಮೈಸೇಶನ್ ವಿಧಾನಗಳಿಂದ ಕಲಿಯಲು ಸಾಧ್ಯವಿಲ್ಲ ಆದರೆ ನಷ್ಟದ ಕಾರ್ಯದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ. ಬೆಂಬಲ ವಾಹಕ ಯಂತ್ರಗಳಲ್ಲಿನ ದೋಷಗಳಿಗೆ ಸಹಿಷ್ಣುತೆ ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ ಒಂದು ಉದಾಹರಣೆಯಾಗಿದೆ. ಕೆಲವೊಮ್ಮೆ, ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳನ್ನು ತರಬೇತಿ ದತ್ತಾಂಶದಿಂದ ಕಲಿಯಲು ಸಾಧ್ಯವಿಲ್ಲ ಏಕೆಂದರೆ ಅವು ಮಾದರಿಯ ಸಾಮರ್ಥ್ಯವನ್ನು ಆಕ್ರಮಣಕಾರಿಯಾಗಿ ಹೆಚ್ಚಿಸುತ್ತವೆ ಮತ್ತು ನಷ್ಟದ ಕಾರ್ಯವನ್ನು ಅಪೇಕ್ಷಣೀಯವಲ್ಲದ ಕನಿಷ್ಠ ಮಟ್ಟಕ್ಕೆ (ದತ್ತಾಂಶದಲ್ಲಿ ಅತಿಯಾಗಿ ಹೊಂದಿಕೊಳ್ಳುವುದು ಮತ್ತು ಶಬ್ದವನ್ನು ಎತ್ತಿಕೊಳ್ಳುವುದು) ತಳ್ಳಬಹುದು, ಬದಲಿಗೆ ದತ್ತಾಂಶದಲ್ಲಿನ ರಚನೆಯ ಸಮೃದ್ಧಿಯನ್ನು ಸರಿಯಾಗಿ ಮ್ಯಾಪ್ ಮಾಡಬಹುದು. ಉದಾಹರಣೆಗೆ, ನಾವು ಹಿಂಜರಿತ ಮಾದರಿಯನ್ನು ಅಳವಡಿಸುವ ಬಹುಪದ ಸಮೀಕರಣದ ಮಟ್ಟವನ್ನು ತರಬೇತಿ ಮಾಡಬಹುದಾದ ನಿಯತಾಂಕವೆಂದು ಪರಿಗಣಿಸಿದರೆ, ಮಾದರಿಯು ದತ್ತಾಂಶಕ್ಕೆ ಸಂಪೂರ್ಣವಾಗಿ ಹೊಂದಿಕೊಳ್ಳುವವರೆಗೆ ಪದವಿ ಹೆಚ್ಚಾಗುತ್ತದೆ, ಇದು ಕಡಿಮೆ ತರಬೇತಿ ದೋಷವನ್ನು ನೀಡುತ್ತದೆ, ಆದರೆ ಕಳಪೆ ಸಾಮಾನ್ಯೀಕರಣ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೀಡುತ್ತದೆ. ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯ ವ್ಯತ್ಯಾಸವನ್ನು ಕೇವಲ ಕೆಲವು ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ಗಳಿಗೆ ಕಾರಣವೆಂದು ಹೇಳಬಹುದು. ಅಲ್ಗಾರಿದಮ್, ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ ಅಥವಾ ಇಂಟರಾಕ್ಟಿಂಗ್ ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ಗಳ ಹೊಂದಾಣಿಕೆಯು ಅದನ್ನು ಹೊಂದಿಸುವ ಮೂಲಕ ಎಷ್ಟು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪಡೆಯಬಹುದು ಎಂಬುದರ ಅಳತೆಯಾಗಿದೆ. ಎಲ್. ಎಸ್. ಟಿ. ಎಂ. ಗೆ, ಕಲಿಕೆಯ ದರ ಮತ್ತು ಜಾಲದ ಗಾತ್ರವು ಅದರ ಅತ್ಯಂತ ನಿರ್ಣಾಯಕ ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳಾಗಿದ್ದರೂ, ಬ್ಯಾಚಿಂಗ್ ಮತ್ತು ಆವೇಗವು ಅದರ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೇಲೆ ಯಾವುದೇ ಗಮನಾರ್ಹ ಪರಿಣಾಮವನ್ನು ಬೀರುವುದಿಲ್ಲ. ಕೆಲವು ಸಂಶೋಧನೆಗಳು ಸಾವಿರಾರು ಸಣ್ಣ-ಬ್ಯಾಚ್ ಗಾತ್ರಗಳ ಬಳಕೆಯನ್ನು ಪ್ರತಿಪಾದಿಸಿದ್ದರೂ, ಇತರ ಸಂಶೋಧನೆಗಳು 2 ರಿಂದ 32 ರ ನಡುವಿನ ಸಣ್ಣ-ಬ್ಯಾಚ್ ಗಾತ್ರಗಳೊಂದಿಗೆ ಅತ್ಯುತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಕಂಡುಕೊಂಡಿವೆ. ಕಲಿಕೆಯಲ್ಲಿ ಅಂತರ್ಗತವಾಗಿರುವ ಸಂಭವನೀಯತೆಯು ಪ್ರಾಯೋಗಿಕ ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ ಕಾರ್ಯಕ್ಷಮತೆಯು ಅದರ ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆಯಾಗಿರಬೇಕಾಗಿಲ್ಲ ಎಂಬುದನ್ನು ನೇರವಾಗಿ ಸೂಚಿಸುತ್ತದೆ. ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳು, ಯಾದೃಚ್ಛಿಕ ಬೀಜಗಳು ಅಥವಾ ಒಂದೇ ಅಲ್ಗಾರಿದಮ್ನ ವಿಭಿನ್ನ ಅನುಷ್ಠಾನಗಳಲ್ಲಿನ ಸರಳ ಬದಲಾವಣೆಗಳಿಗೆ ದೃಢವಾಗಿರದ ವಿಧಾನಗಳನ್ನು ಗಮನಾರ್ಹ ಸರಳೀಕರಣ ಮತ್ತು ದೃಢೀಕರಣವಿಲ್ಲದೆ ಮಿಷನ್ ನಿರ್ಣಾಯಕ ನಿಯಂತ್ರಣ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಸಂಯೋಜಿಸಲಾಗುವುದಿಲ್ಲ. ಬಲವರ್ಧನೆಯ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳು, ನಿರ್ದಿಷ್ಟವಾಗಿ, ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಯಾದೃಚ್ಛಿಕ ಬೀಜಗಳ ಮೇಲೆ ಅವುಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯುವ ಅಗತ್ಯವಿರುತ್ತದೆ ಮತ್ತು ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ಗಳ ಆಯ್ಕೆಗಳಿಗೆ ಅವುಗಳ ಸೂಕ್ಷ್ಮತೆಯನ್ನು ಅಳೆಯುವ ಅಗತ್ಯವಿರುತ್ತದೆ. ಸಣ್ಣ ಸಂಖ್ಯೆಯ ಯಾದೃಚ್ಛಿಕ ಬೀಜಗಳೊಂದಿಗೆ ಅವುಗಳ ಮೌಲ್ಯಮಾಪನವು ಹೆಚ್ಚಿನ ವ್ಯತ್ಯಾಸದಿಂದಾಗಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಮರ್ಪಕವಾಗಿ ಸೆರೆಹಿಡಿಯುವುದಿಲ್ಲ. ಕೆಲವು ಬಲವರ್ಧನೆಯ ಕಲಿಕೆಯ ವಿಧಾನಗಳು, ಉದಾಹರಣೆಗೆ. ಡಿಡಿಪಿಜಿ (ಡೀಪ್ ಡಿಟರ್ಮಿನಿಸ್ಟಿಕ್ ಪಾಲಿಸಿ ಗ್ರೇಡಿಯಂಟ್), ಇತರರಿಗಿಂತ ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ ಆಯ್ಕೆಗಳಿಗೆ ಹೆಚ್ಚು ಸೂಕ್ಷ್ಮವಾಗಿರುತ್ತದೆ. ಆಪ್ಟಿಮೈಸೇಶನ್ ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ಗಳ ಟುಪಲ್ ಅನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತದೆ, ಇದು ಆಪ್ಟಿಮಲ್ ಮಾದರಿಯನ್ನು ನೀಡುತ್ತದೆ, ಇದು ನೀಡಲಾದ ಪರೀಕ್ಷಾ ದತ್ತಾಂಶದಲ್ಲಿ ಪೂರ್ವನಿರ್ಧರಿತ ನಷ್ಟ ಕಾರ್ಯವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ವಸ್ತುನಿಷ್ಠ ಕಾರ್ಯವು ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳ ಟುಪಲ್ ಅನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಸಂಬಂಧಿತ ನಷ್ಟವನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ. ಪುನರುತ್ಪಾದನೆ ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳನ್ನು ಟ್ಯೂನ್ ಮಾಡುವುದರ ಹೊರತಾಗಿ, ಯಂತ್ರ ಕಲಿಕೆಯಲ್ಲಿ ನಿಯತಾಂಕಗಳು ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ಸಂಗ್ರಹಿಸುವುದು ಮತ್ತು ಸಂಘಟಿಸುವುದು ಮತ್ತು ಅವು ಪುನರುತ್ಪಾದನೆಯಾಗಿವೆಯೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಈ ಉದ್ದೇಶಕ್ಕಾಗಿ ದೃಢವಾದ ಮೂಲಸೌಕರ್ಯದ ಅನುಪಸ್ಥಿತಿಯಲ್ಲಿ, ಸಂಶೋಧನಾ ಸಂಹಿತೆಯು ಆಗಾಗ್ಗೆ ತ್ವರಿತವಾಗಿ ವಿಕಸನಗೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಲೆಕ್ಕಪತ್ರ ನಿರ್ವಹಣೆ ಮತ್ತು ಪುನರುತ್ಪಾದನೆಯಂತಹ ಅಗತ್ಯ ಅಂಶಗಳೊಂದಿಗೆ ರಾಜಿ ಮಾಡಿಕೊಳ್ಳುತ್ತದೆ. ಪ್ರಯೋಗಗಳು, ದತ್ತಾಂಶ ಮತ್ತು ಕ್ರಮಾವಳಿಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಹಂಚಿಕೊಳ್ಳಲು, ಸಂಘಟಿಸಲು ಮತ್ತು ಚರ್ಚಿಸಲು ವಿಜ್ಞಾನಿಗಳಿಗೆ ಅವಕಾಶ ನೀಡುವ ಮೂಲಕ ಯಂತ್ರ ಕಲಿಕೆಗಾಗಿ ಆನ್ಲೈನ್ ಸಹಯೋಗ ವೇದಿಕೆಗಳು ಮತ್ತಷ್ಟು ಮುಂದುವರಿಯುತ್ತವೆ. ಆಳವಾದ ಕಲಿಕೆಯ ಮಾದರಿಗಳಿಗೆ ಸಂತಾನೋತ್ಪತ್ತಿಯು ವಿಶೇಷವಾಗಿ ಕಷ್ಟಕರವಾಗಿರುತ್ತದೆ. ಹೈಪರ್-ಹ್ಯೂರಿಸ್ಟಿಕ್ ರೆಪ್ಲಿಕೇಷನ್ ಬಿಕ್ಕಟ್ಟು ಉಲ್ಲೇಖಗಳು ಯಂತ್ರ ಕಲಿಕೆಯ ಮಾದರಿ ಆಯ್ಕೆಯನ್ನು ಸಹ ನೋಡಿ.