Online machine learning
ಕಂಪ್ಯೂಟರ್ ವಿಜ್ಞಾನದಲ್ಲಿ, ಆನ್ಲೈನ್ ಯಂತ್ರ ಕಲಿಕೆ ಎಂಬುದು ಯಂತ್ರ ಕಲಿಕೆಯ ಒಂದು ವಿಧಾನವಾಗಿದ್ದು, ಇದರಲ್ಲಿ ದತ್ತಾಂಶವು ಅನುಕ್ರಮ ಕ್ರಮದಲ್ಲಿ ಲಭ್ಯವಾಗುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಭವಿಷ್ಯದ ದತ್ತಾಂಶಕ್ಕಾಗಿ ಅತ್ಯುತ್ತಮ ಮುನ್ಸೂಚಕವನ್ನು ನವೀಕರಿಸಲು ಬಳಸಲಾಗುತ್ತದೆ, ಬ್ಯಾಚ್ ಕಲಿಕೆಯ ತಂತ್ರಗಳಿಗೆ ವಿರುದ್ಧವಾಗಿ, ಇದು ಸಂಪೂರ್ಣ ತರಬೇತಿ ದತ್ತಾಂಶವನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಕಲಿಯುವ ಮೂಲಕ ಉತ್ತಮ ಮುನ್ಸೂಚಕವನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಆನ್ಲೈನ್ ಕಲಿಕೆ ಎಂಬುದು ಯಂತ್ರ ಕಲಿಕೆಯ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಬಳಸಲಾಗುವ ಒಂದು ಸಾಮಾನ್ಯ ತಂತ್ರವಾಗಿದ್ದು, ಅಲ್ಲಿ ಸಂಪೂರ್ಣ ಡೇಟಾಸೆಟ್ನಲ್ಲಿ ತರಬೇತಿ ನೀಡುವುದು ಗಣನೆಗೆ ಅಸಾಧ್ಯವಾಗಿದೆ, ಇದಕ್ಕೆ ಔಟ್-ಆಫ್-ಕೋರ್ ಕ್ರಮಾವಳಿಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ. ಅಲ್ಗಾರಿದಮ್ ದತ್ತಾಂಶದಲ್ಲಿನ ಹೊಸ ಮಾದರಿಗಳಿಗೆ ಕ್ರಿಯಾತ್ಮಕವಾಗಿ ಹೊಂದಿಕೊಳ್ಳುವುದು ಅಗತ್ಯವಾದ ಸಂದರ್ಭಗಳಲ್ಲಿ ಅಥವಾ ಡೇಟಾವನ್ನು ಸ್ವತಃ ಸಮಯದ ಕಾರ್ಯವಾಗಿ ಉತ್ಪಾದಿಸಿದಾಗ, ಉದಾಹರಣೆಗೆ, ಸ್ಟಾಕ್ ಬೆಲೆ ಮುನ್ಸೂಚನೆ. ಆನ್ಲೈನ್ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳು ದುರಂತದ ಹಸ್ತಕ್ಷೇಪಕ್ಕೆ ಒಳಗಾಗಬಹುದು, ಈ ಸಮಸ್ಯೆಯನ್ನು ಹೆಚ್ಚುತ್ತಿರುವ ಕಲಿಕೆಯ ವಿಧಾನಗಳಿಂದ ಪರಿಹರಿಸಬಹುದು. ಪರಿಚಯ ಮೇಲ್ವಿಚಾರಿತ ಕಲಿಕೆಯ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ, ಒಂದು ಕಾರ್ಯವನ್ನು ಕಲಿಯಬೇಕು, ಅಲ್ಲಿ ಇನ್ಪುಟ್ಗಳ ಸ್ಥಳ ಮತ್ತು ಔಟ್ಪುಟ್ಗಳ ಸ್ಥಳವೆಂದು ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ, ಇದು ಜಂಟಿ ಸಂಭವನೀಯತೆಯ ವಿತರಣೆಯಿಂದ ಪಡೆದ ನಿದರ್ಶನಗಳನ್ನು ಚೆನ್ನಾಗಿ ಊಹಿಸುತ್ತದೆ. ವಾಸ್ತವದಲ್ಲಿ, ಕಲಿಯುವವರು ನಿದರ್ಶನಗಳ ನಿಜವಾದ ವಿತರಣೆಯನ್ನು ಎಂದಿಗೂ ತಿಳಿದಿರುವುದಿಲ್ಲ. ಬದಲಿಗೆ, ಕಲಿಯುವವರು ಸಾಮಾನ್ಯವಾಗಿ ಉದಾಹರಣೆಗಳ ತರಬೇತಿ ಗುಂಪಿಗೆ ಪ್ರವೇಶವನ್ನು ಹೊಂದಿರುತ್ತಾರೆ. ಈ ಸೆಟ್ಟಿಂಗ್ನಲ್ಲಿ, ನಿರೀಕ್ಷಿತ ಮೌಲ್ಯ ಮತ್ತು ನಿಜವಾದ ಮೌಲ್ಯದ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಅಳೆಯುವಂತಹ ನಷ್ಟದ ಕಾರ್ಯವನ್ನು ಹೀಗೆ ನೀಡಲಾಗಿದೆ. ಒಂದು ಕಾರ್ಯವನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು ಆದರ್ಶ ಗುರಿಯಾಗಿದೆ, ಅಲ್ಲಿ ಹೈಪೋಥೆಸಿಸ್ ಸ್ಪೇಸ್ ಎಂದು ಕರೆಯಲ್ಪಡುವ ಕಾರ್ಯಗಳ ಸ್ಥಳವಿದೆ, ಇದರಿಂದಾಗಿ ಒಟ್ಟು ನಷ್ಟದ ಕೆಲವು ಕಲ್ಪನೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಲಾಗುತ್ತದೆ. ಮಾದರಿಯ ಪ್ರಕಾರವನ್ನು ಅವಲಂಬಿಸಿ (ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಅಥವಾ ಪ್ರತಿಕೂಲ), ಒಬ್ಬರು ನಷ್ಟದ ವಿಭಿನ್ನ ಕಲ್ಪನೆಗಳನ್ನು ರೂಪಿಸಬಹುದು, ಇದು ವಿಭಿನ್ನ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ. ಆನ್ಲೈನ್ ಕಲಿಕೆಯ ಅಂಕಿಅಂಶಗಳ ದೃಷ್ಟಿಕೋನ ಅಂಕಿಅಂಶಗಳ ಕಲಿಕೆಯ ಮಾದರಿಗಳಲ್ಲಿ, ತರಬೇತಿಯ ಮಾದರಿಯನ್ನು ನಿಜವಾದ ವಿತರಣೆಯಿಂದ ತೆಗೆದುಕೊಳ್ಳಲಾಗಿದೆ ಎಂದು ಭಾವಿಸಲಾಗಿದೆ ಮತ್ತು ನಿರೀಕ್ಷಿತ "ಅಪಾಯ" ವನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು ಇದರ ಉದ್ದೇಶವಾಗಿದೆ. ಇಲ್ಲಿ ನಷ್ಟದ ಕಾರ್ಯದ ಆಯ್ಕೆಯು ಕ್ರಮಬದ್ಧಗೊಳಿಸಿದ ಕನಿಷ್ಠ ಚೌಕಗಳು ಮತ್ತು ಬೆಂಬಲ ವಾಹಕ ಯಂತ್ರಗಳಂತಹ ಹಲವಾರು ಪ್ರಸಿದ್ಧ ಕಲಿಕಾ ಕ್ರಮಾವಳಿಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ. ಈ ವರ್ಗದ ಸಂಪೂರ್ಣ ಆನ್ಲೈನ್ ಮಾದರಿಯು ಕೇವಲ ಹೊಸ ಇನ್ಪುಟ್, ಪ್ರಸ್ತುತ ಅತ್ಯುತ್ತಮ ಮುನ್ಸೂಚಕ ಮತ್ತು ಕೆಲವು ಹೆಚ್ಚುವರಿ ಸಂಗ್ರಹಿಸಿದ ಮಾಹಿತಿಯ ಆಧಾರದ ಮೇಲೆ ಕಲಿಯುತ್ತದೆ (ಇದು ಸಾಮಾನ್ಯವಾಗಿ ತರಬೇತಿ ದತ್ತಾಂಶದ ಗಾತ್ರದಿಂದ ಸ್ವತಂತ್ರವಾದ ಶೇಖರಣಾ ಅವಶ್ಯಕತೆಗಳನ್ನು ಹೊಂದಿರುತ್ತದೆ ಎಂದು ನಿರೀಕ್ಷಿಸಲಾಗಿದೆ). ಅನೇಕ ಸೂತ್ರೀಕರಣಗಳಿಗೆ, ಉದಾಹರಣೆಗೆ ರೇಖಾತ್ಮಕವಲ್ಲದ ಕರ್ನಲ್ ವಿಧಾನಗಳಿಗೆ, ನಿಜವಾದ ಆನ್ಲೈನ್ ಕಲಿಕೆ ಸಾಧ್ಯವಿಲ್ಲ, ಆದಾಗ್ಯೂ ಪುನರಾವರ್ತಿತ ಕ್ರಮಾವಳಿಗಳೊಂದಿಗೆ ಹೈಬ್ರಿಡ್ ಆನ್ಲೈನ್ ಕಲಿಕೆಯ ಒಂದು ರೂಪವನ್ನು ಅವಲಂಬಿಸಲು ಅನುಮತಿಸಲಾದ ಸ್ಥಳದಲ್ಲಿ ಮತ್ತು ಹಿಂದಿನ ಎಲ್ಲಾ ದತ್ತಾಂಶ ಅಂಶಗಳನ್ನು ಬಳಸಬಹುದು. ಈ ಸಂದರ್ಭದಲ್ಲಿ, ಹಿಂದಿನ ಎಲ್ಲಾ ದತ್ತಾಂಶ ಬಿಂದುಗಳನ್ನು ಸಂಗ್ರಹಿಸುವ ಅಗತ್ಯವಿರುವುದರಿಂದ ಸ್ಥಳದ ಅವಶ್ಯಕತೆಗಳು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ ಎಂದು ಖಾತರಿಪಡಿಸಲಾಗುವುದಿಲ್ಲ, ಆದರೆ ಬ್ಯಾಚ್ ಕಲಿಕೆಯ ತಂತ್ರಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಹೊಸ ದತ್ತಾಂಶ ಬಿಂದುವನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು ಪರಿಹಾರವು ಕಡಿಮೆ ಸಮಯವನ್ನು ತೆಗೆದುಕೊಳ್ಳಬಹುದು. ಮೇಲಿನ ಸಮಸ್ಯೆಗಳನ್ನು ನಿವಾರಿಸಲು ಒಂದು ಸಾಮಾನ್ಯ ಕಾರ್ಯತಂತ್ರವೆಂದರೆ ಮಿನಿ-ಬ್ಯಾಚ್ಗಳನ್ನು ಬಳಸಿ ಕಲಿಯುವುದು, ಇದು ಒಂದು ಸಮಯದಲ್ಲಿ ಒಂದು ಸಣ್ಣ ಬ್ಯಾಚ್ ಡೇಟಾ ಪಾಯಿಂಟ್ಗಳನ್ನು ಸಂಸ್ಕರಿಸುತ್ತದೆ, ಇದನ್ನು ಒಟ್ಟು ತರಬೇತಿ ಪಾಯಿಂಟ್ಗಳಿಗಿಂತ ಚಿಕ್ಕದಾಗಿರುವ ಹುಸಿ-ಆನ್ಲೈನ್ ಕಲಿಕೆ ಎಂದು ಪರಿಗಣಿಸಬಹುದು. ಮಿನಿ-ಬ್ಯಾಚ್ ತಂತ್ರಗಳನ್ನು ಯಂತ್ರ ಕಲಿಕೆ ಕ್ರಮಾವಳಿಗಳ ಅತ್ಯುತ್ತಮವಾದ ಔಟ್-ಆಫ್-ಕೋರ್ ಆವೃತ್ತಿಗಳನ್ನು ಪಡೆಯಲು ತರಬೇತಿ ದತ್ತಾಂಶವನ್ನು ಪುನರಾವರ್ತಿತವಾಗಿ ರವಾನಿಸುವುದರೊಂದಿಗೆ ಬಳಸಲಾಗುತ್ತದೆ, ಉದಾಹರಣೆಗೆ, ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್. ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ನೊಂದಿಗೆ ಸಂಯೋಜಿಸಿದಾಗ, ಇದು ಪ್ರಸ್ತುತ ಕೃತಕ ನರ ಜಾಲಗಳಿಗೆ ತರಬೇತಿ ನೀಡುವ ವಾಸ್ತವಿಕ ತರಬೇತಿ ವಿಧಾನವಾಗಿದೆ. ಉದಾಹರಣೆಃ ರೇಖೀಯ ಕನಿಷ್ಠ ಚೌಕಗಳು ಆನ್ಲೈನ್ ಕಲಿಕೆಯಲ್ಲಿ ವಿವಿಧ ವಿಚಾರಗಳನ್ನು ವಿವರಿಸಲು ರೇಖೀಯ ಕನಿಷ್ಠ ಚೌಕಗಳ ಸರಳ ಉದಾಹರಣೆಯನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಆಲೋಚನೆಗಳು ಇತರ ಸೆಟ್ಟಿಂಗ್ಗಳಿಗೆ ಅನ್ವಯಿಸುವಷ್ಟು ಸಾಮಾನ್ಯವಾಗಿವೆ, ಉದಾಹರಣೆಗೆ, ಇತರ ಕನ್ವೆಕ್ಸ್ ನಷ್ಟ ಕಾರ್ಯಗಳೊಂದಿಗೆ. ಬ್ಯಾಚ್ ಲರ್ನಿಂಗ್ ಮೇಲ್ವಿಚಾರಿತ ಕಲಿಕೆಯ ಸೆಟ್ಟಿಂಗ್ ಅನ್ನು ಕಲಿಯಬೇಕಾದ ರೇಖೀಯ ಕಾರ್ಯದೊಂದಿಗೆ ಪರಿಗಣಿಸಿಃ ಎಲ್ಲಿ ಇನ್ಪುಟ್ಗಳ ವೆಕ್ಟರ್ (ಡೇಟಾ ಪಾಯಿಂಟ್ಗಳು) ಮತ್ತು ರೇಖೀಯ ಫಿಲ್ಟರ್ ವೆಕ್ಟರ್ ಆಗಿದೆ. ಫಿಲ್ಟರ್ ವೆಕ್ಟರ್ ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದು ಇದರ ಗುರಿಯಾಗಿದೆ. ಈ ನಿಟ್ಟಿನಲ್ಲಿ, ಪ್ರಾಯೋಗಿಕ ನಷ್ಟವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ವಾಹಕವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು ಸ್ಕ್ವೇರ್ ಲಾಸ್ ಕಾರ್ಯವನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಡೇಟಾ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಆಗಿರಲಿ ಮತ್ತು ಮೊದಲ ಡೇಟಾ ಪಾಯಿಂಟ್ಗಳ ಆಗಮನದ ನಂತರ ಗುರಿ ಮೌಲ್ಯಗಳ ಕಾಲಮ್ ವೆಕ್ಟರ್ ಆಗಿರುತ್ತದೆ. ಕೋವೇರಿಯನ್ಸ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ವಿಲೋಮಗೊಳಿಸಬಹುದೆಂದು ಭಾವಿಸಿದರೆ (ಇಲ್ಲದಿದ್ದರೆ ಟಿಖೋನೋವ್ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯೊಂದಿಗೆ ಇದೇ ರೀತಿಯಲ್ಲಿ ಮುಂದುವರಿಯುವುದು ಆದ್ಯತೆಯಾಗಿದೆ), ರೇಖೀಯ ಕನಿಷ್ಠ ಚೌಕಗಳ ಸಮಸ್ಯೆಗೆ ಅತ್ಯುತ್ತಮ ಪರಿಹಾರವನ್ನು ಹೀಗೆ ನೀಡಲಾಗುತ್ತದೆ. ಈಗ, ಕೋವೇರಿಯನ್ಸ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ತಲೆಕೆಳಗಾಗಿಸಲು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಆದರೆ ಉಳಿದ ಗುಣಾಕಾರವು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಇದು ಒಟ್ಟು ಸಮಯವನ್ನು ನೀಡುತ್ತದೆ. ಡೇಟಾಸೆಟ್ನಲ್ಲಿ ಒಟ್ಟು ಅಂಕಗಳು ಇದ್ದಾಗ, ಪ್ರತಿ ಡೇಟಾಪಾಯಿಂಟ್ ಬಂದ ನಂತರ ಪರಿಹಾರವನ್ನು ಮರು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು, ನಿಷ್ಕಪಟ ವಿಧಾನವು ಒಟ್ಟು ಸಂಕೀರ್ಣತೆಯನ್ನು ಹೊಂದಿರುತ್ತದೆ. ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಸಂಗ್ರಹಿಸುವಾಗ, ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಅದನ್ನು ನವೀಕರಿಸಲು ಕೇವಲ ಸೇರಿಸುವ ಅಗತ್ಯವಿರುತ್ತದೆ, ಇದು ಸಮಯವನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಒಟ್ಟು ಸಮಯವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ, ಆದರೆ ಸಂಗ್ರಹಿಸಲು ಹೆಚ್ಚುವರಿ ಶೇಖರಣಾ ಸ್ಥಳದೊಂದಿಗೆ. ಆನ್ಲೈನ್ ಕಲಿಕೆಃ ಪುನರಾವರ್ತಿತ ಕನಿಷ್ಠ ಚೌಕಗಳು ಪುನರಾವರ್ತಿತ ಕನಿಷ್ಠ ಚೌಕಗಳು (ಆರ್ಎಲ್ಎಸ್) ಅಲ್ಗಾರಿದಮ್ ಕನಿಷ್ಠ ಚೌಕಗಳ ಸಮಸ್ಯೆಗೆ ಆನ್ಲೈನ್ ವಿಧಾನವನ್ನು ಪರಿಗಣಿಸುತ್ತದೆ. ಪ್ರಾರಂಭಿಸುವ ಮೂಲಕ ಮತ್ತು, ಹಿಂದಿನ ವಿಭಾಗದಲ್ಲಿ ನೀಡಲಾದ ರೇಖೀಯ ಕನಿಷ್ಠ ಚೌಕಗಳ ಸಮಸ್ಯೆಯ ಪರಿಹಾರವನ್ನು ಈ ಕೆಳಗಿನ ಪುನರಾವರ್ತನೆಯಿಂದ ಲೆಕ್ಕ ಹಾಕಬಹುದು ಎಂದು ತೋರಿಸಬಹುದುಃ ಮೇಲಿನ ಪುನರಾವರ್ತನೆಯ ಕ್ರಮಾವಳಿಯನ್ನು ಇಂಡಕ್ಷನ್ ಆನ್ ಬಳಸಿ ಸಾಬೀತುಪಡಿಸಬಹುದು. ಸಾಕ್ಷ್ಯಾಧಾರವೂ ಅದನ್ನು ತೋರಿಸುತ್ತದೆ. ಹೊಂದಾಣಿಕೆಯ ಶೋಧಕಗಳ ಸಂದರ್ಭದಲ್ಲಿಯೂ ಸಹ ಆರ್ಎಲ್ಎಸ್ ಅನ್ನು ನೋಡಬಹುದು (ಆರ್ಎಲ್ಎಸ್ ನೋಡಿ). ಈ ಅಲ್ಗಾರಿದಮ್ನ ಹಂತಗಳ ಸಂಕೀರ್ಣತೆಯು, ಅನುಗುಣವಾದ ಬ್ಯಾಚ್ ಕಲಿಕೆಯ ಸಂಕೀರ್ಣತೆಗಿಂತ ವೇಗವಾದ ಪ್ರಮಾಣದ ಕ್ರಮವಾಗಿದೆ. ಇಲ್ಲಿ ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಶೇಖರಣಾ ಅವಶ್ಯಕತೆಗಳು ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಸಂಗ್ರಹಿಸುವುದು, ಇದು ಸ್ಥಿರವಾಗಿರುತ್ತದೆ. ಇನ್ವರ್ಟಿಬಲ್ ಆಗಿರದಿದ್ದಾಗ, ಸಮಸ್ಯೆಯ ನಷ್ಟ ಕ್ರಿಯೆಯ ಕ್ರಮಬದ್ಧ ಆವೃತ್ತಿಯನ್ನು ಪರಿಗಣಿಸಿ. ನಂತರ, ಅದೇ ಅಲ್ಗಾರಿದಮ್ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂದು ತೋರಿಸುವುದು ಸುಲಭ, ಮತ್ತು ಪುನರಾವರ್ತನೆಗಳು ನೀಡಲು ಮುಂದುವರಿಯುತ್ತವೆ. ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಇದನ್ನು ಅಥವಾ ನಿಂದ ಬದಲಾಯಿಸಿದಾಗ, ಇದು ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಅಲ್ಗಾರಿದಮ್ ಆಗುತ್ತದೆ. ಈ ಸಂದರ್ಭದಲ್ಲಿ, ಈ ಅಲ್ಗಾರಿದಮ್ನ ಹಂತಗಳ ಸಂಕೀರ್ಣತೆಯು ಕಡಿಮೆಯಾಗುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ಹಂತದಲ್ಲೂ ಶೇಖರಣಾ ಅವಶ್ಯಕತೆಗಳು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ. ಆದಾಗ್ಯೂ, ಮೇಲೆ ವಿವರಿಸಿದಂತೆ, ನಿರೀಕ್ಷಿತ ಅಪಾಯವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು ಹಂತಗಳ ಗಾತ್ರವನ್ನು ಎಚ್ಚರಿಕೆಯಿಂದ ಆಯ್ಕೆ ಮಾಡಬೇಕಾಗುತ್ತದೆ. ಕೊಳೆಯುತ್ತಿರುವ ಹಂತದ ಗಾತ್ರವನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ಮೂಲಕ ಸರಾಸರಿ ಪುನರಾವರ್ತನೆಯ ಒಮ್ಮುಖವನ್ನು ಸಾಬೀತುಪಡಿಸಬಹುದು. ಈ ಸೆಟ್ಟಿಂಗ್ ಯಾದೃಚ್ಛಿಕ ಆಪ್ಟಿಮೈಸೇಶನ್ನ ವಿಶೇಷ ಪ್ರಕರಣವಾಗಿದೆ, ಇದು ಆಪ್ಟಿಮೈಸೇಶನ್ನಲ್ಲಿ ಚಿರಪರಿಚಿತ ಸಮಸ್ಯೆಯಾಗಿದೆ. ಆಚರಣೆಯಲ್ಲಿ, ದತ್ತಾಂಶದ ಮೇಲೆ ಅನೇಕ ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಪಾಸ್ಗಳನ್ನು (ಚಕ್ರಗಳು ಅಥವಾ ಯುಗಗಳು ಎಂದೂ ಕರೆಯುತ್ತಾರೆ) ಮಾಡಬಹುದು. ಹೀಗೆ ಪಡೆದ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಗ್ರೇಡಿಯಂಟ್ ವಿಧಾನ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ ಮತ್ತು ಇದು ಪುನರಾವರ್ತನೆಗೆ ಅನುಗುಣವಾಗಿರುತ್ತದೆ. ಯಾದೃಚ್ಛಿಕ ಗ್ರೇಡಿಯಂಟ್ ವಿಧಾನದೊಂದಿಗಿನ ಮುಖ್ಯ ವ್ಯತ್ಯಾಸವೆಂದರೆ ಇಲ್ಲಿ-th ಹಂತದಲ್ಲಿ ಯಾವ ತರಬೇತಿ ಬಿಂದುವಿಗೆ ಭೇಟಿ ನೀಡಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ಒಂದು ಅನುಕ್ರಮವನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ. ಅಂತಹ ಅನುಕ್ರಮವು ಯಾದೃಚ್ಛಿಕ ಅಥವಾ ನಿರ್ಣಾಯಕವಾಗಿರಬಹುದು. ಪುನರಾವರ್ತನೆಗಳ ಸಂಖ್ಯೆಯನ್ನು ನಂತರ ಬಿಂದುಗಳ ಸಂಖ್ಯೆಗೆ ಬೇರ್ಪಡಿಸಲಾಗುತ್ತದೆ (ಪ್ರತಿ ಬಿಂದುವನ್ನು ಒಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ಬಾರಿ ಪರಿಗಣಿಸಬಹುದು). ಇಂಕ್ರಿಮೆಂಟಲ್ ಗ್ರೇಡಿಯಂಟ್ ವಿಧಾನವು ಪ್ರಾಯೋಗಿಕ ಅಪಾಯವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಎಂದು ತೋರಿಸಬಹುದು. ಹೆಚ್ಚುತ್ತಿರುವ ತಂತ್ರಗಳು ಅನೇಕ ಪದಗಳ ಮೊತ್ತದಿಂದ ಕೂಡಿದ ವಸ್ತುನಿಷ್ಠ ಕಾರ್ಯಗಳನ್ನು ಪರಿಗಣಿಸುವಾಗ ಪ್ರಯೋಜನಕಾರಿಯಾಗಬಹುದು, ಉದಾಹರಣೆಗೆ. ಬಹಳ ದೊಡ್ಡ ಡೇಟಾಸೆಟ್ಗೆ ಅನುಗುಣವಾದ ಪ್ರಾಯೋಗಿಕ ದೋಷ. ಮೇಲಿನ ಕ್ರಮಾವಳಿಗಳನ್ನು ಪ್ಯಾರಾಮೆಟ್ರಿಕ್ ಅಲ್ಲದ ಮಾದರಿಗಳಿಗೆ (ಅಥವಾ ನಿಯತಾಂಕಗಳು ಅನಂತ ಆಯಾಮದ ಜಾಗವನ್ನು ರೂಪಿಸುವ ಮಾದರಿಗಳಿಗೆ) ವಿಸ್ತರಿಸಲು ಕರ್ನಲ್ ವಿಧಾನಗಳನ್ನು ಬಳಸಬಹುದು. ಅನುಗುಣವಾದ ಕಾರ್ಯವಿಧಾನವು ಇನ್ನು ಮುಂದೆ ನಿಜವಾಗಿಯೂ ಆನ್ಲೈನ್ನಲ್ಲಿರುವುದಿಲ್ಲ ಮತ್ತು ಬದಲಿಗೆ ಎಲ್ಲಾ ದತ್ತಾಂಶ ಬಿಂದುಗಳನ್ನು ಸಂಗ್ರಹಿಸುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ, ಆದರೆ ಇದು ಇನ್ನೂ ಬ್ರೂಟ್ ಫೋರ್ಸ್ ವಿಧಾನಕ್ಕಿಂತ ವೇಗವಾಗಿರುತ್ತದೆ. ಈ ಚರ್ಚೆಯು ವರ್ಗ ನಷ್ಟದ ಪ್ರಕರಣಕ್ಕೆ ಸೀಮಿತವಾಗಿದೆ, ಆದರೂ ಇದನ್ನು ಯಾವುದೇ ಕನ್ವೆಕ್ಸ್ ನಷ್ಟಕ್ಕೆ ವಿಸ್ತರಿಸಬಹುದು. ಡೇಟಾ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಆಗಿದ್ದರೆ ಮತ್ತು ಎಸ್ಜಿಡಿ ಅಲ್ಗಾರಿದಮ್ನ ಹಂತಗಳ ನಂತರದ ಔಟ್ಪುಟ್ ಆಗಿದ್ದರೆ, ನಂತರ, ಎಲ್ಲಿ ಮತ್ತು ಅನುಕ್ರಮವು ಪುನರಾವರ್ತನೆಯನ್ನು ತೃಪ್ತಿಪಡಿಸುತ್ತದೆಃ ಮತ್ತು ಇಲ್ಲಿ ಕೇವಲ ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಕರ್ನಲ್ ಆನ್ ಆಗಿದೆ ಮತ್ತು ಪ್ರಿಡಿಕ್ಟರ್ ರೂಪದಲ್ಲಿದೆ ಎಂಬುದನ್ನು ಸುಲಭವಾಗಿ ಇಂಡಕ್ಷನ್ ಮೂಲಕ ತೋರಿಸಬಹುದು. ಈಗ, ಅದರ ಬದಲಿಗೆ ಸಾಮಾನ್ಯ ಕರ್ನಲ್ ಅನ್ನು ಪರಿಚಯಿಸಿದರೆ ಮತ್ತು ಪ್ರಿಡಿಕ್ಟರ್ ಆಗಿರಲಿ, ಅದೇ ಪುರಾವೆಯು ಮೇಲಿನ ಪುನರಾವರ್ತನೆಯನ್ನು ಬದಲಾಯಿಸುವ ಮೂಲಕ ಕನಿಷ್ಠ ಸ್ಕ್ವೇರ್ ನಷ್ಟವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಪ್ರಿಡಿಕ್ಟರ್ ಅನ್ನು ಪಡೆಯಲಾಗುತ್ತದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ. - th ದತ್ತಾಂಶ ಬಿಂದುವಿಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವಾಗ ಪುನರಾವರ್ತನೆಯ ಒಟ್ಟು ಸಮಯದ ಸಂಕೀರ್ಣತೆಯು, ಒಂದೇ ಜೋಡಿ ಬಿಂದುಗಳ ಮೇಲೆ ಕರ್ನಲ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ವೆಚ್ಚ ಎಲ್ಲಿದೆ. ಹೀಗಾಗಿ, ಕರ್ನಲ್ನ ಬಳಕೆಯು ಸೀಮಿತ ಆಯಾಮದ ನಿಯತಾಂಕ ಸ್ಥಳದಿಂದ ಕರ್ನಲ್ ಪ್ರತಿನಿಧಿಸುವ ಅನಂತ ಆಯಾಮದ ವೈಶಿಷ್ಟ್ಯಕ್ಕೆ ಚಲನೆಯನ್ನು ಅನುಮತಿಸಿದೆ, ಬದಲಿಗೆ ನಿಯತಾಂಕಗಳ ಜಾಗದಲ್ಲಿ ಪುನರಾವರ್ತನೆಯನ್ನು ಮಾಡುತ್ತದೆ, ಅದರ ಆಯಾಮವು ತರಬೇತಿ ದತ್ತಾಂಶದ ಗಾತ್ರಕ್ಕೆ ಸಮನಾಗಿರುತ್ತದೆ. ಸಾಮಾನ್ಯವಾಗಿ, ಇದು ಪ್ರಾತಿನಿಧಿಕ ಪ್ರಮೇಯದ ಪರಿಣಾಮವಾಗಿದೆ. ಆನ್ಲೈನ್ ಕನ್ವೆಕ್ಸ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಆನ್ಲೈನ್ ಕನ್ವೆಕ್ಸ್ ಆಪ್ಟಿಮೈಸೇಶನ್ (ಒಸಿಒ) ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವ ಸಾಮಾನ್ಯ ಚೌಕಟ್ಟಾಗಿದ್ದು, ಇದು ಸಮರ್ಥ ಕ್ರಮಾವಳಿಗಳಿಗೆ ಅವಕಾಶ ನೀಡಲು ಕನ್ವೆಕ್ಸ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ. ಪುನರಾವರ್ತಿತ ಆಟವಾಡುವ ಚೌಕಟ್ಟು ಈ ಕೆಳಗಿನಂತಿದೆಃ ಕಲಿಯುವವರು ಸ್ಥಿರ ಕನ್ವೆಕ್ಸ್ ಸೆಟ್ನಿಂದ ಇನ್ಪುಟ್ ಲರ್ನರ್ ಔಟ್ಪುಟ್ಗಳನ್ನು ಪಡೆಯುತ್ತಾರೆ, ಪ್ರಕೃತಿ ಕನ್ವೆಕ್ಸ್ ನಷ್ಟ ಕಾರ್ಯವನ್ನು ಮರಳಿ ಕಳುಹಿಸುತ್ತದೆ. ಕಲಿಯುವವರು ನಷ್ಟವನ್ನು ಅನುಭವಿಸುತ್ತಾರೆ ಮತ್ತು ಅದರ ಮಾದರಿಯನ್ನು ನವೀಕರಿಸುತ್ತಾರೆ ವಿಷಾದವನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು ಅಥವಾ ಸಂಚಿತ ನಷ್ಟ ಮತ್ತು ಹಿನ್ನೋಟದಲ್ಲಿ ಅತ್ಯುತ್ತಮ ಸ್ಥಿರ ಬಿಂದುವಿನ ನಷ್ಟದ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು ಗುರಿಯಾಗಿದೆ. ಉದಾಹರಣೆಗೆ, ಆನ್ಲೈನ್ ಕನಿಷ್ಠ ಚೌಕಗಳ ರೇಖೀಯ ಹಿಂಜರಿತದ ಪ್ರಕರಣವನ್ನು ಪರಿಗಣಿಸಿ. ಇಲ್ಲಿ, ತೂಕದ ವಾಹಕಗಳು ಕನ್ವೆಕ್ಸ್ ಸೆಟ್ನಿಂದ ಬರುತ್ತವೆ, ಮತ್ತು ಪ್ರಕೃತಿ ಕನ್ವೆಕ್ಸ್ ನಷ್ಟ ಕಾರ್ಯವನ್ನು ಮರಳಿ ಕಳುಹಿಸುತ್ತದೆ. ಇಲ್ಲಿ ಪರೋಕ್ಷವಾಗಿ ಕಳುಹಿಸಲಾಗಿರುವ ಟಿಪ್ಪಣಿ. ಆದಾಗ್ಯೂ, ಕೆಲವು ಆನ್ಲೈನ್ ಮುನ್ಸೂಚನೆಯ ಸಮಸ್ಯೆಗಳು ಒ. ಸಿ. ಒ. ಯ ಚೌಕಟ್ಟಿಗೆ ಹೊಂದಿಕೆಯಾಗುವುದಿಲ್ಲ. ಉದಾಹರಣೆಗೆ, ಆನ್ಲೈನ್ ವರ್ಗೀಕರಣದಲ್ಲಿ, ಮುನ್ಸೂಚನೆಯ ಕ್ಷೇತ್ರ ಮತ್ತು ನಷ್ಟದ ಕಾರ್ಯಗಳು ಕನ್ವೆಕ್ಸ್ ಆಗಿರುವುದಿಲ್ಲ. ಅಂತಹ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ, ಕನ್ವೆಕ್ಸಿಫಿಕೇಶನ್ಗೆ ಎರಡು ಸರಳ ತಂತ್ರಗಳನ್ನು ಬಳಸಲಾಗುತ್ತದೆಃ ಯಾದೃಚ್ಛಿಕತೆ ಮತ್ತು ಬಾಡಿಗೆ ನಷ್ಟ ಕಾರ್ಯಗಳು. ಕೆಲವು ಸರಳ ಆನ್ಲೈನ್ ಕನ್ವೆಕ್ಸ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಕ್ರಮಾವಳಿಗಳೆಂದರೆಃ ಫಾಲೋ ದಿ ಲೀಡರ್ (ಎಫ್ಟಿಎಲ್) ಪ್ರಯತ್ನಿಸಲು ಸರಳವಾದ ಕಲಿಕೆಯ ನಿಯಮವೆಂದರೆ (ಪ್ರಸ್ತುತ ಹಂತದಲ್ಲಿ) ಹಿಂದಿನ ಎಲ್ಲಾ ಸುತ್ತುಗಳಿಗಿಂತ ಕನಿಷ್ಠ ನಷ್ಟವನ್ನು ಹೊಂದಿರುವ ಊಹೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು. ಈ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಫಾಲೋ ದಿ ಲೀಡರ್ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ, ಮತ್ತು ರೌಂಡ್ ಅನ್ನು ಸರಳವಾಗಿ ಹೀಗೆ ನೀಡಲಾಗುತ್ತದೆಃ ಈ ವಿಧಾನವನ್ನು ದುರಾಸೆಯ ಅಲ್ಗಾರಿದಮ್ ಎಂದು ನೋಡಬಹುದು. ಆನ್ಲೈನ್ ಕ್ವಾಡ್ರಾಟಿಕ್ ಆಪ್ಟಿಮೈಸೇಷನ್ನ ಸಂದರ್ಭದಲ್ಲಿ (ಅಲ್ಲಿ ನಷ್ಟದ ಕಾರ್ಯವಿದೆ), ಒಬ್ಬರು ವಿಷಾದವನ್ನು ತೋರಿಸಬಹುದು, ಅದು ಬೆಳೆಯುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಆನ್ಲೈನ್ ಲೀನಿಯರ್ ಆಪ್ಟಿಮೈಸೇಶನ್ನಂತಹ ಇತರ ಪ್ರಮುಖ ಮಾದರಿಗಳ ಕುಟುಂಬಗಳಿಗೆ ಎಫ್ಟಿಎಲ್ ಅಲ್ಗಾರಿದಮ್ಗೆ ಇದೇ ರೀತಿಯ ಮಿತಿಯನ್ನು ಪಡೆಯಲು ಸಾಧ್ಯವಿಲ್ಲ. ಹಾಗೆ ಮಾಡಲು, ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ಎಫ್ಟಿಎಲ್ ಅನ್ನು ಮಾರ್ಪಡಿಸಲಾಗುತ್ತದೆ. ನಿಯಮಿತ ನಾಯಕನನ್ನು ಅನುಸರಿಸಿ (ಎಫ್ಟಿಆರ್ಎಲ್) ಇದು ಎಫ್ಟಿಎಲ್ನ ನೈಸರ್ಗಿಕ ಮಾರ್ಪಾಡಾಗಿದ್ದು, ಇದನ್ನು ಎಫ್ಟಿಎಲ್ ಪರಿಹಾರಗಳನ್ನು ಸ್ಥಿರಗೊಳಿಸಲು ಮತ್ತು ಉತ್ತಮ ವಿಷಾದ ಮಿತಿಯನ್ನು ಪಡೆಯಲು ಬಳಸಲಾಗುತ್ತದೆ. ಕ್ರಮಬದ್ಧಗೊಳಿಸುವ ಕಾರ್ಯವನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ ಮತ್ತು ಕಲಿಕೆಯನ್ನು ಈ ಕೆಳಗಿನಂತೆ ನಡೆಸಲಾಗುತ್ತದೆಃ ವಿಶೇಷ ಉದಾಹರಣೆಯಾಗಿ, ಆನ್ಲೈನ್ ರೇಖೀಯ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅನ್ನು ಪರಿಗಣಿಸಿ. ಅಲ್ಲಿ ಪ್ರಕೃತಿ ರೂಪದ ನಷ್ಟದ ಕಾರ್ಯಗಳನ್ನು ಹಿಂದಕ್ಕೆ ಕಳುಹಿಸುತ್ತದೆ. ಹಾಗೆಯೇ, ಆಗಲಿ. ಕೆಲವು ಧನಾತ್ಮಕ ಸಂಖ್ಯೆಗಳಿಗೆ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವ ಕಾರ್ಯವನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗಿದೆ ಎಂದು ಭಾವಿಸೋಣ. ನಂತರ, ವಿಷಾದವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಪುನರಾವರ್ತನೆಯು ಆನ್ಲೈನ್ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ನಂತೆಯೇ ಕಾಣುತ್ತದೆ ಎಂದು ಇದನ್ನು ಪುನಃ ಬರೆಯಬಹುದು ಎಂಬುದನ್ನು ಗಮನಿಸಿ. ಬದಲಿಗೆ ಕೆಲವು ಕನ್ವೆಕ್ಸ್ ಸಬ್ಸ್ಪೇಸ್ ಆಗಿದ್ದರೆ, ಅದನ್ನು ಪ್ರಕ್ಷೇಪಿಸಬೇಕಾಗುತ್ತದೆ, ಇದು ಮಾರ್ಪಡಿಸಿದ ನವೀಕರಣ ನಿಯಮಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ ಈ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಲೇಜಿ ಪ್ರೊಜೆಕ್ಷನ್ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ, ಏಕೆಂದರೆ ವಾಹಕವು ಗ್ರೇಡಿಯಂಟ್ಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ಇದನ್ನು ನೆಸ್ಟೆರೋವ್ ಅವರ ಡ್ಯುಯಲ್ ಆವರೇಜ್ ಅಲ್ಗಾರಿದಮ್ ಎಂದೂ ಕರೆಯಲಾಗುತ್ತದೆ. ರೇಖೀಯ ನಷ್ಟದ ಕಾರ್ಯಗಳು ಮತ್ತು ಚತುರ್ಭುಜ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯ ಈ ಸನ್ನಿವೇಶದಲ್ಲಿ, ವಿಷಾದವು ಸೀಮಿತವಾಗಿರುತ್ತದೆ, ಹೀಗಾಗಿ ಸರಾಸರಿ ವಿಷಾದವು ಬಯಸಿದಂತೆ ಹೋಗುತ್ತದೆ. ಆನ್ಲೈನ್ ಸಬ್ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ (ಒಎಸ್ಡಿ) ಮೇಲಿನವು ರೇಖೀಯ ನಷ್ಟದ ಕಾರ್ಯಗಳಿಗೆ ಬದ್ಧವಾದ ವಿಷಾದವನ್ನು ಸಾಬೀತುಪಡಿಸಿದವು. ಯಾವುದೇ ಕನ್ವೆಕ್ಸ್ ಲಾಸ್ ಫಂಕ್ಷನ್ಗೆ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಸಾಮಾನ್ಯೀಕರಿಸಲು, ಸಬ್ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಹತ್ತಿರಕ್ಕೆ ರೇಖೀಯ ಅಂದಾಜಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ, ಇದು ಆನ್ಲೈನ್ ಸಬ್ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಅಲ್ಗಾರಿದಮ್ಗೆ ಕಾರಣವಾಗುತ್ತದೆಃ ನಿಯತಾಂಕವನ್ನು ಪ್ರಾರಂಭಿಸಿ ಬಳಸುವುದು, ಪ್ರಕೃತಿಯಿಂದ ಸ್ವೀಕರಿಸುವುದು. ಇಫ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿ, ಇಫ್ ಎಂದು ನವೀಕರಿಸಿ, ಪ್ರಾಜೆಕ್ಟ್ ಕ್ಯುಮುಲೇಟಿವ್ ಗ್ರೇಡಿಯಂಟ್ಗಳನ್ನು ಅಂದರೆ. ವರ್ಗೀಕರಣಕ್ಕಾಗಿ ಎಸ್ವಿಎಂನ ಆನ್ಲೈನ್ ಆವೃತ್ತಿಗೆ ವಿಷಾದದ ಮಿತಿಯನ್ನು ಪಡೆಯಲು ಒಎಸ್ಡಿ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಬಳಸಬಹುದು, ಇದು ಹಿಂಜ್ ನಷ್ಟವನ್ನು ಬಳಸುತ್ತದೆ ಇತರ ಅಲ್ಗಾರಿದಮ್ಗಳು ಕ್ವಾಡ್ರಟಿಕಲಿ ರೆಗ್ಯುಲರೈಸ್ಡ್ ಎಫ್ಟಿಆರ್ಎಲ್ ಅಲ್ಗಾರಿದಮ್ಗಳು ಮೇಲೆ ವಿವರಿಸಿದಂತೆ ಸೋಮಾರಿಯಾಗಿ ಪ್ರೊಜೆಕ್ಟೆಡ್ ಗ್ರೇಡಿಯಂಟ್ ಅಲ್ಗಾರಿದಮ್ಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತವೆ. ಮೇಲಿನವುಗಳನ್ನು ಅನಿಯಂತ್ರಿತ ಕನ್ವೆಕ್ಸ್ ಫಂಕ್ಷನ್ಗಳು ಮತ್ತು ರೆಗ್ಯುಲರೈಸರ್ಗಳಿಗಾಗಿ ಬಳಸಲು, ಆನ್ಲೈನ್ ಮಿರರ್ ಡಿಸೆಂಟ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ರೇಖೀಯ ನಷ್ಟ ಕಾರ್ಯಗಳಿಗಾಗಿ ಹಿನ್ನೋಟದಲ್ಲಿ ಸೂಕ್ತವಾದ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯನ್ನು ಪಡೆಯಬಹುದು, ಇದು ಅಡಾಗ್ರ್ಯಾಡ್ ಅಲ್ಗಾರಿದಮ್ಗೆ ಕಾರಣವಾಗುತ್ತದೆ. ಯೂಕ್ಲಿಡಿಯನ್ ಕ್ರಮಬದ್ಧೀಕರಣಕ್ಕಾಗಿ, ಒಬ್ಬರು ವಿಷಾದದ ಬಂಧವನ್ನು ತೋರಿಸಬಹುದು, ಇದನ್ನು ಬಲವಾದ ಕನ್ವೆಕ್ಸ್ ಮತ್ತು ಎಕ್ಸ್-ಕಾನ್ಕೇವ್ ನಷ್ಟ ಕಾರ್ಯಗಳಿಗಾಗಿ ಎ ಗೆ ಇನ್ನಷ್ಟು ಸುಧಾರಿಸಬಹುದು. ನಿರಂತರ ಕಲಿಕೆ ಎಂದರೆ ಮಾಹಿತಿಯ ನಿರಂತರ ಹರಿವನ್ನು ಸಂಸ್ಕರಿಸುವ ಮೂಲಕ ಕಲಿತ ಮಾದರಿಯನ್ನು ನಿರಂತರವಾಗಿ ಸುಧಾರಿಸುವುದು. ನಿರಂತರವಾಗಿ ಬದಲಾಗುತ್ತಿರುವ ನೈಜ ಜಗತ್ತಿನಲ್ಲಿ ಸಂವಹನ ನಡೆಸುವ ಸಾಫ್ಟ್ವೇರ್ ವ್ಯವಸ್ಥೆಗಳು ಮತ್ತು ಸ್ವಾಯತ್ತ ಏಜೆಂಟ್ಗಳಿಗೆ ನಿರಂತರ ಕಲಿಕೆಯ ಸಾಮರ್ಥ್ಯಗಳು ಅತ್ಯಗತ್ಯ. ಆದಾಗ್ಯೂ, ನಿರಂತರ ಕಲಿಕೆ ಯಂತ್ರ ಕಲಿಕೆ ಮತ್ತು ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ ಮಾದರಿಗಳಿಗೆ ಒಂದು ಸವಾಲಾಗಿದೆ, ಏಕೆಂದರೆ ಸ್ಥಿರವಲ್ಲದ ದತ್ತಾಂಶ ವಿತರಣೆಗಳಿಂದ ಹೆಚ್ಚುತ್ತಿರುವ ಮಾಹಿತಿಯ ನಿರಂತರ ಸ್ವಾಧೀನವು ಸಾಮಾನ್ಯವಾಗಿ ವಿನಾಶಕಾರಿ ಮರೆತುಹೋಗುವಿಕೆಗೆ ಕಾರಣವಾಗುತ್ತದೆ. ಆನ್ಲೈನ್ ಕಲಿಕೆಯ ವ್ಯಾಖ್ಯಾನಗಳು ಆನ್ಲೈನ್ ಕಲಿಕೆಯ ಮಾದರಿಯು ಕಲಿಕೆಯ ಮಾದರಿಯ ಆಯ್ಕೆಯನ್ನು ಅವಲಂಬಿಸಿ ವಿಭಿನ್ನ ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ಹೊಂದಿದೆ, ಪ್ರತಿಯೊಂದೂ ಕಾರ್ಯಗಳ ಅನುಕ್ರಮದ ಮುನ್ಸೂಚಕ ಗುಣಮಟ್ಟದ ಬಗ್ಗೆ ವಿಭಿನ್ನ ಪರಿಣಾಮಗಳನ್ನು ಬೀರುತ್ತದೆ. ಈ ಚರ್ಚೆಗೆ ಮೂಲಮಾದರಿಯ ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಮೇಲೆ ತಿಳಿಸಿದಂತೆ, ಅದರ ಪುನರಾವರ್ತನೆಯನ್ನು ನೀಡಲಾಗಿದೆ. ಮೊದಲ ವ್ಯಾಖ್ಯಾನವು ಮೇಲೆ ವ್ಯಾಖ್ಯಾನಿಸಲಾದ ನಿರೀಕ್ಷಿತ ಅಪಾಯವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಸಮಸ್ಯೆಗೆ ಅನ್ವಯಿಸಿದಂತೆ ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ವಿಧಾನವನ್ನು ಪರಿಗಣಿಸುತ್ತದೆ. ವಾಸ್ತವವಾಗಿ, ದತ್ತಾಂಶದ ಅನಂತ ಹರಿವಿನ ಸಂದರ್ಭದಲ್ಲಿ, ಉದಾಹರಣೆಗಳನ್ನು ಚಿತ್ರಿಸಲಾಗಿದೆ ಎಂದು ಭಾವಿಸಲಾಗಿದೆ. ವಿತರಣೆಯಿಂದ, ಮೇಲಿನ ಪುನರಾವರ್ತನೆಯಲ್ಲಿನ ಗ್ರೇಡಿಯಂಟ್ಗಳ ಅನುಕ್ರಮವು ಒಂದು ಅಂದರೆ ಡಿ ಆಗಿದೆ. ನಿರೀಕ್ಷಿತ ಅಪಾಯದ ಗ್ರೇಡಿಯಂಟ್ನ ಸಂಭವನೀಯ ಅಂದಾಜುಗಳ ಮಾದರಿ ಮತ್ತು ಆದ್ದರಿಂದ ವ್ಯತ್ಯಾಸವನ್ನು ಬಂಧಿಸಲು ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ವಿಧಾನಕ್ಕೆ ಸಂಕೀರ್ಣತೆಯ ಫಲಿತಾಂಶಗಳನ್ನು ಅನ್ವಯಿಸಬಹುದು, ಅಲ್ಲಿ ಮಿನಿಮೈಸರ್ ಆಗಿದೆ. ಸೀಮಿತ ತರಬೇತಿ ಗುಂಪಿನ ವಿಷಯದಲ್ಲೂ ಈ ವ್ಯಾಖ್ಯಾನವು ಮಾನ್ಯವಾಗಿದೆ; ದತ್ತಾಂಶದ ಮೂಲಕ ಅನೇಕ ಪಾಸ್ಗಳೊಂದಿಗೆ ಗ್ರೇಡಿಯಂಟ್ಗಳು ಇನ್ನು ಮುಂದೆ ಸ್ವತಂತ್ರವಾಗಿಲ್ಲವಾದರೂ, ವಿಶೇಷ ಸಂದರ್ಭಗಳಲ್ಲಿ ಸಂಕೀರ್ಣತೆಯ ಫಲಿತಾಂಶಗಳನ್ನು ಪಡೆಯಬಹುದು. ಎರಡನೇ ವ್ಯಾಖ್ಯಾನವು ಸೀಮಿತ ತರಬೇತಿ ಗುಂಪಿನ ಸಂದರ್ಭದಲ್ಲಿ ಅನ್ವಯಿಸುತ್ತದೆ ಮತ್ತು ಎಸ್ಜಿಡಿ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ವಿಧಾನದ ಒಂದು ಉದಾಹರಣೆ ಎಂದು ಪರಿಗಣಿಸುತ್ತದೆ. ಈ ಸಂದರ್ಭದಲ್ಲಿ, ಒಬ್ಬರು ಬದಲಿಗೆ ಪ್ರಾಯೋಗಿಕ ಅಪಾಯವನ್ನು ನೋಡುತ್ತಾರೆಃ ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಪುನರಾವರ್ತನೆಗಳಲ್ಲಿನ ಗ್ರೇಡಿಯಂಟ್ಗಳು ಸಹ ಗ್ರೇಡಿಯಂಟ್ನ ಸಂಭವನೀಯ ಅಂದಾಜುಗಳಾಗಿರುವುದರಿಂದ, ಈ ವ್ಯಾಖ್ಯಾನವು ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ವಿಧಾನಕ್ಕೆ ಸಂಬಂಧಿಸಿದೆ, ಆದರೆ ನಿರೀಕ್ಷಿತ ಅಪಾಯಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ ಪ್ರಾಯೋಗಿಕ ಅಪಾಯವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಅನ್ವಯಿಸುತ್ತದೆ. ಈ ವ್ಯಾಖ್ಯಾನವು ಪ್ರಾಯೋಗಿಕ ಅಪಾಯಕ್ಕೆ ಸಂಬಂಧಿಸಿರುವುದರಿಂದ ಮತ್ತು ನಿರೀಕ್ಷಿತ ಅಪಾಯಕ್ಕೆ ಸಂಬಂಧಿಸಿಲ್ಲವಾದ್ದರಿಂದ, ದತ್ತಾಂಶದ ಮೂಲಕ ಅನೇಕ ಪಾಸ್ಗಳನ್ನು ಸುಲಭವಾಗಿ ಅನುಮತಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ವಾಸ್ತವವಾಗಿ ವ್ಯತ್ಯಾಸಗಳ ಮೇಲೆ ಕಠಿಣ ಮಿತಿಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ, ಅಲ್ಲಿ ಕನಿಷ್ಠಗೊಳಿಸುವಿಕೆಯು ಇರುತ್ತದೆ. ಅನುಷ್ಠಾನಗಳು ವೌಪಲ್ ವ್ಯಾಬಿಟ್ಃ ಓಪನ್-ಸೋರ್ಸ್ ವೇಗದ ಔಟ್-ಆಫ್-ಕೋರ್ ಆನ್ಲೈನ್ ಕಲಿಕಾ ವ್ಯವಸ್ಥೆಯು ಹಲವಾರು ಯಂತ್ರ ಕಲಿಕೆಯ ಕಡಿತಗಳು, ಪ್ರಾಮುಖ್ಯತೆಯ ತೂಕ ಮತ್ತು ವಿವಿಧ ನಷ್ಟ ಕಾರ್ಯಗಳು ಮತ್ತು ಆಪ್ಟಿಮೈಸೇಶನ್ ಕ್ರಮಾವಳಿಗಳ ಆಯ್ಕೆಯನ್ನು ಬೆಂಬಲಿಸುವಲ್ಲಿ ಗಮನಾರ್ಹವಾಗಿದೆ. ಇದು ತರಬೇತಿ ದತ್ತಾಂಶದ ಪ್ರಮಾಣದಿಂದ ಸ್ವತಂತ್ರವಾಗಿ ವೈಶಿಷ್ಟ್ಯಗಳ ಗುಂಪಿನ ಗಾತ್ರವನ್ನು ಬಂಧಿಸಲು ಹ್ಯಾಶಿಂಗ್ ಟ್ರಿಕ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಸ್ಕಿಕಿಟ್-ಲರ್ನ್ಃ ವರ್ಗೀಕರಣಕ್ಕಾಗಿ ಕ್ರಮಾವಳಿಗಳ ಔಟ್-ಆಫ್-ಕೋರ್ ಅನುಷ್ಠಾನಗಳನ್ನು ಒದಗಿಸುತ್ತದೆಃ ಪೆರ್ಸೆಪ್ಟ್ರಾನ್, ಎಸ್ಜಿಡಿ ವರ್ಗೀಕರಣ, ನೈವ್ ಬೇಯ್ಸ್ ವರ್ಗೀಕರಣ. ರಿಗ್ರೆಷನ್ಃ ಎಸ್ಜಿಡಿ ರಿಗ್ರೆಸರ್, ನಿಷ್ಕ್ರಿಯ ಆಕ್ರಮಣಕಾರಿ ರಿಗ್ರೆಸರ್. ಕ್ಲಸ್ಟರಿಂಗ್ಃ ಮಿನಿ-ಬ್ಯಾಚ್ ಕೆ-ಮೀನ್ಸ್. ವೈಶಿಷ್ಟ್ಯದ ಹೊರತೆಗೆಯುವಿಕೆಃ ಮಿನಿ-ಬ್ಯಾಚ್ ಡಿಕ್ಷನರಿ ಲರ್ನಿಂಗ್, ಇಂಕ್ರಿಮೆಂಟಲ್ ಪಿಸಿಎ. ಕಲಿಕೆಯ ಮಾದರಿಗಳನ್ನು ಸಹ ನೋಡಿ ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಲರ್ನಿಂಗ್ ಲೇಜಿ ಲರ್ನಿಂಗ್ ಆಫ್ಲೈನ್ ಲರ್ನಿಂಗ್, ವಿರುದ್ಧ ಮಾದರಿ ಬಲವರ್ಧನೆ ಕಲಿಕೆ ಮಲ್ಟಿ-ಆರ್ಮ್ಡ್ ಬ್ಯಾಂಡಿಟ್ ಮೇಲ್ವಿಚಾರಣೆ ಕಲಿಕೆ ಸಾಮಾನ್ಯ ಕ್ರಮಾವಳಿಗಳು ಆನ್ಲೈನ್ ಕ್ರಮಾವಳಿ ಆನ್ಲೈನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸ್ಟ್ರೀಮಿಂಗ್ ಕ್ರಮಾವಳಿ ಕಲಿಕೆಯ ಮಾದರಿಗಳು ಅಡಾಪ್ಟಿವ್ ರೆಸೋನೆನ್ಸ್ ಥಿಯರಿ ಹೈರಾರ್ಕಿಕಲ್ ಟೆಂಪೋರಲ್ ಮೆಮೊರಿ ಕೆ-ಹತ್ತಿರದ ನೆರೆಯ ಕ್ರಮಾವಳಿ ಕಲಿಕೆ ವೆಕ್ಟರ್ ಕ್ವಾಂಟೈಸೇಶನ್ ಪರ್ಸೆಪ್ಟ್ರಾನ್ ಉಲ್ಲೇಖಗಳು ಬಾಹ್ಯ ಕೊಂಡಿಗಳು 6.883: ಯಂತ್ರ ಕಲಿಕೆಯಲ್ಲಿ ಆನ್ಲೈನ್ ವಿಧಾನಗಳುಃ ಸಿದ್ಧಾಂತ ಮತ್ತು ಅನ್ವಯಗಳು. ಅಲೆಕ್ಸಾಂಡರ್ ರಾಖ್ಲಿನ್. ಎಂ. ಐ. ಟಿ. ಆನ್ಲೈನ್ ಕ್ರಮಾವಳಿಗಳು ಯಂತ್ರ ಕಲಿಕೆ ಕ್ರಮಾವಳಿಗಳು