Gradient boosting
ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಎನ್ನುವುದು ಹಿಂಜರಿತ ಮತ್ತು ವರ್ಗೀಕರಣ ಕಾರ್ಯಗಳಲ್ಲಿ ಬಳಸುವ ಯಂತ್ರ ಕಲಿಕೆಯ ತಂತ್ರವಾಗಿದೆ. ಇದು ದುರ್ಬಲ ಮುನ್ಸೂಚನೆಯ ಮಾದರಿಗಳ ಸಮೂಹದ ರೂಪದಲ್ಲಿ ಮುನ್ಸೂಚನೆಯ ಮಾದರಿಯನ್ನು ನೀಡುತ್ತದೆ, ಅಂದರೆ, ದತ್ತಾಂಶದ ಬಗ್ಗೆ ಬಹಳ ಕಡಿಮೆ ಊಹೆಗಳನ್ನು ಮಾಡುವ ಮಾದರಿಗಳು, ಅವು ಸಾಮಾನ್ಯವಾಗಿ ಸರಳ ನಿರ್ಧಾರದ ಮರಗಳಾಗಿವೆ. ನಿರ್ಧಾರದ ಮರವು ದುರ್ಬಲ ಕಲಿಯುವವರಾಗಿದ್ದಾಗ, ಪರಿಣಾಮವಾಗಿ ಬರುವ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಗ್ರೇಡಿಯಂಟ್-ಬೂಸ್ಟ್ ಮರಗಳು ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ; ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಯಾದೃಚ್ಛಿಕ ಅರಣ್ಯವನ್ನು ಮೀರಿಸುತ್ತದೆ. ಗ್ರೇಡಿಯಂಟ್-ಬೂಸ್ಟ್ಡ್ ಟ್ರೀಸ್ ಮಾದರಿಯನ್ನು ಇತರ ಬೂಸ್ಟಿಂಗ್ ವಿಧಾನಗಳಲ್ಲಿರುವಂತೆ ಹಂತವಾರು ಶೈಲಿಯಲ್ಲಿ ನಿರ್ಮಿಸಲಾಗಿದೆ, ಆದರೆ ಇದು ಅನಿಯಂತ್ರಿತ ಡಿಫರೆನ್ಷಿಯಬಲ್ ಲಾಸ್ ಫಂಕ್ಷನ್ನಿನ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅನ್ನು ಅನುಮತಿಸುವ ಮೂಲಕ ಇತರ ವಿಧಾನಗಳನ್ನು ಸಾಮಾನ್ಯಗೊಳಿಸುತ್ತದೆ. ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಕಲ್ಪನೆಯು ಲಿಯೋ ಬ್ರೀಮನ್ ಅವರ ಅವಲೋಕನದಲ್ಲಿ ಹುಟ್ಟಿಕೊಂಡಿತು, ಬೂಸ್ಟಿಂಗ್ ಅನ್ನು ಸೂಕ್ತವಾದ ವೆಚ್ಚದ ಕಾರ್ಯದ ಮೇಲೆ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅಲ್ಗಾರಿದಮ್ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಬಹುದು. ತರುವಾಯ ಜೆರೋಮ್ ಎಚ್. ಫ್ರೀಡ್ಮನ್ ಅವರು ಲೆವ್ ಮೇಸನ್, ಜೊನಾಥನ್ ಬಾಕ್ಸ್ಟರ್, ಪೀಟರ್ ಬಾರ್ಟ್ಲೆಟ್ ಮತ್ತು ಮಾರ್ಕಸ್ ಫ್ರೀನ್ ಅವರ ಹೆಚ್ಚು ಸಾಮಾನ್ಯ ಕ್ರಿಯಾತ್ಮಕ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ದೃಷ್ಟಿಕೋನದೊಂದಿಗೆ ಸ್ಪಷ್ಟವಾದ ಹಿಂಜರಿತ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಕ್ರಮಾವಳಿಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದರು. ನಂತರದ ಎರಡು ಪ್ರಬಂಧಗಳು ಕ್ರಮಾವಳಿಗಳನ್ನು ಪುನರಾವರ್ತಿತ ಕ್ರಿಯಾತ್ಮಕ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಕ್ರಮಾವಳಿಗಳಾಗಿ ಹೆಚ್ಚಿಸುವ ದೃಷ್ಟಿಕೋನವನ್ನು ಪರಿಚಯಿಸಿದವು. ಅಂದರೆ, ಋಣಾತ್ಮಕ ಗ್ರೇಡಿಯಂಟ್ ದಿಕ್ಕಿನಲ್ಲಿ ಸೂಚಿಸುವ ಕಾರ್ಯವನ್ನು (ದುರ್ಬಲ ಊಹೆಯ) ಪುನರಾವರ್ತಿತವಾಗಿ ಆಯ್ಕೆ ಮಾಡುವ ಮೂಲಕ ಕಾರ್ಯ ಸ್ಥಳದ ಮೇಲೆ ವೆಚ್ಚದ ಕಾರ್ಯವನ್ನು ಉತ್ತಮಗೊಳಿಸುವ ಕ್ರಮಾವಳಿಗಳು. ವರ್ಧನೆಯ ಈ ಕ್ರಿಯಾತ್ಮಕ ಗ್ರೇಡಿಯಂಟ್ ದೃಷ್ಟಿಕೋನವು ಯಂತ್ರ ಕಲಿಕೆ ಮತ್ತು ಅಂಕಿಅಂಶಗಳ ಅನೇಕ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಹಿಂಜರಿತ ಮತ್ತು ವರ್ಗೀಕರಣವನ್ನು ಮೀರಿದ ವರ್ಧನೆಯ ಕ್ರಮಾವಳಿಗಳ ಅಭಿವೃದ್ಧಿಗೆ ಕಾರಣವಾಗಿದೆ. ಅನೌಪಚಾರಿಕ ಪರಿಚಯ (ಈ ವಿಭಾಗವು ಚೆಂಗ್ ಲಿ ಅವರ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ನ ನಿರೂಪಣೆಯನ್ನು ಅನುಸರಿಸುತ್ತದೆ.) ಇತರ ವರ್ಧಕ ವಿಧಾನಗಳಂತೆ, ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ದುರ್ಬಲ "ಕಲಿಯುವವರನ್ನು" ಒಂದೇ ಬಲವಾದ ಕಲಿಯುವವರಾಗಿ ಪುನರಾವರ್ತಿತ ಶೈಲಿಯಲ್ಲಿ ಸಂಯೋಜಿಸುತ್ತದೆ. ಕನಿಷ್ಠ-ಚದರ ಹಿಂಜರಿತ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ವಿವರಿಸುವುದು ಸುಲಭ, ಅಲ್ಲಿ ಸರಾಸರಿ ವರ್ಗ ದೋಷವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮೂಲಕ ರೂಪದ ಮೌಲ್ಯಗಳನ್ನು ಊಹಿಸಲು ಮಾದರಿಯನ್ನು "ಕಲಿಸುವುದು" ಗುರಿಯಾಗಿದೆ, ಅಲ್ಲಿ ಔಟ್ಪುಟ್ ವೇರಿಯೇಬಲ್ನ ನಿಜವಾದ ಮೌಲ್ಯಗಳ ಗಾತ್ರದ ಕೆಲವು ತರಬೇತಿ ಗುಂಪಿನ ಮೇಲೆ ಸೂಚ್ಯಂಕಗಳುಃ ನಿರೀಕ್ಷಿತ ಮೌಲ್ಯವು ಗಮನಿಸಿದ ಮೌಲ್ಯವನ್ನು ಮಾದರಿಗಳ ಸಂಖ್ಯೆಯನ್ನು ಪರಿಗಣಿಸುತ್ತದೆ. ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ನ ಪ್ರತಿಯೊಂದು ಹಂತದಲ್ಲೂ (), ಕೆಲವು ಅಪೂರ್ಣ ಮಾದರಿಗಳನ್ನು ಊಹಿಸಿಕೊಳ್ಳಿ (ಕಡಿಮೆಗೆ, ಈ ಮಾದರಿಯು ಸರಳವಾಗಿ ಹಿಂತಿರುಗಬಹುದು, ಅಲ್ಲಿ ಆರ್ಎಚ್ಎಸ್ ಸರಾಸರಿ). ಸುಧಾರಿಸಲು, ನಮ್ಮ ಅಲ್ಗಾರಿದಮ್ ಕೆಲವು ಹೊಸ ಅಂದಾಜುಗಾರರನ್ನು ಸೇರಿಸಬೇಕು. ಆದ್ದರಿಂದ, ಅಥವಾ, ಸಮಾನವಾಗಿ,. ಆದ್ದರಿಂದ, ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಉಳಿದ ಭಾಗಕ್ಕೆ ಸರಿಹೊಂದುತ್ತದೆ. ಇತರ ವರ್ಧಕ ರೂಪಾಂತರಗಳಲ್ಲಿರುವಂತೆ, ಪ್ರತಿಯೊಂದೂ ಅದರ ಪೂರ್ವವರ್ತಿಯ ದೋಷಗಳನ್ನು ಸರಿಪಡಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತದೆ. ವರ್ಗ ದೋಷವನ್ನು ಹೊರತುಪಡಿಸಿ ನಷ್ಟದ ಕಾರ್ಯಗಳಿಗೆ ಈ ಕಲ್ಪನೆಯ ಸಾಮಾನ್ಯೀಕರಣ, ಮತ್ತು ವರ್ಗೀಕರಣ ಮತ್ತು ಶ್ರೇಯಾಂಕದ ಸಮಸ್ಯೆಗಳಿಗೆ, ನಿರ್ದಿಷ್ಟ ಮಾದರಿಯ ಉಳಿದವುಗಳು ಸರಾಸರಿ ವರ್ಗ ದೋಷ (ಎಂಎಸ್ಇ) ನಷ್ಟ ಕಾರ್ಯದ (ಸಂಬಂಧಿಸಿದಂತೆ) ಋಣಾತ್ಮಕ ಇಳಿಜಾರುಗಳಿಗೆ ಅನುಪಾತದಲ್ಲಿರುತ್ತವೆ ಎಂಬ ಅವಲೋಕನದಿಂದ ಅನುಸರಿಸುತ್ತದೆಃ ಆದ್ದರಿಂದ, ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಅನ್ನು ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಅಲ್ಗಾರಿದಮ್ಗೆ ವಿಶೇಷಗೊಳಿಸಬಹುದು, ಮತ್ತು ಅದನ್ನು ಸಾಮಾನ್ಯೀಕರಿಸುವುದು ವಿಭಿನ್ನ ನಷ್ಟ ಮತ್ತು ಅದರ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು "ಪ್ಲಗ್ ಇನ್" ಮಾಡುತ್ತದೆ. ಅಲ್ಗಾರಿದಮ್ ಅನೇಕ ಮೇಲ್ವಿಚಾರಿತ ಕಲಿಕೆಯ ಸಮಸ್ಯೆಗಳಲ್ಲಿ ಔಟ್ಪುಟ್ ವೇರಿಯೇಬಲ್ ಮತ್ತು ಇನ್ಪುಟ್ ವೇರಿಯೇಬಲ್ಗಳ ವೆಕ್ಟರ್ ಇದೆ, ಇದು ಕೆಲವು ಸಂಭವನೀಯ ವಿತರಣೆಯೊಂದಿಗೆ ಪರಸ್ಪರ ಸಂಬಂಧಿಸಿದೆ. ಇನ್ಪುಟ್ ವೇರಿಯೇಬಲ್ಗಳ ಮೌಲ್ಯಗಳಿಂದ ಔಟ್ಪುಟ್ ವೇರಿಯೇಬಲ್ ಅನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿ ಅಂದಾಜು ಮಾಡುವ ಕೆಲವು ಕಾರ್ಯಗಳನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಗುರಿಯಾಗಿದೆ. ಕೆಲವು ನಷ್ಟದ ಕಾರ್ಯವನ್ನು ಪರಿಚಯಿಸುವ ಮೂಲಕ ಮತ್ತು ನಿರೀಕ್ಷೆಯಲ್ಲಿ ಅದನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮೂಲಕ ಇದನ್ನು ಔಪಚಾರಿಕಗೊಳಿಸಲಾಗುತ್ತದೆಃ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ವಿಧಾನವು ನಿಜವಾದ ಮೌಲ್ಯವನ್ನು ಊಹಿಸುತ್ತದೆ. ಇದು ಮೂಲ (ಅಥವಾ ದುರ್ಬಲ) ಕಲಿಯುವವರು ಎಂದು ಕರೆಯಲ್ಪಡುವ ಕೆಲವು ವರ್ಗದ ಕಾರ್ಯಗಳ ತೂಕದ ಮೊತ್ತದ ರೂಪದಲ್ಲಿ ಅಂದಾಜು ಮಾಡಲು ಪ್ರಯತ್ನಿಸುತ್ತದೆ. ನಮಗೆ ಸಾಮಾನ್ಯವಾಗಿ ತಿಳಿದಿರುವ ಮಾದರಿ ಮೌಲ್ಯಗಳ ಮತ್ತು ಅದಕ್ಕೆ ಅನುಗುಣವಾದ ಮೌಲ್ಯಗಳ ತರಬೇತಿ ಗುಂಪನ್ನು ನೀಡಲಾಗುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕ ಅಪಾಯವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ತತ್ವಕ್ಕೆ ಅನುಗುಣವಾಗಿ, ವಿಧಾನವು ತರಬೇತಿ ಸೆಟ್ನಲ್ಲಿ ನಷ್ಟದ ಕಾರ್ಯದ ಸರಾಸರಿ ಮೌಲ್ಯವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಅಂದಾಜು ಕಂಡುಹಿಡಿಯಲು ಪ್ರಯತ್ನಿಸುತ್ತದೆ, ಅಂದರೆ, ಪ್ರಾಯೋಗಿಕ ಅಪಾಯವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಇದು ಸ್ಥಿರವಾದ ಕಾರ್ಯವನ್ನು ಒಳಗೊಂಡಿರುವ ಒಂದು ಮಾದರಿಯೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ಅದನ್ನು ಹೆಚ್ಚಿಸುತ್ತಾ ದುರಾಸೆಯ ಶೈಲಿಯಲ್ಲಿ ವಿಸ್ತರಿಸುತ್ತದೆಃ, ಫಾರ್, ಬೇಸ್ ಲರ್ನರ್ ಫಂಕ್ಷನ್ ಎಲ್ಲಿದೆ. ದುರದೃಷ್ಟವಶಾತ್, ಅನಿಯಂತ್ರಿತ ನಷ್ಟದ ಕಾರ್ಯಕ್ಕಾಗಿ ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಅತ್ಯುತ್ತಮ ಕಾರ್ಯವನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು ಸಾಮಾನ್ಯವಾಗಿ ಗಣನೆಗೆ ಅಸಾಧ್ಯವಾದ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಯಾಗಿದೆ. ಆದ್ದರಿಂದ, ನಾವು ನಮ್ಮ ವಿಧಾನವನ್ನು ಸಮಸ್ಯೆಯ ಸರಳೀಕೃತ ಆವೃತ್ತಿಗೆ ಸೀಮಿತಗೊಳಿಸುತ್ತೇವೆ. ಈ ಕನಿಷ್ಠೀಕರಣದ ಸಮಸ್ಯೆಗೆ (ಕ್ರಿಯಾತ್ಮಕ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್) ಕಡಿದಾದ ಅವರೋಹಣ ಹಂತವನ್ನು ಅನ್ವಯಿಸುವುದು ಇದರ ಉದ್ದೇಶವಾಗಿದೆ. ಕಡಿದಾದ ಇಳಿಯುವಿಕೆಯ ಹಿಂದಿನ ಮೂಲ ಕಲ್ಪನೆಯು ಪುನರಾವರ್ತಿಸುವ ಮೂಲಕ ನಷ್ಟದ ಕಾರ್ಯದ ಸ್ಥಳೀಯ ಕನಿಷ್ಠವನ್ನು ಕಂಡುಹಿಡಿಯುವುದು. ವಾಸ್ತವವಾಗಿ, ನಷ್ಟದ ಕಾರ್ಯದ ಸ್ಥಳೀಯ ಗರಿಷ್ಠ-ವಂಶದ ದಿಕ್ಕು ಋಣಾತ್ಮಕ ಗ್ರೇಡಿಯಂಟ್ ಆಗಿದೆ. ಆದ್ದರಿಂದ, ರೇಖೀಯ ಅಂದಾಜು ಮಾನ್ಯವಾಗಿ ಉಳಿಯುವಂತಹ ಸಣ್ಣ ಮೊತ್ತವನ್ನು ಚಲಿಸುವುದುಃ ಎಲ್ಲಿ. ಸಣ್ಣ ವಿಷಯಕ್ಕೆ, ಇದು ಅದನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಸಾಬೀತುಪಡಿಸಲು, ಮೊದಲ ಕ್ರಮದವರೆಗೆ ಸ್ಥಿರ ಬಿಂದುವಿನ ಸುತ್ತ ಟೇಲರ್ ವಿಸ್ತರಣೆಯನ್ನು ಮಾಡುವ ಉದ್ದೇಶವನ್ನು ಪರಿಗಣಿಸಿ. ಇದು ಅತ್ಯಂತ ಕಡಿದಾದ ಆರೋಹಣದ ದಿಕ್ಕಾಗಿದೆ ಮತ್ತು ಆದ್ದರಿಂದ ನಾವು ಕಡಿದಾದ ಇಳಿಯುವಿಕೆಯ ದಿಕ್ಕಿನಲ್ಲಿ ಚಲಿಸಲು ವಿರುದ್ಧ ದಿಕ್ಕಿನಲ್ಲಿ (ಅಂದರೆ ಋಣಾತ್ಮಕ) ಚಲಿಸಬೇಕು. ಇದಲ್ಲದೆ, ನಷ್ಟದ ಕಾರ್ಯವು ಕನಿಷ್ಠ ಮೌಲ್ಯವನ್ನು ಹೊಂದಿರುವ ಮೌಲ್ಯವನ್ನು ಕಂಡುಹಿಡಿಯುವ ಮೂಲಕ ನಾವು ಅತ್ಯುತ್ತಮವಾಗಿಸಬಹುದುಃ ನಾವು ನಿರಂತರ ಪ್ರಕರಣವನ್ನು ಪರಿಗಣಿಸಿದರೆ, ಅಂದರೆ, ಅನಿಯಂತ್ರಿತ ಭೇದಾತ್ಮಕ ಕಾರ್ಯಗಳ ಸೆಟ್ ಎಲ್ಲಿದೆ ಎಂದು ಪರಿಗಣಿಸಿದರೆ, ನಾವು ಈ ಕೆಳಗಿನ ಸಮೀಕರಣಗಳಿಗೆ ಅನುಗುಣವಾಗಿ ಮಾದರಿಯನ್ನು ನವೀಕರಿಸುತ್ತೇವೆ. ಸೆಟ್ ಸೀಮಿತವಾದಾಗ, ನಾವು ಗ್ರೇಡಿಯಂಟ್ಗೆ ಹತ್ತಿರವಿರುವ ಕ್ಯಾಂಡಿಡೇಟ್ ಫಂಕ್ಷನ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತೇವೆ, ಇದಕ್ಕಾಗಿ ಮೇಲಿನ ಸಮೀಕರಣಗಳ ಮೇಲಿನ ಲೈನ್ ಸರ್ಚ್ನ ಸಹಾಯದಿಂದ ಗುಣಾಂಕವನ್ನು ಲೆಕ್ಕ ಹಾಕಬಹುದು. ಈ ವಿಧಾನವು ಊಹಾತ್ಮಕವಾಗಿದೆ ಮತ್ತು ಆದ್ದರಿಂದ ಕೊಟ್ಟಿರುವ ಸಮಸ್ಯೆಗೆ ನಿಖರವಾದ ಪರಿಹಾರವನ್ನು ನೀಡುವುದಿಲ್ಲ, ಬದಲಿಗೆ ಅಂದಾಜು ನೀಡುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ. ಸೂಡೊಕೋಡ್ನಲ್ಲಿ, ಸಾಮಾನ್ಯ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ವಿಧಾನವೆಂದರೆಃ ಇನ್ಪುಟ್ಃ ತರಬೇತಿಯು ಡಿಫರೆನ್ಷಿಯಬಲ್ ಲಾಸ್ ಫಂಕ್ಷನ್ ಸಂಖ್ಯೆಯ ಪುನರಾವರ್ತನೆಗಳನ್ನು ಹೊಂದಿಸುತ್ತದೆ. ಅಲ್ಗಾರಿದಮ್ಃ ಸ್ಥಿರ ಮೌಲ್ಯದೊಂದಿಗೆ ಮಾದರಿಯನ್ನು ಪ್ರಾರಂಭಿಸಿಃ ಫಾರ್ = 1 ಟುಃ ಸೂಡೋ-ರೆಸಿಡ್ಯೂಲ್ಗಳು ಎಂದು ಕರೆಯಲ್ಪಡುವವರನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಿಃ ಮೂಲ ಕಲಿಯುವವರನ್ನು (ಅಥವಾ ದುರ್ಬಲ ಕಲಿಯುವವರನ್ನು, ಉದಾಹರಣೆಗೆ. ಮರ) ಹುಸಿ-ಅವಶೇಷಗಳಿಗೆ ಸ್ಕೇಲಿಂಗ್ ಅಡಿಯಲ್ಲಿ ಮುಚ್ಚಲಾಗಿದೆ, ಅಂದರೆ. ತರಬೇತಿ ಸೆಟ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಅದನ್ನು ತರಬೇತಿ ಮಾಡಿ. ಈ ಕೆಳಗಿನ ಒಂದು ಆಯಾಮದ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುವ ಮೂಲಕ ಮಲ್ಟಿಪ್ಲೈಯರ್ ಅನ್ನು ಗಣಿಸಿಃ ಮಾದರಿಯನ್ನು ನವೀಕರಿಸಿಃ ಔಟ್ಪುಟ್ ಗ್ರೇಡಿಯಂಟ್ ಟ್ರೀ ಬೂಸ್ಟಿಂಗ್ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಅನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಮೂಲ ಕಲಿಯುವವರಾಗಿ ಸ್ಥಿರ ಗಾತ್ರದ ನಿರ್ಧಾರದ ಟ್ರೀಗಳೊಂದಿಗೆ (ವಿಶೇಷವಾಗಿ ಸಿಎಆರ್ಟಿಗಳು) ಬಳಸಲಾಗುತ್ತದೆ. ಈ ವಿಶೇಷ ಪ್ರಕರಣಕ್ಕಾಗಿ, ಫ್ರೀಡ್ಮನ್ ಪ್ರತಿ ಮೂಲ ಕಲಿಯುವವರ ಯೋಗ್ಯತೆಯ ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸುವ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ವಿಧಾನಕ್ಕೆ ಮಾರ್ಪಾಡನ್ನು ಪ್ರಸ್ತಾಪಿಸುತ್ತಾರೆ. m-th ಹಂತದಲ್ಲಿ ಸಾಮಾನ್ಯ ಗ್ರೇಡಿಯಂಟ್ ವರ್ಧನೆಯು ಹುಸಿ-ಅವಶೇಷಗಳಿಗೆ ನಿರ್ಧಾರದ ಮರಕ್ಕೆ ಸರಿಹೊಂದುತ್ತದೆ. ಅದರ ಎಲೆಗಳ ಸಂಖ್ಯೆಯಾಗಿರಲಿ. ಮರವು ಇನ್ಪುಟ್ ಜಾಗವನ್ನು ವಿಭಜಿತ ಪ್ರದೇಶಗಳಾಗಿ ವಿಭಜಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ಪ್ರದೇಶದಲ್ಲೂ ಸ್ಥಿರವಾದ ಮೌಲ್ಯವನ್ನು ಊಹಿಸುತ್ತದೆ. ಸೂಚಕ ಸಂಕೇತವನ್ನು ಬಳಸಿಕೊಂಡು, ಇನ್ಪುಟ್ x ನ ಔಟ್ಪುಟ್ ಅನ್ನು ಮೊತ್ತವಾಗಿ ಬರೆಯಬಹುದುಃ ಪ್ರದೇಶದಲ್ಲಿ ಊಹಿಸಲಾದ ಮೌಲ್ಯ ಎಲ್ಲಿದೆ. ನಂತರ ಗುಣಾಂಕಗಳನ್ನು ಕೆಲವು ಮೌಲ್ಯದಿಂದ ಗುಣಿಸಲಾಗುತ್ತದೆ, ನಷ್ಟದ ಕಾರ್ಯವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಲೈನ್ ಸರ್ಚ್ ಬಳಸಿ ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ, ಮತ್ತು ಮಾದರಿಯನ್ನು ಈ ಕೆಳಗಿನಂತೆ ನವೀಕರಿಸಲಾಗುತ್ತದೆಃ ಫ್ರೀಡ್ಮನ್ ಈ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಮಾರ್ಪಡಿಸಲು ಪ್ರಸ್ತಾಪಿಸುತ್ತಾರೆ, ಇದರಿಂದಾಗಿ ಇದು ಇಡೀ ಮರಕ್ಕೆ ಒಂದು ಬದಲು ಪ್ರತಿಯೊಂದು ಮರದ ಪ್ರದೇಶಗಳಿಗೆ ಪ್ರತ್ಯೇಕ ಅತ್ಯುತ್ತಮ ಮೌಲ್ಯವನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ. ಅವರು ಮಾರ್ಪಡಿಸಿದ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು "ಟ್ರೀಬೂಸ್ಟ್" ಎಂದು ಕರೆಯುತ್ತಾರೆ. ಟ್ರೀ-ಫಿಟ್ಟಿಂಗ್ ಕಾರ್ಯವಿಧಾನದ ಗುಣಾಂಕಗಳನ್ನು ನಂತರ ಸರಳವಾಗಿ ತಿರಸ್ಕರಿಸಬಹುದು ಮತ್ತು ಮಾದರಿ ನವೀಕರಣ ನಿಯಮವು ಆಗುತ್ತದೆಃ ಮರಗಳ ಗಾತ್ರ, ಮರಗಳಲ್ಲಿನ ಟರ್ಮಿನಲ್ ನೋಡ್ಗಳ ಸಂಖ್ಯೆ, ವಿಧಾನದ ನಿಯತಾಂಕವಾಗಿದ್ದು, ಕೈಯಲ್ಲಿ ದತ್ತಾಂಶ ಸೆಟ್ಗೆ ಸರಿಹೊಂದಿಸಬಹುದು. ಇದು ಮಾದರಿಯಲ್ಲಿನ ಅಸ್ಥಿರಗಳ ನಡುವಿನ ಪರಸ್ಪರ ಕ್ರಿಯೆಯ ಗರಿಷ್ಠ ಅನುಮತಿಸಲಾದ ಮಟ್ಟವನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ. (ನಿರ್ಧಾರ ಸ್ಟಂಪ್ಗಳೊಂದಿಗೆ), ಅಸ್ಥಿರಗಳ ನಡುವೆ ಯಾವುದೇ ಪರಸ್ಪರ ಕ್ರಿಯೆಯನ್ನು ಅನುಮತಿಸಲಾಗುವುದಿಲ್ಲ. ಮಾದರಿಯು ಎರಡು ಅಸ್ಥಿರಗಳ ನಡುವಿನ ಪರಸ್ಪರ ಕ್ರಿಯೆಯ ಪರಿಣಾಮಗಳನ್ನು ಒಳಗೊಂಡಿರಬಹುದು, ಮತ್ತು ಹೀಗೆ. ಹ್ಯಾಸ್ಟಿ ಮತ್ತು ಇತರರು. ಸಾಮಾನ್ಯವಾಗಿ ಉತ್ತೇಜಿಸಲು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಕಾಮೆಂಟ್ ಮತ್ತು ಫಲಿತಾಂಶಗಳು ಈ ಶ್ರೇಣಿಯಲ್ಲಿನ ಆಯ್ಕೆಗೆ ಸಾಕಷ್ಟು ಸೂಕ್ಷ್ಮವಲ್ಲದವು, ಅನೇಕ ಅಪ್ಲಿಕೇಶನ್ಗಳಿಗೆ ಸಾಕಾಗುವುದಿಲ್ಲ ಮತ್ತು ಅಗತ್ಯವಿರುವುದಿಲ್ಲ. ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆ ತರಬೇತಿ ಸೆಟ್ ಅನ್ನು ತುಂಬಾ ನಿಕಟವಾಗಿ ಹೊಂದಿಸುವುದು ಮಾದರಿಯ ಸಾಮಾನ್ಯೀಕರಣ ಸಾಮರ್ಥ್ಯದ ಅವನತಿಗೆ ಕಾರಣವಾಗಬಹುದು. ನಿಯಮಿತಗೊಳಿಸುವಿಕೆ ಎಂದು ಕರೆಯಲ್ಪಡುವ ಹಲವಾರು ತಂತ್ರಗಳು ಅಳವಡಿಸುವ ವಿಧಾನವನ್ನು ನಿರ್ಬಂಧಿಸುವ ಮೂಲಕ ಈ ಮಿತಿಮೀರಿದ ಪರಿಣಾಮವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತವೆ. ಒಂದು ನೈಸರ್ಗಿಕ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯ ನಿಯತಾಂಕವೆಂದರೆ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಹೆಚ್ಚಿಸುವ ಪುನರಾವರ್ತನೆಗಳ ಸಂಖ್ಯೆ ಎಂ (ಅಂದರೆ. ಮೂಲ ಕಲಿಯುವವರು ನಿರ್ಧಾರದ ಮರವಾಗಿದ್ದಾಗ ಮಾದರಿಯಲ್ಲಿರುವ ಮರಗಳ ಸಂಖ್ಯೆ). ಎಂ ಅನ್ನು ಹೆಚ್ಚಿಸುವುದರಿಂದ ತರಬೇತಿ ಸೆಟ್ನಲ್ಲಿನ ದೋಷವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ, ಆದರೆ ಅದನ್ನು ತುಂಬಾ ಹೆಚ್ಚು ಹೊಂದಿಸುವುದು ಅತಿಯಾಗಿ ಹೊಂದಿಸಲು ಕಾರಣವಾಗಬಹುದು. ಪ್ರತ್ಯೇಕ ಮೌಲ್ಯಮಾಪನ ದತ್ತಾಂಶ ಗುಂಪಿನಲ್ಲಿ ಮುನ್ಸೂಚನೆಯ ದೋಷವನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವ ಮೂಲಕ M ನ ಅತ್ಯುತ್ತಮ ಮೌಲ್ಯವನ್ನು ಹೆಚ್ಚಾಗಿ ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ. ಎಂ ಅನ್ನು ನಿಯಂತ್ರಿಸುವುದರ ಜೊತೆಗೆ, ಹಲವಾರು ಇತರ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವ ತಂತ್ರಗಳನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಮರಗಳ ಆಳವು ಕ್ರಮಬದ್ಧಗೊಳಿಸುವ ಮತ್ತೊಂದು ಮಾನದಂಡವಾಗಿದೆ. ಈ ಮೌಲ್ಯವು ಹೆಚ್ಚಾದಂತೆ, ಮಾದರಿಯು ತರಬೇತಿ ದತ್ತಾಂಶಕ್ಕೆ ಅತಿಯಾಗಿ ಹೊಂದಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆಯಿದೆ. ಕುಗ್ಗುವಿಕೆ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ವಿಧಾನದ ಒಂದು ಪ್ರಮುಖ ಭಾಗವೆಂದರೆ ಕುಗ್ಗುವಿಕೆಯ ಮೂಲಕ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವುದು, ಇದು ನವೀಕರಣ ನಿಯಮವನ್ನು ಈ ಕೆಳಗಿನಂತೆ ಮಾರ್ಪಡಿಸುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆಃ ಇಲ್ಲಿ ನಿಯತಾಂಕವನ್ನು "ಕಲಿಕೆಯ ದರ" ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ ಸಣ್ಣ ಕಲಿಕೆಯ ದರಗಳನ್ನು (ಉದಾಹರಣೆಗೆ) ಬಳಸುವುದರಿಂದ ಮಾದರಿಗಳ ಸಾಮಾನ್ಯೀಕರಣ ಸಾಮರ್ಥ್ಯದಲ್ಲಿ ನಾಟಕೀಯ ಸುಧಾರಣೆಗಳು ಕಂಡುಬರುತ್ತವೆ ಎಂದು ಕಂಡುಬಂದಿದೆ. ಆದಾಗ್ಯೂ, ಇದು ತರಬೇತಿ ಮತ್ತು ಪ್ರಶ್ನಾವಳಿಗಳೆರಡರಲ್ಲೂ ಗಣನೆಯ ಸಮಯವನ್ನು ಹೆಚ್ಚಿಸುವ ಬೆಲೆಗೆ ಬರುತ್ತದೆಃ ಕಡಿಮೆ ಕಲಿಕೆಯ ದರಕ್ಕೆ ಹೆಚ್ಚಿನ ಪುನರಾವರ್ತನೆಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ. ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಅನ್ನು ಪರಿಚಯಿಸಿದ ಸ್ವಲ್ಪ ಸಮಯದ ನಂತರ, ಫ್ರೀಡ್ಮನ್ ಅಲ್ಗಾರಿದಮ್ಗೆ ಸಣ್ಣ ಮಾರ್ಪಾಡುಗಳನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದರು, ಇದು ಬ್ರೀಮನ್ರ ಬೂಟ್ಸ್ಟ್ರ್ಯಾಪ್ ಅಗ್ರಿಗೇಷನ್ ("ಬ್ಯಾಗಿಂಗ್") ವಿಧಾನದಿಂದ ಪ್ರೇರೇಪಿಸಲ್ಪಟ್ಟಿತು. ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ಅಲ್ಗಾರಿದಮ್ನ ಪ್ರತಿ ಪುನರಾವರ್ತನೆಯಲ್ಲೂ, ಮೂಲ ಕಲಿಯುವವರು ಬದಲಿ ಇಲ್ಲದೆ ಯಾದೃಚ್ಛಿಕವಾಗಿ ಎಳೆಯಲಾದ ತರಬೇತಿ ಗುಂಪಿನ ಉಪ ಮಾದರಿಯಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳಬೇಕು ಎಂದು ಅವರು ಪ್ರಸ್ತಾಪಿಸಿದರು. ಈ ಮಾರ್ಪಾಡಿನೊಂದಿಗೆ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ನ ನಿಖರತೆಯಲ್ಲಿ ಗಣನೀಯ ಸುಧಾರಣೆಯನ್ನು ಫ್ರೀಡ್ಮನ್ ಗಮನಿಸಿದರು. ಉಪ ಮಾದರಿ ಗಾತ್ರವು ತರಬೇತಿ ಗುಂಪಿನ ಗಾತ್ರದ ಕೆಲವು ಸ್ಥಿರ ಭಾಗವಾಗಿದೆ. ಯಾವಾಗ, ಅಲ್ಗಾರಿದಮ್ ನಿರ್ಣಾಯಕವಾಗಿರುತ್ತದೆ ಮತ್ತು ಮೇಲೆ ವಿವರಿಸಿದಂತೆ ಹೋಲುತ್ತದೆ. ಅಲ್ಗಾರಿದಮ್ಗೆ ಯಾದೃಚ್ಛಿಕತೆಯನ್ನು ಪರಿಚಯಿಸುವ ಸಣ್ಣ ಮೌಲ್ಯಗಳು ಮತ್ತು ಓವರ್ಫಿಟಿಂಗ್ ಅನ್ನು ತಡೆಯಲು ಸಹಾಯ ಮಾಡುತ್ತವೆ, ಇದು ಒಂದು ರೀತಿಯ ಕ್ರಮಬದ್ಧೀಕರಣವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಅಲ್ಗಾರಿದಮ್ ಸಹ ವೇಗಗೊಳ್ಳುತ್ತದೆ, ಏಕೆಂದರೆ ಪ್ರತಿ ಪುನರಾವರ್ತನೆಯಲ್ಲೂ ರಿಗ್ರೆಷನ್ ಟ್ರೀಗಳು ಸಣ್ಣ ಡೇಟಾಸೆಟ್ಗಳಿಗೆ ಹೊಂದಿಕೊಳ್ಳಬೇಕು. ಸಣ್ಣ ಮತ್ತು ಮಧ್ಯಮ ಗಾತ್ರದ ತರಬೇತಿ ಸೆಟ್ಗಳಿಗೆ ಉತ್ತಮ ಫಲಿತಾಂಶಗಳಿಗೆ ಕಾರಣವಾಗುವ ಫ್ರೀಡ್ಮನ್ ಪಡೆದರು. ಆದ್ದರಿಂದ, ಇದನ್ನು ಸಾಮಾನ್ಯವಾಗಿ 0.5 ಎಂದು ನಿಗದಿಪಡಿಸಲಾಗಿದೆ, ಅಂದರೆ ಪ್ರತಿ ಮೂಲ ಕಲಿಯುವವರನ್ನು ನಿರ್ಮಿಸಲು ತರಬೇತಿ ಗುಂಪಿನ ಅರ್ಧವನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಅಲ್ಲದೆ, ಬ್ಯಾಗಿಂಗ್ನಲ್ಲಿರುವಂತೆ, ಸಬ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ ಮುಂದಿನ ಮೂಲ ಕಲಿಯುವವರ ನಿರ್ಮಾಣದಲ್ಲಿ ಬಳಸದ ಆ ಅವಲೋಕನಗಳ ಮೇಲಿನ ಮುನ್ಸೂಚನೆಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಮೂಲಕ ಮುನ್ಸೂಚನೆಯ ಕಾರ್ಯಕ್ಷಮತೆಯ ಸುಧಾರಣೆಯ ಚೀಲದ ಹೊರಗಿನ ದೋಷವನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಚೀಲದ ಹೊರಗಿನ ಅಂದಾಜುಗಳು ಸ್ವತಂತ್ರ ಊರ್ಜಿತಗೊಳಿಸುವ ದತ್ತಾಂಶದ ಅಗತ್ಯವನ್ನು ತಪ್ಪಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತವೆ, ಆದರೆ ಆಗಾಗ್ಗೆ ನಿಜವಾದ ಕಾರ್ಯಕ್ಷಮತೆಯ ಸುಧಾರಣೆ ಮತ್ತು ಪುನರಾವರ್ತನೆಗಳ ಅತ್ಯುತ್ತಮ ಸಂಖ್ಯೆಯನ್ನು ಕಡಿಮೆ ಅಂದಾಜು ಮಾಡುತ್ತವೆ. ಎಲೆಗಳಲ್ಲಿನ ಅವಲೋಕನಗಳ ಸಂಖ್ಯೆ ಗ್ರೇಡಿಯಂಟ್ ಟ್ರೀ ಬೂಸ್ಟಿಂಗ್ ಅನುಷ್ಠಾನಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಮರಗಳ ಟರ್ಮಿನಲ್ ನೋಡ್ಗಳಲ್ಲಿ ಕನಿಷ್ಠ ಸಂಖ್ಯೆಯ ಅವಲೋಕನಗಳನ್ನು ಸೀಮಿತಗೊಳಿಸುವ ಮೂಲಕ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯನ್ನು ಬಳಸುತ್ತವೆ. ಈ ಸಂಖ್ಯೆಯ ತರಬೇತಿ ಸೆಟ್ ನಿದರ್ಶನಗಳಿಗಿಂತ ಕಡಿಮೆ ಇರುವ ನೋಡ್ಗಳಿಗೆ ಕಾರಣವಾಗುವ ಯಾವುದೇ ವಿಭಜನೆಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸುವ ಮೂಲಕ ಮರವನ್ನು ನಿರ್ಮಿಸುವ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಇದನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಈ ಮಿತಿಯನ್ನು ಹೇರುವುದು ಎಲೆಗಳ ಮೇಲಿನ ಮುನ್ಸೂಚನೆಗಳಲ್ಲಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಮರದ ಸಂಕೀರ್ಣತೆಯನ್ನು ದಂಡಿಸುವುದು ಗ್ರೇಡಿಯಂಟ್ ವರ್ಧಿತ ಮರಗಳಿಗೆ ಮತ್ತೊಂದು ಉಪಯುಕ್ತ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವ ತಂತ್ರವೆಂದರೆ ಕಲಿತ ಮಾದರಿಯ ಮಾದರಿ ಸಂಕೀರ್ಣತೆಯನ್ನು ದಂಡಿಸುವುದು. ಮಾದರಿ ಸಂಕೀರ್ಣತೆಯನ್ನು ಕಲಿತ ಮರಗಳಲ್ಲಿನ ಎಲೆಗಳ ಪ್ರಮಾಣಾನುಗುಣ ಸಂಖ್ಯೆ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಬಹುದು. ನಷ್ಟ ಮತ್ತು ಮಾದರಿ ಸಂಕೀರ್ಣತೆಯ ಜಂಟಿ ಆಪ್ಟಿಮೈಸೇಶನ್ ನಷ್ಟವನ್ನು ಮಿತಿಯಿಂದ ಕಡಿಮೆ ಮಾಡಲು ವಿಫಲವಾದ ಶಾಖೆಗಳನ್ನು ತೆಗೆದುಹಾಕಲು ಕತ್ತರಿಸಿದ ನಂತರದ ಅಲ್ಗಾರಿದಮ್ಗೆ ಅನುರೂಪವಾಗಿದೆ. ಮಿತಿಮೀರಿದ ಹಿಡಿತವನ್ನು ತಪ್ಪಿಸಲು ಎಲೆಗಳ ಮೌಲ್ಯಗಳ ಮೇಲೆ ದಂಡದಂತಹ ಇತರ ರೀತಿಯ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯನ್ನು ಸಹ ಸೇರಿಸಬಹುದು. ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಅನ್ನು ಕಲಿಕೆಯ ಕ್ಷೇತ್ರದಲ್ಲಿ ಶ್ರೇಯಾಂಕಕ್ಕೆ ಬಳಸಬಹುದು. ವಾಣಿಜ್ಯ ವೆಬ್ ಸರ್ಚ್ ಇಂಜಿನ್ಗಳಾದ ಯಾಹೂ ಮತ್ತು ಯಾಂಡೆಕ್ಸ್ ತಮ್ಮ ಯಂತ್ರ-ಕಲಿತ ಶ್ರೇಯಾಂಕ ಎಂಜಿನ್ಗಳಲ್ಲಿ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ನ ರೂಪಾಂತರಗಳನ್ನು ಬಳಸುತ್ತವೆ. ದತ್ತಾಂಶ ವಿಶ್ಲೇಷಣೆಯಲ್ಲಿ ಹೈ ಎನರ್ಜಿ ಭೌತಶಾಸ್ತ್ರದಲ್ಲಿ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಅನ್ನು ಸಹ ಬಳಸಲಾಗುತ್ತದೆ. ಲಾರ್ಜ್ ಹ್ಯಾಡ್ರಾನ್ ಕೊಲೈಡರ್ (ಎಲ್ಎಚ್ಸಿ) ನಲ್ಲಿ, ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಡೀಪ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ಸ್ (ಡಿಎನ್ಎನ್) ನ ರೂಪಾಂತರಗಳು ಹಿಗ್ಸ್ ಬೋಸನ್ ಅನ್ನು ಕಂಡುಹಿಡಿಯಲು ಬಳಸುವ ದತ್ತಾಂಶಗಳ ವಿಶ್ಲೇಷಣೆಯ ಯಂತ್ರವಲ್ಲದ ಕಲಿಕಾ ವಿಧಾನಗಳ ಫಲಿತಾಂಶಗಳನ್ನು ಪುನರುತ್ಪಾದಿಸುವಲ್ಲಿ ಯಶಸ್ವಿಯಾದವು. ಭೂಮಿ ಮತ್ತು ಭೌಗೋಳಿಕ ಅಧ್ಯಯನಗಳಲ್ಲಿ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಡೆಸಿಷನ್ ಟ್ರೀ ಅನ್ನು ಸಹ ಅನ್ವಯಿಸಲಾಗಿದೆ-ಉದಾಹರಣೆಗೆ ಮರಳುಗಲ್ಲಿನ ಜಲಾಶಯದ ಗುಣಮಟ್ಟದ ಮೌಲ್ಯಮಾಪನ. ಹೆಸರುಗಳು ಈ ವಿಧಾನವು ವಿವಿಧ ಹೆಸರುಗಳಿಂದ ಹೋಗುತ್ತದೆ. ಫ್ರೀಡ್ಮನ್ ತನ್ನ ಹಿಂಜರಿತ ತಂತ್ರವನ್ನು "ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್ ಮೆಷಿನ್" (ಜಿಬಿಎಂ) ಎಂದು ಪರಿಚಯಿಸಿದರು. ಮೇಸನ್, ಬಾಕ್ಸ್ಟರ್ ಮತ್ತು ಇತರರು. ಕ್ರಮಾವಳಿಗಳ ಸಾಮಾನ್ಯೀಕೃತ ಅಮೂರ್ತ ವರ್ಗವನ್ನು "ಕ್ರಿಯಾತ್ಮಕ ಗ್ರೇಡಿಯಂಟ್ ಬೂಸ್ಟಿಂಗ್" ಎಂದು ವಿವರಿಸಲಾಗಿದೆ. ಫ್ರೀಡ್ಮನ್ ಮತ್ತು ಇತರರು. ಗ್ರೇಡಿಯಂಟ್ ವರ್ಧಿತ ಮಾದರಿಗಳ ಪ್ರಗತಿಯನ್ನು ಮಲ್ಟಿಪಲ್ ಅಡಿಟಿವ್ ರಿಗ್ರೆಷನ್ ಟ್ರೀಸ್ (MART) ಎಂದು ವಿವರಿಸಿ; ಎಲಿತ್ ಮತ್ತು ಇತರರು. ಆ ವಿಧಾನವನ್ನು "ಬೂಸ್ಟೆಡ್ ರಿಗ್ರೆಷನ್ ಟ್ರೀಸ್" (ಬಿಆರ್ಟಿ) ಎಂದು ವಿವರಿಸಿ. ಆರ್ ಗಾಗಿ ಜನಪ್ರಿಯ ಮುಕ್ತ-ಮೂಲ ಅನುಷ್ಠಾನವು ಇದನ್ನು "ಸಾಮಾನ್ಯೀಕೃತ ವರ್ಧಕ ಮಾದರಿ" ಎಂದು ಕರೆಯುತ್ತದೆ, ಆದಾಗ್ಯೂ ಈ ಕೆಲಸವನ್ನು ವಿಸ್ತರಿಸುವ ಪ್ಯಾಕೇಜುಗಳು ಬಿಆರ್ಟಿ ಅನ್ನು ಬಳಸುತ್ತವೆ. ಮರ-ಆಧಾರಿತ ವಿಧಾನಗಳ ಬಳಕೆಯ ಪ್ರವರ್ತಕರಲ್ಲಿ ಒಬ್ಬರಾದ ಸ್ಯಾಲ್ಫೋರ್ಡ್ ಸಿಸ್ಟಮ್ನ ಡಾನ್ ಸ್ಟೈನ್ಬರ್ಗ್ನ ಆರಂಭಿಕ ವಾಣಿಜ್ಯ ಅನುಷ್ಠಾನದ ನಂತರ ಟ್ರೀನೆಟ್ ಎಂಬುದು ಮತ್ತೊಂದು ಹೆಸರು. ಸೆಕೆಂಡ್-ಆರ್ಡರ್ ಆಪ್ಟಿಮೈಸೇಶನ್ನಂತಹ ಕೆಲವು ವಿಸ್ತರಣೆಗಳೊಂದಿಗೆ ಈ ವಿಧಾನದ ಮತ್ತೊಂದು ಜನಪ್ರಿಯ ಆಧುನಿಕ ಅನುಷ್ಠಾನವೆಂದರೆ XGBoost. ಅನಾನುಕೂಲಗಳು ಹೆಚ್ಚಿಸುವಿಕೆಯು ಮೂಲ ಕಲಿಯುವವರ ನಿಖರತೆಯನ್ನು ಹೆಚ್ಚಿಸಬಹುದು, ಉದಾಹರಣೆಗೆ ನಿರ್ಧಾರದ ಮರ ಅಥವಾ ರೇಖೀಯ ಹಿಂಜರಿತ, ಇದು ಬುದ್ಧಿವಂತಿಕೆ ಮತ್ತು ಅರ್ಥವಿವರಣೆಯನ್ನು ತ್ಯಾಗ ಮಾಡುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಒಂದು ನಿರ್ಧಾರದ ಮರವು ತನ್ನ ನಿರ್ಧಾರವನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ತೆಗೆದುಕೊಳ್ಳುವ ಮಾರ್ಗವನ್ನು ಅನುಸರಿಸುವುದು ಕ್ಷುಲ್ಲಕ ಮತ್ತು ಸ್ವಯಂ-ವಿವರಿಸಲ್ಪಟ್ಟಿದೆ, ಆದರೆ ನೂರಾರು ಅಥವಾ ಸಾವಿರಾರು ಮರಗಳ ಮಾರ್ಗಗಳನ್ನು ಅನುಸರಿಸುವುದು ತುಂಬಾ ಕಷ್ಟ. ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಅರ್ಥವಿವರಣೆ ಎರಡನ್ನೂ ಸಾಧಿಸಲು, ಕೆಲವು ಮಾದರಿ ಸಂಕೋಚನ ತಂತ್ರಗಳು XGBoost ಅನ್ನು ಒಂದೇ ನಿರ್ಧಾರದ ಕಾರ್ಯವನ್ನು ಅಂದಾಜು ಮಾಡುವ ಒಂದೇ "ಬಾರ್ನ್-ಎಗೇನ್" ನಿರ್ಧಾರದ ಮರವಾಗಿ ಪರಿವರ್ತಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಇದಲ್ಲದೆ, ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟೇಶನಲ್ ಬೇಡಿಕೆಯಿಂದಾಗಿ ಅದರ ಅನುಷ್ಠಾನವು ಹೆಚ್ಚು ಕಷ್ಟಕರವಾಗಬಹುದು. ಅಡಾಬೂಸ್ಟ್ ಯಾದೃಚ್ಛಿಕ ಅರಣ್ಯ ಕ್ಯಾಟ್ಬೂಸ್ಟ್ ಲೈಟ್ಜಿಬಿಎಂ ಎಕ್ಸ್ಜಿಬಿಓಸ್ಟ್ ನಿರ್ಧಾರ ಮರ ಕಲಿಕೆಯ ಉಲ್ಲೇಖಗಳು ಮತ್ತಷ್ಟು ಓದುವಿಕೆ ಬಾಹ್ಯ ಕೊಂಡಿಗಳು ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಉತ್ತೇಜಿಸುವ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಹೇಗೆ ವಿವರಿಸುವುದು ಬೂಸ್ಟ್ ರಿಗ್ರೆಷನ್ ಮರಗಳು ಲೈಟ್ಜಿಬಿಎಂ ವರ್ಗೀಕರಣ ಕ್ರಮಾವಳಿಗಳು ನಿರ್ಧಾರ ಮರಗಳು ಎನ್ಸೆಂಬಲ್ ಲರ್ನಿಂಗ್