Backpropagation
ಯಂತ್ರ-ಕಲಿಕೆಯ ಅಲ್ಗಾರಿದಮ್ ಆಗಿ, ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ನರ ಜಾಲದ ಮಾದರಿಯ ನಿಯತಾಂಕಗಳನ್ನು ಸರಿಹೊಂದಿಸಲು ಬ್ಯಾಕ್ವರ್ಡ್ ಪಾಸ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ, ಇದು ಸರಾಸರಿ ಸ್ಕ್ವೇರ್ಡ್ ದೋಷವನ್ನು (ಎಂಎಸ್ಇ) ಕಡಿಮೆ ಮಾಡುವ ಗುರಿಯನ್ನು ಹೊಂದಿದೆ. ಬಹು-ಪದರದ ಜಾಲದಲ್ಲಿ, ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಈ ಕೆಳಗಿನ ಹಂತಗಳನ್ನು ಬಳಸುತ್ತದೆಃ ಅನುಕ್ರಮವಾದ ಗುಪ್ತ ಪದರಗಳ ಔಟ್ಪುಟ್ಗಳನ್ನು ಮತ್ತು ಅಂತಿಮವಾಗಿ ಅಂತಿಮ ಪದರದ ಔಟ್ಪುಟ್ ಅನ್ನು (ಫೀಡ್ ಫಾರ್ವರ್ಡ್ ಹಂತ) ಲೆಕ್ಕಾಚಾರ ಮಾಡುವ ಮೂಲಕ ಇನ್ಪುಟ್ನಿಂದ ಮುನ್ಸೂಚನೆಯ ಔಟ್ಪುಟ್ಗೆ ಮಾದರಿಯ ಮೂಲಕ ತರಬೇತಿ ಡೇಟಾವನ್ನು ಪ್ರಸಾರ ಮಾಡಿ. ತೂಕಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ದೋಷವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಮಾದರಿ ತೂಕವನ್ನು ಸರಿಹೊಂದಿಸಿ. ದೋಷವು ಸಾಮಾನ್ಯವಾಗಿ ಮುನ್ಸೂಚನೆ ಮತ್ತು ಗುರಿಯ ನಡುವಿನ ವರ್ಗ ವ್ಯತ್ಯಾಸವಾಗಿದೆ. ಪ್ರತಿ ತೂಕಕ್ಕೂ, ದೋಷದ ಇಳಿಜಾರು ಅಥವಾ ವ್ಯುತ್ಪನ್ನವು ಕಂಡುಬರುತ್ತದೆ, ಮತ್ತು ಕನಿಷ್ಠ-ದೋಷದ ಸಂರಚನೆಯ ಕಡೆಗೆ ಕೆಳಮುಖವಾಗಿ ಹೋಗಲು ತೂಕವನ್ನು ಈ ವ್ಯುತ್ಪನ್ನದ ಋಣಾತ್ಮಕ ಗುಣಾಕಾರದಿಂದ ಸರಿಹೊಂದಿಸಲಾಗುತ್ತದೆ. ಈ ವ್ಯುತ್ಪನ್ನವನ್ನು ಅಂತಿಮ ಪದರದ ತೂಕಗಳಿಗೆ ಲೆಕ್ಕಹಾಕುವುದು ಸುಲಭ, ಮತ್ತು ಮುಂದಿನ ಪದರದ ವ್ಯುತ್ಪನ್ನಗಳನ್ನು ನೀಡಿದರೆ ಒಂದು ಪದರಕ್ಕೆ ಲೆಕ್ಕಹಾಕಲು ಸಾಧ್ಯವಿದೆ. ಕೊನೆಯಲ್ಲಿ ಪ್ರಾರಂಭಿಸಿ, ನಂತರ, ವ್ಯುತ್ಪನ್ನಗಳನ್ನು ಪ್ರಾರಂಭದ ಕಡೆಗೆ ಪದರದಿಂದ ಪದರಕ್ಕೆ ಲೆಕ್ಕ ಹಾಕಲಾಗುತ್ತದೆ-ಹೀಗೆ "ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್". ತೂಕಗಳು ಒಮ್ಮುಖವಾಗುವವರೆಗೆ ಅಥವಾ ಮಾದರಿಯು ಸಾಕಷ್ಟು ಪುನರಾವರ್ತನೆಗಳಿಗೆ ಒಳಗಾಗುವವರೆಗೆ ಪದೇ ಪದೇ ನವೀಕರಿಸಿ. ಇದು ಅಂತಹ ಜಾಲಗಳಿಗೆ ಲೀಬ್ನಿಜ್ ಸರಪಳಿ ನಿಯಮದ (1673) ಸಮರ್ಥ ಅನ್ವಯವಾಗಿದೆ. ಸೆಪ್ಪೋ ಲಿನ್ನೈನ್ಮಾ (1970) ಕಾರಣದಿಂದಾಗಿ ಇದನ್ನು ಸ್ವಯಂಚಾಲಿತ ಭೇದ ಅಥವಾ ಹಿಮ್ಮುಖ ಶೇಖರಣೆಯ ಹಿಮ್ಮುಖ ವಿಧಾನ ಎಂದೂ ಕರೆಯಲಾಗುತ್ತದೆ. "ಬ್ಯಾಕ್-ಪ್ರೊಪಗೇಟಿಂಗ್ ಎರರ್ ಕರೆಕ್ಷನ್" ಎಂಬ ಪದವನ್ನು 1962 ರಲ್ಲಿ ಫ್ರಾಂಕ್ ರೋಸೆನ್ಬ್ಲಾಟ್ ಅವರು ಪರಿಚಯಿಸಿದರು, ಆದರೆ ಇದನ್ನು ಹೇಗೆ ಕಾರ್ಯಗತಗೊಳಿಸಬೇಕು ಎಂದು ಅವರಿಗೆ ತಿಳಿದಿರಲಿಲ್ಲ, ಹೆನ್ರಿ ಜೆ. ಕೆಲ್ಲಿ ಈಗಾಗಲೇ 1960 ರಲ್ಲಿ ನಿಯಂತ್ರಣ ಸಿದ್ಧಾಂತದ ಸಂದರ್ಭದಲ್ಲಿ ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ನ ನಿರಂತರ ಪೂರ್ವಸೂಚಕವನ್ನು ಹೊಂದಿದ್ದರೂ ಸಹ. ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಒಂದೇ ಇನ್ಪುಟ್-ಔಟ್ಪುಟ್ ಉದಾಹರಣೆಗಾಗಿ ನೆಟ್ವರ್ಕ್ನ ತೂಕಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ನಷ್ಟದ ಕಾರ್ಯದ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ ಮತ್ತು ಅದನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಮಾಡುತ್ತದೆ, ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಒಂದು ಸಮಯದಲ್ಲಿ ಒಂದು ಪದರವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ, ಸರಪಳಿ ನಿಯಮದಲ್ಲಿ ಮಧ್ಯಂತರ ಪದಗಳ ಅನಗತ್ಯ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ತಪ್ಪಿಸಲು ಕೊನೆಯ ಪದರದಿಂದ ಹಿಂದಕ್ಕೆ ಪುನರಾವರ್ತಿಸುತ್ತದೆ; ಇದನ್ನು ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಮೂಲಕ ಪಡೆಯಬಹುದು. ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್, ಅಥವಾ ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ನಂತಹ ರೂಪಾಂತರಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ. ಕಟ್ಟುನಿಟ್ಟಾಗಿ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಎಂಬ ಪದವು ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಮಾತ್ರ ಸೂಚಿಸುತ್ತದೆ, ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಹೇಗೆ ಬಳಸಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಅಲ್ಲ; ಆದರೆ ಈ ಪದವನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಸಂಪೂರ್ಣ ಕಲಿಕೆಯ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸಲು ಸಡಿಲವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ-ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಹೇಗೆ ಬಳಸಲಾಗುತ್ತದೆ, ಉದಾಹರಣೆಗೆ ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್. 1986ರಲ್ಲಿ ಡೇವಿಡ್ ಇ. ರುಮೆಲ್ಹಾರ್ಟ್ ಮತ್ತು ಇತರರು. ಈ ತಂತ್ರದ ಪ್ರಾಯೋಗಿಕ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಪ್ರಕಟಿಸಿದರು. ಇದು ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ನ ಜನಪ್ರಿಯತೆಗೆ ಕೊಡುಗೆ ನೀಡಿತು ಮತ್ತು ಬಹು ಪದರದ ಪರ್ಸೆಪ್ಟ್ರಾನ್ಗಳಲ್ಲಿ ಸಕ್ರಿಯ ಅವಧಿಯ ಸಂಶೋಧನೆಯನ್ನು ಪ್ರಾರಂಭಿಸಲು ಸಹಾಯ ಮಾಡಿತು. ಅವಲೋಕನ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ನಷ್ಟದ ಕಾರ್ಯಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಫೀಡ್ ಫಾರ್ವರ್ಡ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ನ ತೂಕದ ಸ್ಥಳದಲ್ಲಿನ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ. ಸೂಚಿಸಿಃಃ ಇನ್ಪುಟ್ (ವೈಶಿಷ್ಟ್ಯಗಳ ವಾಹಕ): ಗುರಿ ಔಟ್ಪುಟ್ ವರ್ಗೀಕರಣಕ್ಕಾಗಿ, ಔಟ್ಪುಟ್ ವರ್ಗ ಸಂಭವನೀಯತೆಗಳ ವಾಹಕವಾಗಿರುತ್ತದೆ (ಉದಾಹರಣೆಗೆ, ಮತ್ತು ಗುರಿ ಔಟ್ಪುಟ್ ಒಂದು ನಿರ್ದಿಷ್ಟ ವರ್ಗವಾಗಿದ್ದು, ಒನ್-ಹಾಟ್/ಡಮ್ಮಿ ವೇರಿಯೇಬಲ್ನಿಂದ ಎನ್ಕೋಡ್ ಮಾಡಲ್ಪಟ್ಟಿದೆ (ಉದಾಹರಣೆಗೆ,). : ಲಾಸ್ ಫಂಕ್ಷನ್ ಅಥವಾ "ಕಾಸ್ಟ್ ಫಂಕ್ಷನ್" ವರ್ಗೀಕರಣಕ್ಕಾಗಿ, ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಕ್ರಾಸ್-ಎಂಟ್ರೊಪಿ (ಎಕ್ಸ್ಸಿ, ಲಾಗ್ ಲಾಸ್) ಆಗಿರುತ್ತದೆ, ಆದರೆ ರಿಗ್ರೆಷನ್ಗೆ ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಸ್ಕ್ವೇರ್ಡ್ ಎರರ್ ಲಾಸ್ (ಎಸ್ಇಎಲ್) ಆಗಿರುತ್ತದೆ. : ಪದರಗಳ ಸಂಖ್ಯೆಃ ಪದರದ ನಡುವಿನ ತೂಕ ಮತ್ತು, ಪದರದಲ್ಲಿ-th ನೋಡ್ ಮತ್ತು ಪದರದಲ್ಲಿ-th ನೋಡ್ ನಡುವಿನ ತೂಕ ಎಲ್ಲಿಃ ಪದರದಲ್ಲಿ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯಗಳು ವರ್ಗೀಕರಣಕ್ಕಾಗಿ ಕೊನೆಯ ಪದರವು ಸಾಮಾನ್ಯವಾಗಿ ಬೈನರಿ ವರ್ಗೀಕರಣಕ್ಕೆ ಲಾಜಿಸ್ಟಿಕ್ ಕಾರ್ಯವಾಗಿದೆ, ಮತ್ತು ಬಹು-ವರ್ಗದ ವರ್ಗೀಕರಣಕ್ಕೆ ಸಾಫ್ಟ್ಮ್ಯಾಕ್ಸ್ (ಸಾಫ್ಟಾರ್ಗ್ಮ್ಯಾಕ್ಸ್), ಆದರೆ ಗುಪ್ತ ಪದರಗಳಿಗೆ ಇದು ಸಾಂಪ್ರದಾಯಿಕವಾಗಿ ಪ್ರತಿ ನೋಡ್ನಲ್ಲಿ (ನಿರ್ದೇಶಾಂಕ) ಸಿಗ್ಮಾಯ್ಡ್ ಕಾರ್ಯವಾಗಿತ್ತು (ಲಾಜಿಸ್ಟಿಕ್ ಕಾರ್ಯ ಅಥವಾ ಇತರರು), ಆದರೆ ಇಂದು ಹೆಚ್ಚು ವೈವಿಧ್ಯಮಯವಾಗಿದೆ, ರೆಕ್ಟಿಫೈಯರ್ (ರಾಂಪ್, ರೆಲ್ಯು) ಸಾಮಾನ್ಯವಾಗಿದೆ. : ಪದರದಲ್ಲಿ-th ನೋಡ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವುದು. ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ನ ವ್ಯುತ್ಪತ್ತಿಯಲ್ಲಿ, ಇತರ ಮಧ್ಯಂತರ ಪ್ರಮಾಣಗಳನ್ನು ಕೆಳಗೆ ಅಗತ್ಯವಿರುವಂತೆ ಪರಿಚಯಿಸುವ ಮೂಲಕ ಬಳಸಲಾಗುತ್ತದೆ. ಪಕ್ಷಪಾತದ ಪದಗಳನ್ನು ವಿಶೇಷವಾಗಿ ಪರಿಗಣಿಸಲಾಗುವುದಿಲ್ಲ ಏಕೆಂದರೆ ಅವು 1 ರ ಸ್ಥಿರ ಇನ್ಪುಟ್ನೊಂದಿಗೆ ತೂಕಕ್ಕೆ ಅನುಗುಣವಾಗಿರುತ್ತವೆ. ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ಗೆ ನಿರ್ದಿಷ್ಟ ನಷ್ಟದ ಕಾರ್ಯ ಮತ್ತು ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯಗಳು ಅವು ಮತ್ತು ಅವುಗಳ ಉತ್ಪನ್ನಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವವರೆಗೆ ಅಪ್ರಸ್ತುತವಾಗುತ್ತವೆ. ಸಾಂಪ್ರದಾಯಿಕ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯಗಳಲ್ಲಿ ಸಿಗ್ಮಾಯ್ಡ್, ತಾನ್ ಮತ್ತು ಆರ್ಇಎಲ್ಯು ಸೇರಿವೆ. ಸ್ವಿಶ್ ಮಿಷ್ ಮತ್ತು ಇತರ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯಗಳನ್ನು ಸಹ ಪ್ರಸ್ತಾಪಿಸಲಾಗಿದೆ. ಒಟ್ಟಾರೆ ಜಾಲವು ಕಾರ್ಯ ಸಂಯೋಜನೆ ಮತ್ತು ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರದ ಸಂಯೋಜನೆಯಾಗಿದೆಃ ತರಬೇತಿ ಸೆಟ್ಗೆ ಇನ್ಪುಟ್-ಔಟ್ಪುಟ್ ಜೋಡಿಗಳ ಒಂದು ಸೆಟ್ ಇರುತ್ತದೆ. ತರಬೇತಿ ಸೆಟ್ನಲ್ಲಿ ಪ್ರತಿ ಇನ್ಪುಟ್-ಔಟ್ಪುಟ್ ಜೋಡಿಗೆ, ಆ ಜೋಡಿಯಲ್ಲಿನ ಮಾದರಿಯ ನಷ್ಟವು ಊಹಿಸಲಾದ ಔಟ್ಪುಟ್ ಮತ್ತು ಗುರಿ ಔಟ್ಪುಟ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸದ ವೆಚ್ಚವಾಗಿದೆಃ ವ್ಯತ್ಯಾಸವನ್ನು ಗಮನಿಸಿಃ ಮಾದರಿ ಮೌಲ್ಯಮಾಪನದ ಸಮಯದಲ್ಲಿ ತೂಕವನ್ನು ನಿಗದಿಪಡಿಸಲಾಗುತ್ತದೆ ಆದರೆ ಇನ್ಪುಟ್ಗಳು ಬದಲಾಗುತ್ತವೆ (ಮತ್ತು ಗುರಿ ಔಟ್ಪುಟ್ ತಿಳಿದಿಲ್ಲದಿರಬಹುದು), ಮತ್ತು ನೆಟ್ವರ್ಕ್ ಔಟ್ಪುಟ್ ಪದರದೊಂದಿಗೆ ಕೊನೆಗೊಳ್ಳುತ್ತದೆ (ಇದು ನಷ್ಟ ಕಾರ್ಯವನ್ನು ಒಳಗೊಂಡಿರುವುದಿಲ್ಲ). ಮಾದರಿ ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಇನ್ಪುಟ್-ಔಟ್ಪುಟ್ ಜೋಡಿಯನ್ನು ನಿಗದಿಪಡಿಸಲಾಗುತ್ತದೆ, ಆದರೆ ತೂಕಗಳು ಬದಲಾಗುತ್ತವೆ, ಮತ್ತು ಜಾಲವು ನಷ್ಟದ ಕಾರ್ಯದೊಂದಿಗೆ ಕೊನೆಗೊಳ್ಳುತ್ತದೆ. ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಸ್ಥಿರ ಇನ್ಪುಟ್-ಔಟ್ಪುಟ್ ಜೋಡಿಗೆ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ, ಅಲ್ಲಿ ತೂಕಗಳು ಬದಲಾಗಬಹುದು. ಗ್ರೇಡಿಯಂಟ್ನ ಪ್ರತಿಯೊಂದು ಪ್ರತ್ಯೇಕ ಘಟಕವನ್ನು ಸರಪಳಿ ನಿಯಮದಿಂದ ಲೆಕ್ಕ ಹಾಕಬಹುದು; ಆದರೆ ಪ್ರತಿ ತೂಕಕ್ಕೂ ಪ್ರತ್ಯೇಕವಾಗಿ ಇದನ್ನು ಮಾಡುವುದು ಅಸಮರ್ಥವಾಗಿದೆ. ಪ್ರತಿ ಪದರದ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು-ನಿರ್ದಿಷ್ಟವಾಗಿ ಪ್ರತಿ ಪದರದ ತೂಕದ ಇನ್ಪುಟ್ನ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು-ಹಿಂಭಾಗದಿಂದ ಮುಂಭಾಗಕ್ಕೆ ಸೂಚಿಸುವ ಮೂಲಕ-ಲೆಕ್ಕ ಹಾಕುವ ಮೂಲಕ, ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ನಕಲು ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ತಪ್ಪಿಸುವ ಮೂಲಕ ಮತ್ತು ಅನಗತ್ಯ ಮಧ್ಯಂತರ ಮೌಲ್ಯಗಳನ್ನು ಲೆಕ್ಕ ಮಾಡದೆ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ. ಅನೌಪಚಾರಿಕವಾಗಿ, ಪ್ರಮುಖ ಅಂಶವೆಂದರೆ ತೂಕವು ನಷ್ಟದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವ ಏಕೈಕ ಮಾರ್ಗವೆಂದರೆ ಮುಂದಿನ ಪದರದ ಮೇಲೆ ಅದರ ಪರಿಣಾಮದ ಮೂಲಕ, ಮತ್ತು ಅದು ರೇಖೀಯವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆಯಾದ್ದರಿಂದ, ಪದರದಲ್ಲಿ ತೂಕದ ಇಳಿಜಾರುಗಳನ್ನು ನೀವು ಲೆಕ್ಕಾಚಾರ ಮಾಡಬೇಕಾದ ಏಕೈಕ ದತ್ತಾಂಶವಾಗಿದೆ, ಮತ್ತು ನಂತರ ಹಿಂದಿನ ಪದರವನ್ನು ಲೆಕ್ಕ ಹಾಕಬಹುದು ಮತ್ತು ಪುನರಾವರ್ತಿಸಬಹುದು. ಇದು ಎರಡು ರೀತಿಯಲ್ಲಿ ಅಸಮರ್ಥತೆಯನ್ನು ತಪ್ಪಿಸುತ್ತದೆ. ಮೊದಲನೆಯದಾಗಿ, ಇದು ನಕಲು ಮಾಡುವುದನ್ನು ತಪ್ಪಿಸುತ್ತದೆ ಏಕೆಂದರೆ ಪದರದಲ್ಲಿ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವಾಗ-ಪ್ರತಿ ಬಾರಿಯೂ ನಂತರದ ಪದರಗಳಲ್ಲಿ ಎಲ್ಲಾ ಉತ್ಪನ್ನಗಳನ್ನು ಮರು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದು ಅನಗತ್ಯವಾಗಿದೆ. ಎರಡನೆಯದಾಗಿ, ಇದು ಅನಗತ್ಯ ಮಧ್ಯಂತರ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ತಪ್ಪಿಸುತ್ತದೆ, ಏಕೆಂದರೆ ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಇದು ತೂಕದಲ್ಲಿನ ಬದಲಾವಣೆಗಳಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಗುಪ್ತ ಪದರಗಳ ಮೌಲ್ಯಗಳ ಉತ್ಪನ್ನಗಳನ್ನು ಅನಗತ್ಯವಾಗಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡುವ ಬದಲು, ಅಂತಿಮ ಉತ್ಪಾದನೆಗೆ (ನಷ್ಟ) ಸಂಬಂಧಿಸಿದಂತೆ ತೂಕದ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ನೇರವಾಗಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ. ಸರಳ ಫೀಡ್ ಫಾರ್ವರ್ಡ್ ಜಾಲಗಳಿಗೆ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರದ ಪರಿಭಾಷೆಯಲ್ಲಿ ಅಥವಾ ಹೆಚ್ಚು ಸಾಮಾನ್ಯವಾಗಿ ಪಕ್ಕದ ರೇಖಾಚಿತ್ರದ ಪರಿಭಾಷೆಯಲ್ಲಿ ಹಿನ್ನೋಟವನ್ನು ವ್ಯಕ್ತಪಡಿಸಬಹುದು. ಪ್ರತಿ ಪದರದಲ್ಲಿನ ನೋಡ್ಗಳು ತಕ್ಷಣದ ಮುಂದಿನ ಪದರದಲ್ಲಿರುವ ನೋಡ್ಗಳಿಗೆ ಮಾತ್ರ ಸಂಪರ್ಕ ಹೊಂದಿರುವ (ಯಾವುದೇ ಪದರಗಳನ್ನು ಬಿಟ್ಟುಬಿಡದೆ) ಮತ್ತು ಅಂತಿಮ ಔಟ್ಪುಟ್ಗೆ ಸ್ಕೇಲಾರ್ ನಷ್ಟವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವ ನಷ್ಟ ಕಾರ್ಯವಿರುವ ಫೀಡ್ ಫಾರ್ವರ್ಡ್ ನೆಟ್ವರ್ಕ್ನ ಮೂಲ ಸಂದರ್ಭದಲ್ಲಿ, ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಅನ್ನು ಸರಳವಾಗಿ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರದಿಂದ ಅರ್ಥೈಸಿಕೊಳ್ಳಬಹುದು. ಮೂಲಭೂತವಾಗಿ, ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್, ಪ್ರತಿ ಪದರದ ನಡುವಿನ ತೂಕದ ಗ್ರೇಡಿಯಂಟ್ ಭಾಗಶಃ ಉತ್ಪನ್ನಗಳ ಸರಳ ಮಾರ್ಪಾಡಾಗುವುದರೊಂದಿಗೆ ("ಬ್ಯಾಕ್ವರ್ಡ್ ಪ್ರೊಪಗೇಟೆಡ್ ಎರರ್") ಬಲದಿಂದ ಎಡಕ್ಕೆ-"ಬ್ಯಾಕ್ವರ್ಡ್"-ನಡುವಿನ ಉತ್ಪನ್ನಗಳ ಉತ್ಪನ್ನವಾಗಿ ವೆಚ್ಚದ ಕ್ರಿಯೆಯ ವ್ಯುತ್ಪತ್ತಿಯ ಅಭಿವ್ಯಕ್ತಿಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ. ಇನ್ಪುಟ್-ಔಟ್ಪುಟ್ ಜೋಡಿಯನ್ನು ನೀಡಿದರೆ, ನಷ್ಟವೆಂದರೆಃ ಇದನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು, ಒಬ್ಬರು ಇನ್ಪುಟ್ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸುತ್ತಾರೆ ಮತ್ತು ಮುಂದೆ ಕೆಲಸ ಮಾಡುತ್ತಾರೆ; ಪ್ರತಿ ಗುಪ್ತ ಪದರದ ತೂಕದ ಇನ್ಪುಟ್ ಅನ್ನು ಮತ್ತು ಗುಪ್ತ ಪದರದ ಔಟ್ಪುಟ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ಗಾಗಿ, ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಉತ್ಪನ್ನಗಳನ್ನು (ಮೌಲ್ಯಮಾಪನ) ಬ್ಯಾಕ್ವರ್ಡ್ ಪಾಸ್ ಸಮಯದಲ್ಲಿ ಬಳಸಲು ಕ್ಯಾಶ್ ಮಾಡಬೇಕು. ಇನ್ಪುಟ್ಗಳ ಪರಿಭಾಷೆಯಲ್ಲಿ ನಷ್ಟದ ವ್ಯುತ್ಪನ್ನವನ್ನು ಸರಪಳಿ ನಿಯಮದಿಂದ ನೀಡಲಾಗುತ್ತದೆ; ಪ್ರತಿ ಪದವು ಒಟ್ಟು ವ್ಯುತ್ಪನ್ನವಾಗಿದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ, ಇನ್ಪುಟ್ನಲ್ಲಿನ ಜಾಲದ ಮೌಲ್ಯದಲ್ಲಿ (ಪ್ರತಿ ನೋಡ್ನಲ್ಲಿ) ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುತ್ತದೆಃ ಅಲ್ಲಿ ಕರ್ಣೀಯ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಆಗಿದೆ. ಈ ಪದಗಳೆಂದರೆಃ ನಷ್ಟ ಕಾರ್ಯದ ವ್ಯುತ್ಪನ್ನ; ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯಗಳ ವ್ಯುತ್ಪನ್ನಗಳು; ಮತ್ತು ತೂಕದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ಗಳು-ಗ್ರೇಡಿಯಂಟ್ ಎಂದರೆ ಇನ್ಪುಟ್ನ ಪರಿಭಾಷೆಯಲ್ಲಿ ಔಟ್ಪುಟ್ನ ವ್ಯುತ್ಪನ್ನದ ವರ್ಗಾವಣೆಯಾಗಿದೆ, ಆದ್ದರಿಂದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ಗಳನ್ನು ವರ್ಗಾಯಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಗುಣಾಕಾರದ ಕ್ರಮವನ್ನು ಹಿಮ್ಮುಖಗೊಳಿಸಲಾಗುತ್ತದೆ, ಆದರೆ ನಮೂದುಗಳು ಒಂದೇ ಆಗಿರುತ್ತವೆಃ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ನಂತರ ಮೂಲಭೂತವಾಗಿ ಈ ಅಭಿವ್ಯಕ್ತಿಯನ್ನು ಬಲದಿಂದ ಎಡಕ್ಕೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ (ಸಮಾನವಾಗಿ, ವ್ಯುತ್ಪನ್ನಕ್ಕಾಗಿ ಹಿಂದಿನ ಅಭಿವ್ಯಕ್ತಿಯನ್ನು ಎಡದಿಂದ ಬಲಕ್ಕೆ ಗುಣಿಸುವುದು), ದಾರಿಯಲ್ಲಿ ಪ್ರತಿ ಪದರದಲ್ಲಿ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದು; ಹೆಚ್ಚುವರಿ ಹಂತವಿದೆ, ಏಕೆಂದರೆ ತೂಕದ ಗ್ರೇಡಿಯಂಟ್ ಕೇವಲ ಉಪ ಅಭಿವ್ಯಕ್ತಿಯಲ್ಲಃ ಹೆಚ್ಚುವರಿ ಗುಣಾಕಾರವಿದೆ. ಭಾಗಶಃ ಉತ್ಪನ್ನಗಳಿಗೆ (ಬಲದಿಂದ ಎಡಕ್ಕೆ ಗುಣಿಸಿದಾಗ) ಸಹಾಯಕ ಪ್ರಮಾಣವನ್ನು ಪರಿಚಯಿಸುವುದು, ಇದನ್ನು "ಮಟ್ಟದ ದೋಷ" ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ ಮತ್ತು ಮಟ್ಟದಲ್ಲಿ ಇನ್ಪುಟ್ ಮೌಲ್ಯಗಳ ಗ್ರೇಡಿಯಂಟ್ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆಃ ಇದು ವೆಕ್ಟರ್, ಇದು ಮಟ್ಟದಲ್ಲಿ ನೋಡ್ಗಳ ಸಂಖ್ಯೆಗೆ ಸಮನಾಗಿರುತ್ತದೆ; ಪ್ರತಿ ಘಟಕವನ್ನು "ಆ ನೋಡ್ಗೆ (ಮೌಲ್ಯಕ್ಕೆ) ಕಾರಣವಾಗುವ ವೆಚ್ಚ" ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ. ಪದರದಲ್ಲಿನ ತೂಕದ ಇಳಿಜಾರು ಹೀಗಿರುತ್ತದೆಃ ಏಕೆಂದರೆ ಮಟ್ಟ ಮತ್ತು ಪರಿಣಾಮದ ನಡುವಿನ ತೂಕವು ಒಳಹರಿವುಗಳಿಗೆ (ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆಗಳು) ಅನುಪಾತದಲ್ಲಿರುತ್ತದೆಃ ಒಳಹರಿವುಗಳು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ, ತೂಕಗಳು ಬದಲಾಗುತ್ತವೆ. ಇದನ್ನು ಸುಲಭವಾಗಿ ಪುನರಾವರ್ತಿತವಾಗಿ ಲೆಕ್ಕ ಹಾಕಬಹುದು, ಬಲದಿಂದ ಎಡಕ್ಕೆ ಹೋಗಬಹುದು, ಹೀಗೆಃ ತೂಕದ ಇಳಿಜಾರುಗಳನ್ನು ಪ್ರತಿ ಹಂತಕ್ಕೂ ಕೆಲವು ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಲೆಕ್ಕ ಹಾಕಬಹುದು; ಇದು ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಆಗಿದೆ. ನಿಷ್ಕಪಟವಾಗಿ ಫಾರ್ವರ್ಡ್ಗಳನ್ನು ಗಣಿಸುವುದಕ್ಕೆ ಹೋಲಿಸಿದರೆ (ವಿವರಣೆಗಾಗಿ ಬಳಸುವುದು): ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ನಲ್ಲಿ ಎರಡು ಪ್ರಮುಖ ವ್ಯತ್ಯಾಸಗಳಿವೆಃ ಗಣನೆಯ ಪರಿಭಾಷೆಯಲ್ಲಿ ಪದರಗಳು ಮತ್ತು ಅದರಾಚೆಗಿನ ಸ್ಪಷ್ಟ ನಕಲು ಗುಣಾಕಾರವನ್ನು ತಪ್ಪಿಸುತ್ತದೆ. ಮೊದಲಿನಿಂದ ಗುಣಿಸುವುದು-ದೋಷವನ್ನು ಹಿಂದಕ್ಕೆ ಹರಡುವುದು-ಎಂದರೆ ಪ್ರತಿ ಹಂತವು ವೇಕ್ಟರ್ () ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆಗಳ ತೂಕ ಮತ್ತು ಉತ್ಪನ್ನಗಳ ಮ್ಯಾಟ್ರಿಕ್ಸ್ಗಳಿಂದ ಸರಳವಾಗಿ ಗುಣಿಸುತ್ತದೆ. ಇದಕ್ಕೆ ವ್ಯತಿರಿಕ್ತವಾಗಿ, ಹಿಂದಿನ ಪದರದಲ್ಲಿನ ಬದಲಾವಣೆಗಳಿಂದ ಪ್ರಾರಂಭಿಸಿ, ಮುಂದಕ್ಕೆ ಗುಣಿಸುವುದು ಎಂದರೆ, ಪ್ರತಿ ಗುಣಾಕಾರವು ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಮ್ಯಾಟ್ರಿಕ್ಸ್ನಿಂದ ಗುಣಿಸುತ್ತದೆ ಎಂದರ್ಥ. ಇದು ಹೆಚ್ಚು ದುಬಾರಿಯಾಗಿದೆ, ಮತ್ತು ಪದರದಲ್ಲಿನ ಬದಲಾವಣೆಗಳಿಗೆ (ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆಗಳ ಉತ್ಪನ್ನಗಳಿಗೆ ಹೆಚ್ಚುವರಿ ಗುಣಾಕಾರಗಳೊಂದಿಗೆ ಗುಣಿಸಲು) ಒಂದು ಪದರದಲ್ಲಿನ ಬದಲಾವಣೆಯ ಪ್ರತಿಯೊಂದು ಸಂಭವನೀಯ ಮಾರ್ಗವನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಲು ಅನುರೂಪವಾಗಿದೆ, ಇದು ತೂಕದ ಬದಲಾವಣೆಗಳು ಹೇಗೆ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ ಎಂಬುದರ ಮಧ್ಯಂತರ ಪ್ರಮಾಣಗಳನ್ನು ಅನಗತ್ಯವಾಗಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ. ಹೆಚ್ಚಿನ ಸಾಮಾನ್ಯ ಗ್ರಾಫ್ಗಳು ಮತ್ತು ಇತರ ಮುಂದುವರಿದ ವ್ಯತ್ಯಾಸಗಳಿಗಾಗಿ, ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ ಅನ್ನು ಸ್ವಯಂಚಾಲಿತ ವ್ಯತ್ಯಾಸದ ಪರಿಭಾಷೆಯಲ್ಲಿ ಅರ್ಥೈಸಿಕೊಳ್ಳಬಹುದು, ಅಲ್ಲಿ ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ ಎಂಬುದು ರಿವರ್ಸ್ ಶೇಖರಣೆಯ (ಅಥವಾ "ರಿವರ್ಸ್ ಮೋಡ್") ವಿಶೇಷ ಪ್ರಕರಣವಾಗಿದೆ. ಅಂತಃಪ್ರಜ್ಞೆ ಪ್ರೇರಣೆ ಯಾವುದೇ ಮೇಲ್ವಿಚಾರಿತ ಕಲಿಕೆಯ ಅಲ್ಗಾರಿದಮ್ನ ಗುರಿಯು ಒಳಹರಿವಿನ ಗುಂಪನ್ನು ಅವುಗಳ ಸರಿಯಾದ ಔಟ್ಪುಟ್ಗೆ ಅತ್ಯುತ್ತಮವಾಗಿ ನಕ್ಷೆ ಮಾಡುವ ಕಾರ್ಯವನ್ನು ಕಂಡುಹಿಡಿಯುವುದು. ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ಗೆ ಪ್ರೇರಣೆಯೆಂದರೆ ಬಹು-ಪದರದ ನರ ಜಾಲಕ್ಕೆ ತರಬೇತಿ ನೀಡುವುದು, ಅದು ಔಟ್ಪುಟ್ಗೆ ಇನ್ಪುಟ್ನ ಯಾವುದೇ ಅನಿಯಂತ್ರಿತ ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ಕಲಿಯಲು ಅನುವು ಮಾಡಿಕೊಡಲು ಸೂಕ್ತವಾದ ಆಂತರಿಕ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಕಲಿಯಬಹುದು. ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಯಾಗಿ ಕಲಿಕೆ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಅಲ್ಗಾರಿದಮ್ನ ಗಣಿತದ ವ್ಯುತ್ಪತ್ತಿಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು, ನಿರ್ದಿಷ್ಟ ತರಬೇತಿ ಉದಾಹರಣೆಗಾಗಿ ನರಕೋಶದ ನಿಜವಾದ ಔಟ್ಪುಟ್ ಮತ್ತು ಸರಿಯಾದ ಔಟ್ಪುಟ್ ನಡುವಿನ ಸಂಬಂಧದ ಬಗ್ಗೆ ಸ್ವಲ್ಪ ಅಂತಃಪ್ರಜ್ಞೆಯನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು ಇದು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಎರಡು ಇನ್ಪುಟ್ ಘಟಕಗಳು, ಒಂದು ಔಟ್ಪುಟ್ ಘಟಕ ಮತ್ತು ಯಾವುದೇ ಗುಪ್ತ ಘಟಕಗಳಿಲ್ಲದ ಸರಳ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ ಅನ್ನು ಪರಿಗಣಿಸಿ, ಮತ್ತು ಇದರಲ್ಲಿ ಪ್ರತಿ ನ್ಯೂರಾನ್ ರೇಖೀಯ ಔಟ್ಪುಟ್ ಅನ್ನು ಬಳಸುತ್ತದೆ (ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ಗಳಲ್ಲಿನ ಹೆಚ್ಚಿನ ಕೆಲಸಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ಇದರಲ್ಲಿ ಇನ್ಪುಟ್ಗಳಿಂದ ಔಟ್ಪುಟ್ಗಳಿಗೆ ಮ್ಯಾಪಿಂಗ್ ರೇಖೀಯವಲ್ಲ) ಅದು ಅದರ ಇನ್ಪುಟ್ನ ತೂಕದ ಮೊತ್ತವಾಗಿದೆ. ಆರಂಭದಲ್ಲಿ, ತರಬೇತಿಯ ಮೊದಲು, ತೂಕವನ್ನು ಯಾದೃಚ್ಛಿಕವಾಗಿ ನಿಗದಿಪಡಿಸಲಾಗುತ್ತದೆ. ನಂತರ ನರಕೋಶವು ತರಬೇತಿ ಉದಾಹರಣೆಗಳಿಂದ ಕಲಿಯುತ್ತದೆ, ಇದು ಈ ಸಂದರ್ಭದಲ್ಲಿ ಜಾಲಬಂಧಕ್ಕೆ ಎಲ್ಲಿ ಮತ್ತು ಎಲ್ಲಿ ಇನ್ಪುಟ್ಗಳಾಗಿರುತ್ತವೆ ಮತ್ತು ಸರಿಯಾದ ಔಟ್ಪುಟ್ ಅನ್ನು ಹೊಂದಿರುತ್ತದೆ (ಆ ಇನ್ಪುಟ್ಗಳನ್ನು ನೀಡಿದಾಗ ಜಾಲಬಂಧವು ಉತ್ಪಾದಿಸಬೇಕಾದ ಔಟ್ಪುಟ್, ಅದನ್ನು ತರಬೇತಿ ಮಾಡಿದಾಗ). ಆರಂಭಿಕ ಜಾಲವು, ನೀಡಲಾದ ಮತ್ತು, ಬಹುಶಃ ಭಿನ್ನವಾದ ಔಟ್ಪುಟ್ ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ (ಯಾದೃಚ್ಛಿಕ ತೂಕವನ್ನು ನೀಡಲಾಗಿದೆ). ಗುರಿ ಔಟ್ಪುಟ್ ಮತ್ತು ಕಂಪ್ಯೂಟೆಡ್ ಔಟ್ಪುಟ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಅಳೆಯಲು ಲಾಸ್ ಫಂಕ್ಷನ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಹಿಂಜರಿತ ವಿಶ್ಲೇಷಣೆ ಸಮಸ್ಯೆಗಳಿಗೆ ಸ್ಕ್ವೇರ್ಡ್ ಎರರ್ ಅನ್ನು ನಷ್ಟದ ಕಾರ್ಯವಾಗಿ ಬಳಸಬಹುದು, ವರ್ಗೀಕರಣಕ್ಕಾಗಿ ವರ್ಗೀಕರಣದ ಕ್ರಾಸ್-ಎಂಟ್ರೊಪಿಯನ್ನು ಬಳಸಬಹುದು. ಉದಾಹರಣೆಗೆ, ಚದರ ದೋಷವನ್ನು ಬಳಸಿಕೊಂಡು ಹಿಂಜರಿತದ ಸಮಸ್ಯೆಯನ್ನು ನಷ್ಟವೆಂದು ಪರಿಗಣಿಸಿಃ ವ್ಯತ್ಯಾಸ ಅಥವಾ ದೋಷ ಎಲ್ಲಿದೆ. ಒಂದೇ ತರಬೇತಿ ಸಂದರ್ಭದಲ್ಲಿ ಜಾಲಬಂಧವನ್ನು ಪರಿಗಣಿಸಿಃ ಹೀಗಾಗಿ, ಇನ್ಪುಟ್ ಮತ್ತು ಅನುಕ್ರಮವಾಗಿ 1 ಮತ್ತು 1 ಮತ್ತು ಸರಿಯಾದ ಔಟ್ಪುಟ್, 0 ಆಗಿದೆ. ಈಗ ಸಮತಲ ಅಕ್ಷದ ಮೇಲೆ ಜಾಲಬಂಧದ ಔಟ್ಪುಟ್ ಮತ್ತು ಲಂಬ ಅಕ್ಷದ ಮೇಲಿನ ದೋಷದ ನಡುವೆ ಸಂಬಂಧವನ್ನು ರೂಪಿಸಿದರೆ, ಫಲಿತಾಂಶವು ಪ್ಯಾರಾಬೋಲಾ ಆಗಿರುತ್ತದೆ. ಪ್ಯಾರಾಬೋಲಾದ ಕನಿಷ್ಠವು ದೋಷವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಔಟ್ಪುಟ್ಗೆ ಅನುರೂಪವಾಗಿದೆ. ಒಂದೇ ತರಬೇತಿ ಪ್ರಕರಣಕ್ಕಾಗಿ, ಕನಿಷ್ಠವು ಸಮತಲ ಅಕ್ಷವನ್ನು ಸಹ ಮುಟ್ಟುತ್ತದೆ, ಅಂದರೆ ದೋಷವು ಶೂನ್ಯವಾಗಿರುತ್ತದೆ ಮತ್ತು ಜಾಲವು ಗುರಿ ಔಟ್ಪುಟ್ಗೆ ನಿಖರವಾಗಿ ಹೊಂದಿಕೆಯಾಗುವ ಔಟ್ಪುಟ್ ಅನ್ನು ಉತ್ಪಾದಿಸಬಹುದು. ಆದ್ದರಿಂದ, ಇನ್ಪುಟ್ಗಳನ್ನು ಔಟ್ಪುಟ್ಗಳಿಗೆ ಮ್ಯಾಪ್ ಮಾಡುವ ಸಮಸ್ಯೆಯನ್ನು ಕನಿಷ್ಠ ದೋಷವನ್ನು ಉಂಟುಮಾಡುವ ಕಾರ್ಯವನ್ನು ಕಂಡುಹಿಡಿಯುವ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಯಾಗಿ ಕಡಿಮೆ ಮಾಡಬಹುದು. ಆದಾಗ್ಯೂ, ನರಕೋಶದ ಉತ್ಪಾದನೆಯು ಅದರ ಎಲ್ಲಾ ಇನ್ಪುಟ್ಗಳ ತೂಕದ ಮೊತ್ತವನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆಃ ಇನ್ಪುಟ್ ಘಟಕಗಳಿಂದ ಔಟ್ಪುಟ್ ಘಟಕಕ್ಕೆ ಸಂಪರ್ಕದ ಮೇಲಿನ ತೂಕಗಳು ಎಲ್ಲಿವೆ ಮತ್ತು ಯಾವುವು. ಆದ್ದರಿಂದ, ದೋಷವು ನರಕೋಶಕ್ಕೆ ಒಳಬರುವ ತೂಕದ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ, ಇದು ಅಂತಿಮವಾಗಿ ಕಲಿಕೆಯನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಲು ಜಾಲದಲ್ಲಿ ಬದಲಾಯಿಸಬೇಕಾದ ಅಗತ್ಯವಿರುತ್ತದೆ. ಈ ಉದಾಹರಣೆಯಲ್ಲಿ, ತರಬೇತಿ ದತ್ತಾಂಶವನ್ನು ಚುಚ್ಚಿದ ನಂತರ, ನಷ್ಟದ ಕಾರ್ಯವು ಪ್ಯಾರಾಬೊಲಿಕ್ ಸಿಲಿಂಡರ್ನ ರೂಪವನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಅದರ ಬೇಸ್ ಅನ್ನು ನಿರ್ದೇಶಿಸುತ್ತದೆ. ತೃಪ್ತಿಪಡಿಸುವ ಎಲ್ಲಾ ತೂಕದ ಸೆಟ್ಗಳು ನಷ್ಟದ ಕಾರ್ಯವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತವೆಯಾದ್ದರಿಂದ, ಈ ಸಂದರ್ಭದಲ್ಲಿ ಒಂದು ಅನನ್ಯ ಪರಿಹಾರಕ್ಕೆ ಒಗ್ಗೂಡಲು ಹೆಚ್ಚುವರಿ ನಿರ್ಬಂಧಗಳು ಬೇಕಾಗುತ್ತವೆ. ತೂಕಕ್ಕೆ ನಿರ್ದಿಷ್ಟ ಷರತ್ತುಗಳನ್ನು ನಿಗದಿಪಡಿಸುವ ಮೂಲಕ ಅಥವಾ ಹೆಚ್ಚುವರಿ ತರಬೇತಿ ದತ್ತಾಂಶವನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ಹೆಚ್ಚುವರಿ ನಿರ್ಬಂಧಗಳನ್ನು ಸೃಷ್ಟಿಸಬಹುದು. ದೋಷವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ತೂಕಗಳ ಗುಂಪನ್ನು ಕಂಡುಹಿಡಿಯಲು ಸಾಮಾನ್ಯವಾಗಿ ಬಳಸುವ ಅಲ್ಗಾರಿದಮ್ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಆಗಿದೆ. ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಮೂಲಕ, ಪ್ರಸ್ತುತ ಸಿನಾಪ್ಟಿಕ್ ತೂಕಗಳ ವಿರುದ್ಧ ನಷ್ಟದ ಕಾರ್ಯದ ಕಡಿದಾದ ಇಳಿಯುವಿಕೆಯ ದಿಕ್ಕನ್ನು ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ. ನಂತರ, ತೂಕವನ್ನು ಕಡಿದಾದ ಇಳಿಜಾರಿನ ದಿಕ್ಕಿನಲ್ಲಿ ಮಾರ್ಪಡಿಸಬಹುದು, ಮತ್ತು ದೋಷವನ್ನು ಸಮರ್ಥ ರೀತಿಯಲ್ಲಿ ಕಡಿಮೆ ಮಾಡಲಾಗುತ್ತದೆ. ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ವಿಧಾನವು ಜಾಲಬಂಧದ ತೂಕಗಳಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ನಷ್ಟದ ಕಾರ್ಯದ ವ್ಯುತ್ಪತ್ತಿಯನ್ನು ಲೆಕ್ಕ ಹಾಕುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಇದನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ ಬಳಸಿ ಮಾಡಲಾಗುತ್ತದೆ. ಒಂದು ಔಟ್ಪುಟ್ ನ್ಯೂರಾನ್ ಅನ್ನು ಊಹಿಸಿಕೊಂಡರೆ, ಸ್ಕ್ವೇರ್ಡ್ ಎರರ್ ಕಾರ್ಯವು ಔಟ್ಪುಟ್ ಮತ್ತು ಗುರಿ ಮೌಲ್ಯದ ನಷ್ಟವಾಗಿದೆ, ಇದು ತರಬೇತಿ ಮಾದರಿಯ ಗುರಿ ಔಟ್ಪುಟ್ ಆಗಿದೆ ಮತ್ತು ಔಟ್ಪುಟ್ ನ್ಯೂರಾನ್ನ ನಿಜವಾದ ಔಟ್ಪುಟ್ ಆಗಿದೆ. ಪ್ರತಿ ನ್ಯೂರಾನ್ಗೆ, ಅದರ ಔಟ್ಪುಟ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯವು ರೇಖಾತ್ಮಕವಲ್ಲದ ಮತ್ತು ಸಕ್ರಿಯಗೊಳಿಸುವ ಪ್ರದೇಶದ ಮೇಲೆ ಭೇದಿಸಬಲ್ಲದು ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ (ಒಂದು ಹಂತದಲ್ಲಿ ಆರ್ಇಎಲ್ಯು ಅನ್ನು ಭೇದಿಸಲಾಗುವುದಿಲ್ಲ). ಐತಿಹಾಸಿಕವಾಗಿ ಬಳಸಲಾಗುವ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯವು ಲಾಜಿಸ್ಟಿಕ್ ಕಾರ್ಯವಾಗಿದೆಃ ಇದು ಅನುಕೂಲಕರ ವ್ಯುತ್ಪನ್ನವನ್ನು ಹೊಂದಿದೆಃ ನ್ಯೂರಾನ್ಗೆ ಇನ್ಪುಟ್ ಹಿಂದಿನ ನ್ಯೂರಾನ್ಗಳ ಉತ್ಪನ್ನಗಳ ತೂಕದ ಮೊತ್ತವಾಗಿದೆ. ಇನ್ಪುಟ್ ಪದರದ ನಂತರ ನ್ಯೂರಾನ್ ಮೊದಲ ಪದರದಲ್ಲಿದ್ದರೆ, ಇನ್ಪುಟ್ ಪದರದ ಇನ್ಪುಟ್ಗಳು ಕೇವಲ ಜಾಲಬಂಧಕ್ಕೆ ಇನ್ಪುಟ್ಗಳಾಗಿವೆ. ನರಕೋಶಕ್ಕೆ ಇನ್ಪುಟ್ ಘಟಕಗಳ ಸಂಖ್ಯೆ. ವೇರಿಯೇಬಲ್ ಹಿಂದಿನ ಪದರದ ನರಕೋಶ ಮತ್ತು ಪ್ರಸ್ತುತ ಪದರದ ನರಕೋಶದ ನಡುವಿನ ತೂಕವನ್ನು ಸೂಚಿಸುತ್ತದೆ. ದೋಷದ ವ್ಯುತ್ಪನ್ನವನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಒಂದು ತೂಕಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ದೋಷದ ಭಾಗಶಃ ವ್ಯುತ್ಪನ್ನವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದನ್ನು ಸರಪಳಿ ನಿಯಮವನ್ನು ಎರಡು ಬಾರಿ ಬಳಸಿ ಮಾಡಲಾಗುತ್ತದೆಃ ಮೇಲಿನ ಬಲಭಾಗದ ಕೊನೆಯ ಅಂಶದಲ್ಲಿ, ಮೊತ್ತದಲ್ಲಿ ಕೇವಲ ಒಂದು ಪದವು ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ, ಆದ್ದರಿಂದ ನ್ಯೂರಾನ್ ಇನ್ಪುಟ್ ಪದರದ ನಂತರ ಮೊದಲ ಪದರದಲ್ಲಿದ್ದರೆ, ಅದು ನ್ಯಾಯಯುತವಾಗಿರುತ್ತದೆ. ಅದರ ಇನ್ಪುಟ್ಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ನರಕೋಶದ ಔಟ್ಪುಟ್ನ ವ್ಯುತ್ಪನ್ನವು ಕೇವಲ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕ್ರಿಯೆಯ ಭಾಗಶಃ ವ್ಯುತ್ಪನ್ನವಾಗಿದೆಃ ಇದು ಲಾಜಿಸ್ಟಿಕ್ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕ್ರಿಯೆಗೆ ಕಾರಣವಾಗಿದೆ. (ಆದಾಗ್ಯೂ, 0 ರಲ್ಲಿ ಭೇದಿಸಲಾಗದ ಆರ್ಇಎಲ್ಯು ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯವು ಸಾಕಷ್ಟು ಜನಪ್ರಿಯವಾಗಿದೆ, ಉದಾಹರಣೆಗೆ. ಅಲೆಕ್ಸ್ನೆಟ್ನಲ್ಲಿ) ನರಕೋಶವು ಔಟ್ಪುಟ್ ಪದರದಲ್ಲಿದೆಯೇ ಎಂದು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಮೊದಲ ಅಂಶವು ನೇರವಾಗಿರುತ್ತದೆ, ಏಕೆಂದರೆ ನಂತರ ಮತ್ತು ಚದರ ದೋಷದ ಅರ್ಧವನ್ನು ನಷ್ಟದ ಕಾರ್ಯವಾಗಿ ಬಳಸಿದರೆ ನಾವು ಅದನ್ನು ಹೀಗೆ ಪುನಃ ಬರೆಯಬಹುದು. ಇನ್ಪುಟ್ಗಳನ್ನು ನ್ಯೂರಾನ್ನಿಂದ ಇನ್ಪುಟ್ ಸ್ವೀಕರಿಸುವ ಎಲ್ಲಾ ನ್ಯೂರಾನ್ಗಳೊಂದಿಗೆ ಒಂದು ಕಾರ್ಯವೆಂದು ಪರಿಗಣಿಸಿ, ಮತ್ತು ಅದಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಒಟ್ಟು ವ್ಯುತ್ಪನ್ನವನ್ನು ತೆಗೆದುಕೊಳ್ಳುವುದರಿಂದ, ವ್ಯುತ್ಪತ್ತಿಗೆ ಪುನರಾವರ್ತಿತ ಅಭಿವ್ಯಕ್ತಿಯನ್ನು ಪಡೆಯಲಾಗುತ್ತದೆಃ ಆದ್ದರಿಂದ, ಮುಂದಿನ ಪದರದ ಔಟ್ಪುಟ್ಗಳಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಎಲ್ಲಾ ವ್ಯುತ್ಪನ್ನಗಳು-ಔಟ್ಪುಟ್ ನ್ಯೂರಾನ್ಗೆ ಹತ್ತಿರವಿರುವವುಗಳು-ತಿಳಿದಿದ್ದರೆ ಅದಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ವ್ಯುತ್ಪನ್ನವನ್ನು ಲೆಕ್ಕ ಹಾಕಬಹುದು. [ಗಮನಿಸಿ, ಗುಂಪಿನಲ್ಲಿರುವ ಯಾವುದೇ ನ್ಯೂರಾನ್ಗಳು ನ್ಯೂರಾನ್ಗೆ ಸಂಪರ್ಕ ಹೊಂದಿಲ್ಲದಿದ್ದರೆ, ಅವು ಸ್ವತಂತ್ರವಾಗಿರುತ್ತವೆ ಮತ್ತು ಸಂಕಲನದ ಅಡಿಯಲ್ಲಿ ಅನುಗುಣವಾದ ಭಾಗಶಃ ವ್ಯುತ್ಪನ್ನವು 0 ಕ್ಕೆ ಕಣ್ಮರೆಯಾಗುತ್ತದೆ.] ಸಬ್ಸ್ಟಿಟ್ಯೂಟಿಂಗ್, ಮತ್ತು ಇದರಲ್ಲಿ ನಾವು ಪಡೆಯುತ್ತೇವೆಃ ಇಫ್ ಎಂಬುದು ಲಾಜಿಸ್ಟಿಕ್ ಫಂಕ್ಷನ್, ಮತ್ತು ದೋಷವು ಸ್ಕ್ವೇರ್ ಎರರ್ ಆಗಿದೆಃ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ತೂಕವನ್ನು ನವೀಕರಿಸಲು, ಒಬ್ಬರು ಕಲಿಕೆಯ ದರವನ್ನು ಆಯ್ಕೆ ಮಾಡಬೇಕು,. ತೂಕದಲ್ಲಿನ ಬದಲಾವಣೆಯು ತೂಕದಲ್ಲಿ ಹೆಚ್ಚಳ ಅಥವಾ ಇಳಿಕೆಯ ಪರಿಣಾಮವನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ಅಗತ್ಯವಿದೆ. ಹೆಚ್ಚಾದರೆ, ಹೆಚ್ಚಾಗುತ್ತದೆ; ಇದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ, ಕಡಿಮೆಯಾದರೆ, ಹೆಚ್ಚಾಗುತ್ತದೆ. ಹೊಸದನ್ನು ಹಳೆಯ ತೂಕಕ್ಕೆ ಸೇರಿಸಲಾಗುತ್ತದೆ, ಮತ್ತು ಕಲಿಕೆಯ ದರ ಮತ್ತು ಗ್ರೇಡಿಯಂಟ್ನ ಉತ್ಪನ್ನವನ್ನು ಯಾವಾಗಲೂ ಕಡಿಮೆಯಾಗುವ ರೀತಿಯಲ್ಲಿ ಬದಲಾಗುವ ಖಾತರಿಗಳಿಂದ ಗುಣಿಸಲಾಗುತ್ತದೆ. ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ತಕ್ಷಣವೇ ಕೆಳಗಿನ ಸಮೀಕರಣದಲ್ಲಿ, ಯಾವಾಗಲೂ ಕಡಿಮೆಯಾಗುವ ರೀತಿಯಲ್ಲಿ ಬದಲಾಗುತ್ತದೆಃ ಎರಡನೇ-ಕ್ರಮಾಂಕದ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ದೋಷ ಕಾರ್ಯದ ಎರಡನೇ-ಕ್ರಮಾಂಕದ ಉತ್ಪನ್ನಗಳ ಹೆಸ್ಸಿಯನ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು, ಲೆವೆನ್ಬರ್ಗ್-ಮಾರ್ಕ್ವಾರ್ಡ್ ಅಲ್ಗಾರಿದಮ್ ಸಾಮಾನ್ಯವಾಗಿ ಮೊದಲ-ಕ್ರಮಾಂಕದ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ಗಿಂತ ವೇಗವಾಗಿ ಒಮ್ಮುಖವಾಗುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ದೋಷ ಕಾರ್ಯದ ಟೋಪೋಲಜಿ ಸಂಕೀರ್ಣವಾದಾಗ. ಇದು ಸಣ್ಣ ನೋಡ್ ಎಣಿಕೆಗಳಲ್ಲಿ ಪರಿಹಾರಗಳನ್ನು ಕಂಡುಕೊಳ್ಳಬಹುದು, ಇದಕ್ಕಾಗಿ ಇತರ ವಿಧಾನಗಳು ಒಮ್ಮುಖವಾಗದಿರಬಹುದು. ಫಿಶರ್ ಮಾಹಿತಿ ಮ್ಯಾಟ್ರಿಕ್ಸ್ನಿಂದ ಹೆಸ್ಸಿಯನ್ ಅನ್ನು ಅಂದಾಜು ಮಾಡಬಹುದು. ನಷ್ಟದ ಕಾರ್ಯವು ಒಂದು ಅಥವಾ ಹೆಚ್ಚಿನ ಅಸ್ಥಿರಗಳ ಮೌಲ್ಯಗಳನ್ನು ಆ ಮೌಲ್ಯಗಳಿಗೆ ಸಂಬಂಧಿಸಿದ ಕೆಲವು "ವೆಚ್ಚ" ವನ್ನು ಅಂತರ್ಬೋಧೆಯಿಂದ ಪ್ರತಿನಿಧಿಸುವ ನೈಜ ಸಂಖ್ಯೆಯ ಮೇಲೆ ನಕ್ಷೆ ಮಾಡುವ ಕಾರ್ಯವಾಗಿದೆ. ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ಗಾಗಿ, ನಷ್ಟದ ಕಾರ್ಯವು ಜಾಲಬಂಧದ ಮೂಲಕ ಪ್ರಸಾರವಾದ ತರಬೇತಿ ಉದಾಹರಣೆಯ ನಂತರ ಜಾಲಬಂಧದ ಔಟ್ಪುಟ್ ಮತ್ತು ಅದರ ನಿರೀಕ್ಷಿತ ಔಟ್ಪುಟ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ. ಊಹೆಗಳು ನಷ್ಟದ ಕಾರ್ಯದ ಗಣಿತದ ಅಭಿವ್ಯಕ್ತಿಯು ಎರಡು ಷರತ್ತುಗಳನ್ನು ಪೂರೈಸಬೇಕು, ಅದನ್ನು ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ನಲ್ಲಿ ಬಳಸಬಹುದಾಗಿದೆ. ಮೊದಲನೆಯದು, ವೈಯಕ್ತಿಕ ತರಬೇತಿ ಉದಾಹರಣೆಗಳಿಗಾಗಿ, ಇದನ್ನು ಸರಾಸರಿ ಓವರ್ ಎರರ್ ಫಂಕ್ಷನ್ಗಳಾಗಿ ಬರೆಯಬಹುದು. ಈ ಊಹೆಗೆ ಕಾರಣವೆಂದರೆ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಅಲ್ಗಾರಿದಮ್ ಒಂದೇ ತರಬೇತಿ ಉದಾಹರಣೆಗಾಗಿ ದೋಷ ಕಾರ್ಯದ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ, ಇದನ್ನು ಒಟ್ಟಾರೆ ದೋಷ ಕಾರ್ಯಕ್ಕೆ ಸಾಮಾನ್ಯೀಕರಿಸಬೇಕಾಗಿದೆ. ಎರಡನೆಯ ಊಹೆ ಏನೆಂದರೆ, ಇದನ್ನು ನರ ಜಾಲದಿಂದ ಬರುವ ಉತ್ಪನ್ನಗಳ ಕಾರ್ಯವೆಂದು ಬರೆಯಬಹುದು. ಉದಾಹರಣೆ ನಷ್ಟ ಕಾರ್ಯವು ವಾಹಕಗಳಾಗಿರಲಿ. ಎರಡು ಉತ್ಪನ್ನಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಅಳೆಯುವ ದೋಷ ಕಾರ್ಯವನ್ನು ಆಯ್ಕೆ ಮಾಡಿ. ವಾಹಕಗಳ ನಡುವಿನ ಯುಕ್ಲಿಡಿಯನ್ ಅಂತರದ ಚೌಕವು ಪ್ರಮಾಣಿತ ಆಯ್ಕೆಯಾಗಿದೆ ಮತ್ತುಃ ತರಬೇತಿ ಉದಾಹರಣೆಗಳ ಮೇಲಿನ ದೋಷ ಕಾರ್ಯವನ್ನು ನಂತರ ಪ್ರತ್ಯೇಕ ಉದಾಹರಣೆಗಳ ಮೇಲಿನ ನಷ್ಟಗಳ ಸರಾಸರಿ ಎಂದು ಬರೆಯಬಹುದುಃ ಮಿತಿಗಳು ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ನೊಂದಿಗೆ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ದೋಷ ಕಾರ್ಯದ ಜಾಗತಿಕ ಕನಿಷ್ಠವನ್ನು ಕಂಡುಹಿಡಿಯಲು ಖಾತರಿಪಡಿಸುವುದಿಲ್ಲ, ಆದರೆ ಸ್ಥಳೀಯ ಕನಿಷ್ಠ ಮಾತ್ರ; ಅಲ್ಲದೆ, ದೋಷ ಕಾರ್ಯ ಭೂದೃಶ್ಯದಲ್ಲಿ ಪ್ರಸ್ಥಭೂಮಿಗಳನ್ನು ದಾಟುವಲ್ಲಿ ಇದು ತೊಂದರೆ ಹೊಂದಿದೆ. ನರ ಜಾಲಗಳಲ್ಲಿನ ದೋಷ ಕಾರ್ಯಗಳ ಸಂವಹನವಿಲ್ಲದ ಕಾರಣ ಉಂಟಾಗುವ ಈ ಸಮಸ್ಯೆಯನ್ನು ದೀರ್ಘಕಾಲದವರೆಗೆ ಪ್ರಮುಖ ನ್ಯೂನತೆಯೆಂದು ಭಾವಿಸಲಾಗಿತ್ತು, ಆದರೆ ಯಾನ್ ಲೆಕನ್ ಮತ್ತು ಇತರರು. ಅನೇಕ ಪ್ರಾಯೋಗಿಕ ಸಮಸ್ಯೆಗಳಲ್ಲಿ, ಅದು ಇಲ್ಲ ಎಂದು ವಾದಿಸುತ್ತಾರೆ. ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಕಲಿಕೆಗೆ ಇನ್ಪುಟ್ ವಾಹಕಗಳ ಸಾಮಾನ್ಯೀಕರಣದ ಅಗತ್ಯವಿರುವುದಿಲ್ಲ; ಆದಾಗ್ಯೂ, ಸಾಮಾನ್ಯೀಕರಣವು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸಬಹುದು. ಬ್ಯಾಕ್ಪ್ರೊಪಾಗೇಷನ್ಗೆ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯಗಳ ಉತ್ಪನ್ನಗಳನ್ನು ಜಾಲಬಂಧ ವಿನ್ಯಾಸದ ಸಮಯದಲ್ಲಿ ತಿಳಿದುಕೊಳ್ಳುವ ಅಗತ್ಯವಿದೆ. ನೆಸ್ಟೆಡ್ ಡಿಫರೆನ್ಷಿಯೇಬಲ್ ಫಂಕ್ಷನ್ಗಳ ಪ್ರತ್ಯೇಕ ಸಂಪರ್ಕಿತ ಜಾಲಗಳಿಗಾಗಿ ಸೆಪ್ಪೋ ಲಿನ್ನೈನ್ಮಾದ ಸ್ವಯಂಚಾಲಿತ ಡಿಫರೆನ್ಷಿಯೇಷನ್ನ (1970) ರಿವರ್ಸ್ ಮೋಡ್ ಆಧುನಿಕ ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ ಆಗಿದೆ. ಇದು ಅಂತಹ ಜಾಲಗಳಿಗೆ ಸರಪಳಿ ನಿಯಮದ (1673ರಲ್ಲಿ ಗಾಟ್ಫ್ರೈಡ್ ವಿಲ್ಹೆಲ್ಮ್ ಲೆಬ್ನಿಜ್ನಿಂದ ವ್ಯುತ್ಪನ್ನಗೊಂಡಿದೆ) ಸಮರ್ಥ ಅನ್ವಯವಾಗಿದೆ. "ಬ್ಯಾಕ್-ಪ್ರೊಪ್ಯಾಗೇಟಿಂಗ್ ಎರರ್ ಕರೆಕ್ಷನ್" ಎಂಬ ಪರಿಭಾಷೆಯನ್ನು 1962 ರಲ್ಲಿ ಫ್ರಾಂಕ್ ರೋಸೆನ್ಬ್ಲಾಟ್ ಅವರು ಪರಿಚಯಿಸಿದರು, ಆದರೆ ಇದನ್ನು ಹೇಗೆ ಕಾರ್ಯಗತಗೊಳಿಸಬೇಕು ಎಂದು ಅವರಿಗೆ ತಿಳಿದಿರಲಿಲ್ಲ, ಆದಾಗ್ಯೂ ಹೆನ್ರಿ ಜೆ. ಕೆಲ್ಲಿ ಅವರು ನಿಯಂತ್ರಣ ಸಿದ್ಧಾಂತದ ಸಂದರ್ಭದಲ್ಲಿ ಈಗಾಗಲೇ 1960 ರಲ್ಲಿ ಬ್ಯಾಕ್-ಪ್ರೊಪ್ಯಾಗೇಷನ್ನ ನಿರಂತರ ಪೂರ್ವಸೂಚಕವನ್ನು ಹೊಂದಿದ್ದರು. ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ನಿಂದ ತರಬೇತಿ ಪಡೆದ ಮೊದಲ ಆಳವಾದ ಕಲಿಕೆಯ ಮಲ್ಟಿಲೇಯರ್ ಪರ್ಸೆಪ್ಟ್ರಾನ್ (ಎಂಎಲ್ಪಿ) ಅನ್ನು 1967 ರಲ್ಲಿ ಶೂನಿಚಿ ಅಮಾರಿ ಪ್ರಕಟಿಸಿದರು. ಕಂಪ್ಯೂಟರ್ ಪ್ರಯೋಗಗಳಲ್ಲಿ, ಎರಡು ಮಾರ್ಪಡಿಸಬಹುದಾದ ಪದರಗಳನ್ನು ಹೊಂದಿರುವ ಅವರ ಐದು ಪದರಗಳ ಎಂ. ಎಲ್. ಪಿ. ಯು ರೇಖಾತ್ಮಕವಲ್ಲದ ಬೇರ್ಪಡಿಸಬಹುದಾದ ಮಾದರಿ ವರ್ಗಗಳನ್ನು ವರ್ಗೀಕರಿಸಲು ಅಗತ್ಯವಾದ ಆಂತರಿಕ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಕಲಿತರು. 1982 ರಲ್ಲಿ, ಪಾಲ್ ವೆರ್ಬೋಸ್ ಎಂಎಲ್ಪಿಗಳಿಗೆ ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ ಅನ್ನು ಅನ್ವಯಿಸಿದರು, ಅದು ಪ್ರಮಾಣಿತವಾಗಿದೆ. 1985ರಲ್ಲಿ, ಡೇವಿಡ್ ಇ. ರುಮೆಲ್ಹಾರ್ಟ್ ಮತ್ತು ಇತರರು. ಈ ತಂತ್ರದ ಪ್ರಾಯೋಗಿಕ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಪ್ರಕಟಿಸಿದರು. ಇದು ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ನ ಜನಪ್ರಿಯತೆಗೆ ಕೊಡುಗೆ ನೀಡಿತು ಮತ್ತು ಬಹು ಪದರದ ಪರ್ಸೆಪ್ಟ್ರಾನ್ಗಳಲ್ಲಿ ಸಕ್ರಿಯ ಅವಧಿಯ ಸಂಶೋಧನೆಯನ್ನು ಪ್ರಾರಂಭಿಸಲು ಸಹಾಯ ಮಾಡಿತು. ಕೆಲ್ಲಿ (1960) ಮತ್ತು ಆರ್ಥರ್ ಇ. ಬ್ರೈಸನ್ (1961) ಈ ವಿಧಾನದ ಮೇಲೆ ತಿಳಿಸಲಾದ ನಿರಂತರ ಪೂರ್ವಗಾಮಿಯನ್ನು ಪಡೆಯಲು ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ನ ತತ್ವಗಳನ್ನು ಬಳಸಿದರು. 1962ರಲ್ಲಿ, ಸ್ಟುವರ್ಟ್ ಡ್ರೇಫಸ್ ಸರಪಳಿ ನಿಯಮದ ಆಧಾರದ ಮೇಲೆ ಸರಳವಾದ ವ್ಯುತ್ಪತ್ತಿಯನ್ನು ಪ್ರಕಟಿಸಿದರು. 1973 ರಲ್ಲಿ, ಅವರು ದೋಷ ಇಳಿಜಾರುಗಳಿಗೆ ಅನುಗುಣವಾಗಿ ನಿಯಂತ್ರಕಗಳ ನಿಯತಾಂಕಗಳನ್ನು ಅಳವಡಿಸಿಕೊಂಡರು. ಲಿನ್ನೈನ್ಮಾದ 1970 ರ ವಿಧಾನಕ್ಕಿಂತ ಭಿನ್ನವಾಗಿ, ಈ ಪೂರ್ವಗಾಮಿಗಳು "ಒಂದು ಹಂತದಿಂದ ಹಿಂದಿನ ಹಂತದವರೆಗೆ ಪ್ರಮಾಣಿತ ಜಾಕೋಬಿಯನ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಬಳಸಿದರು, ಹಲವಾರು ಹಂತಗಳಲ್ಲಿ ನೇರ ಸಂಪರ್ಕಗಳನ್ನು ಪರಿಹರಿಸಲಿಲ್ಲ ಅಥವಾ ಜಾಲಬಂಧ ವಿರಳತೆಯಿಂದಾಗಿ ಸಂಭಾವ್ಯ ಹೆಚ್ಚುವರಿ ದಕ್ಷತೆಯ ಲಾಭಗಳನ್ನು ನೀಡಲಿಲ್ಲ". 1985ರಲ್ಲಿ, ಈ ವಿಧಾನವನ್ನು ಪಾರ್ಕರ್ ಸಹ ವಿವರಿಸಿದ್ದಾನೆ. ಯಾನ್ ಲೆಕನ್ ಅವರು 1987 ರಲ್ಲಿ ತಮ್ಮ ಪಿಎಚ್ಡಿ ಪ್ರಬಂಧದಲ್ಲಿ ನರ ಜಾಲಗಳಿಗೆ ಬ್ಯಾಕ್ಪ್ರೊಪೇಗೇಷನ್ನ ಪರ್ಯಾಯ ರೂಪವನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದರು. 1993 ರಲ್ಲಿ, ಎರಿಕ್ ವಾನ್ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಮೂಲಕ ಅಂತರರಾಷ್ಟ್ರೀಯ ಮಾದರಿ ಗುರುತಿಸುವಿಕೆ ಸ್ಪರ್ಧೆಯನ್ನು ಗೆದ್ದರು. 2000 ರ ದಶಕದಲ್ಲಿ ಇದು ಒಲವು ಕಳೆದುಕೊಂಡಿತು, ಆದರೆ 2010 ರ ದಶಕದಲ್ಲಿ ಮರಳಿತು, ಅಗ್ಗದ, ಶಕ್ತಿಯುತ ಜಿಪಿಯು-ಆಧಾರಿತ ಕಂಪ್ಯೂಟಿಂಗ್ ವ್ಯವಸ್ಥೆಗಳಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯಿತು. ಇದು ವಿಶೇಷವಾಗಿ ಮಾತಿನ ಗುರುತಿಸುವಿಕೆ, ಯಂತ್ರ ದೃಷ್ಟಿ, ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆ ಮತ್ತು ಭಾಷಾ ರಚನೆಯ ಕಲಿಕೆಯ ಸಂಶೋಧನೆಯಲ್ಲಿ (ಇದರಲ್ಲಿ ಇದನ್ನು ಮೊದಲ ಮತ್ತು ಎರಡನೇ ಭಾಷೆಯ ಕಲಿಕೆಗೆ ಸಂಬಂಧಿಸಿದ ವಿವಿಧ ವಿದ್ಯಮಾನಗಳನ್ನು ವಿವರಿಸಲು ಬಳಸಲಾಗಿದೆ.). ಎನ್ 400 ಮತ್ತು ಪಿ 600 ನಂತಹ ಮಾನವ ಮೆದುಳಿನ ಇಆರ್ಪಿ ಘಟಕಗಳನ್ನು ವಿವರಿಸಲು ದೋಷ ಪ್ರಸಾರವನ್ನು ಸೂಚಿಸಲಾಗಿದೆ. 2023 ರಲ್ಲಿ, ಸ್ಟ್ಯಾನ್ಫೋರ್ಡ್ ವಿಶ್ವವಿದ್ಯಾನಿಲಯದ ತಂಡವು ಫೋಟಾನಿಕ್ ಪ್ರೊಸೆಸರ್ನಲ್ಲಿ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಜಾರಿಗೆ ತಂದಿತು. ಕೃತಕ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ ನ್ಯೂರಲ್ ಸರ್ಕ್ಯೂಟ್ ಕ್ಯಾಟಸ್ಟ್ರೋಫಿಕ್ ಇಂಟರ್ಫೆರೆನ್ಸ್ ಎನ್ಸೆಂಬಲ್ ಲರ್ನಿಂಗ್ ಅಡಾ ಬೂಸ್ಟ್ ಓವರ್ಫಿಟಿಂಗ್ ನ್ಯೂರಲ್ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ಥ್ರೂ ಟೈಮ್ ಟಿಪ್ಪಣಿಗಳು ಉಲ್ಲೇಖಗಳು ಮತ್ತಷ್ಟು ಓದುವಿಕೆ ಬಾಹ್ಯ ಕೊಂಡಿಗಳು ಬ್ಯಾಕ್ಪ್ರೊಪಗೇಷನ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ ಟ್ಯುಟೋರಿಯಲ್ ಅಟ್ ದಿ ವಿಕಿವರ್ಸಿಟಿ ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ ಅಲ್ಗಾರಿದಮ್ ಆರ್ಟಿಫಿಶಿಯಲ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ಗಳು