Derivation of the conjugate gradient method
ಸಂಖ್ಯಾತ್ಮಕ ರೇಖೀಯ ಬೀಜಗಣಿತದಲ್ಲಿ, ಕಾಂಜುಗೇಟ್ ಗ್ರೇಡಿಯಂಟ್ ವಿಧಾನವು ಸಮ್ಮಿತೀಯ ಧನಾತ್ಮಕ-ನಿಶ್ಚಿತವಾಗಿರುವ ರೇಖೀಯ ವ್ಯವಸ್ಥೆಯನ್ನು ಸಂಖ್ಯಾತ್ಮಕವಾಗಿ ಪರಿಹರಿಸುವ ಒಂದು ಪುನರಾವರ್ತಿತ ವಿಧಾನವಾಗಿದೆ. ಕಾಂಜುಗೇಟ್ ಗ್ರೇಡಿಯಂಟ್ ವಿಧಾನವನ್ನು ಹಲವಾರು ವಿಭಿನ್ನ ದೃಷ್ಟಿಕೋನಗಳಿಂದ ಪಡೆಯಬಹುದು, ಇದರಲ್ಲಿ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಾಗಿ ಕಾಂಜುಗೇಟ್ ನಿರ್ದೇಶನ ವಿಧಾನದ ವಿಶೇಷತೆ ಮತ್ತು ಐಗನ್ ವ್ಯಾಲ್ಯೂ ಸಮಸ್ಯೆಗಳಿಗೆ ಅರ್ನಾಲ್ಡಿ/ಲ್ಯಾನ್ಜೋಸ್ ಪುನರಾವರ್ತನೆಯ ವ್ಯತ್ಯಾಸವೂ ಸೇರಿದೆ. ಈ ವ್ಯುತ್ಪತ್ತಿಗಳಲ್ಲಿನ ಪ್ರಮುಖ ಹಂತಗಳನ್ನು ದಾಖಲಿಸುವುದು ಈ ಲೇಖನದ ಉದ್ದೇಶವಾಗಿದೆ. ಕಾಂಜುಗೇಟ್ ದಿಕ್ಕಿನ ವಿಧಾನದಿಂದ ವ್ಯುತ್ಪತ್ತಿ ಕಾಂಜುಗೇಟ್ ಗ್ರೇಡಿಯಂಟ್ ವಿಧಾನವನ್ನು ಕ್ವಾಡ್ರಾಟಿಕ್ ಕಾರ್ಯವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಅನ್ವಯಿಸಲಾದ ಕಾಂಜುಗೇಟ್ ದಿಕ್ಕಿನ ವಿಧಾನದ ವಿಶೇಷ ಪ್ರಕರಣವಾಗಿ ನೋಡಬಹುದು ಕಾಂಜುಗೇಟ್ ದಿಕ್ಕಿನ ವಿಧಾನವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಕಾಂಜುಗೇಟ್ ದಿಕ್ಕಿನ ವಿಧಾನವು ಆರಂಭಿಕ ಊಹೆ ಮತ್ತು ಅನುಗುಣವಾದ ಶೇಷದೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ ಮತ್ತು ಸೂತ್ರಗಳಿಂದ ಪುನರಾವರ್ತನೆ ಮತ್ತು ಶೇಷವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ, ಅಲ್ಲಿ ಪರಸ್ಪರ ಸಂಯೋಜಿತ ನಿರ್ದೇಶನಗಳ ಸರಣಿಗಳಿವೆ, ಅಂದರೆ, ಯಾವುದಕ್ಕೂ. ನಿರ್ದೇಶನಗಳ ಆಯ್ಕೆಗೆ ಯಾವುದೇ ಸೂತ್ರಗಳನ್ನು ನೀಡಲಾಗಿಲ್ಲ ಎಂಬ ಅರ್ಥದಲ್ಲಿ ಸಂಯುಗ್ಮ ದಿಕ್ಕಿನ ವಿಧಾನವು ನಿಖರವಾಗಿಲ್ಲ. ನಿರ್ದಿಷ್ಟ ಆಯ್ಕೆಗಳು ಕಾಂಜುಗೇಟ್ ಗ್ರೇಡಿಯಂಟ್ ವಿಧಾನ ಮತ್ತು ಗಾಸಿಯನ್ ಎಲಿಮಿನೇಷನ್ ಸೇರಿದಂತೆ ವಿವಿಧ ವಿಧಾನಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತವೆ. ಆರ್ನಾಲ್ಡಿ/ಲ್ಯಾನ್ಜೊಸ್ ಪುನರಾವರ್ತನೆಯಿಂದ ವ್ಯುತ್ಪತ್ತಿಯಾದ ಕಾಂಜುಗೇಟ್ ಗ್ರೇಡಿಯಂಟ್ ವಿಧಾನವನ್ನು ರೇಖೀಯ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಅನ್ವಯಿಸಲಾದ ಆರ್ನಾಲ್ಡಿ/ಲ್ಯಾನ್ಜೊಸ್ ಪುನರಾವರ್ತನೆಯ ರೂಪಾಂತರವಾಗಿಯೂ ಕಾಣಬಹುದು. ಸಾಮಾನ್ಯ ಆರ್ನೊಲ್ಡಿ ವಿಧಾನವು ಆರ್ನೊಲ್ಡಿ ಪುನರಾವರ್ತನೆಯಲ್ಲಿ, ಒಂದು ವಾಹಕದಿಂದ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ ಮತ್ತು ಕ್ರಮೇಣ ಕ್ರಿಲೋವ್ ಉಪಕ್ಷೇತ್ರದ ಆರ್ಥೋನಾರ್ಮಲ್ ಆಧಾರವನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ. ಮ್ಯಾಟ್ರಿಕ್ಸ್ ರೂಪದಲ್ಲಿ ಇರಿಸಿ, ಪುನರಾವರ್ತನೆಯನ್ನು ಸಮೀಕರಣದಿಂದ ಸೆರೆಹಿಡಿಯಲಾಗುತ್ತದೆ, ಅಲ್ಲಿ ರೇಖೀಯ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಅರ್ನಾಲ್ಡಿ ಪುನರಾವರ್ತನೆಯನ್ನು ಅನ್ವಯಿಸುವಾಗ, ಒಂದು ಆರಂಭಿಕ ಊಹೆಗೆ ಅನುಗುಣವಾದ ಶೇಷದೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ. ಪುನರಾವರ್ತನೆಯ ಪ್ರತಿ ಹಂತದ ನಂತರ, ಒಂದು ಲೆಕ್ಕಾಚಾರ ಮತ್ತು ಹೊಸ ಪುನರಾವರ್ತನೆ. ನೇರ ಲ್ಯಾನ್ಸೋಸ್ ವಿಧಾನ ಉಳಿದ ಚರ್ಚೆಯಲ್ಲಿ, ಅದು ಸಮ್ಮಿತೀಯ ಧನಾತ್ಮಕ-ನಿಶ್ಚಿತ ಎಂದು ನಾವು ಭಾವಿಸುತ್ತೇವೆ. ಸಮ್ಮಿತಿಯೊಂದಿಗೆ, ಮೇಲಿನ ಹೆಸೆನ್ಬರ್ಗ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಸಮ್ಮಿತೀಯವಾಗುತ್ತದೆ ಮತ್ತು ಹೀಗೆ ತ್ರಿಕೋನವಾಗುತ್ತದೆ. ಇದನ್ನು ನಂತರ ಹೆಚ್ಚು ಸ್ಪಷ್ಟವಾಗಿ ಸೂಚಿಸಬಹುದು ಇದು ಪುನರಾವರ್ತನೆಯಲ್ಲಿ ಅಲ್ಪಾವಧಿಯ ಮೂರು-ಅವಧಿಯ ಪುನರಾವರ್ತನೆಯನ್ನು ಶಕ್ತಗೊಳಿಸುತ್ತದೆ, ಮತ್ತು ಅರ್ನಾಲ್ಡಿ ಪುನರಾವರ್ತನೆಯನ್ನು ಲ್ಯಾನ್ಜೊಸ್ ಪುನರಾವರ್ತನೆಗೆ ಇಳಿಸಲಾಗುತ್ತದೆ. ಸಮ್ಮಿತೀಯ ಧನಾತ್ಮಕ-ನಿಶ್ಚಿತವಾದುದರಿಂದ, ಹಾಗೆಯೇ. ಆದ್ದರಿಂದ, ಭಾಗಶಃ ಪಿವೋಟಿಂಗ್ ಇಲ್ಲದೆ LU ಅನ್ನು ಅನುಕೂಲಕರ ಪುನರಾವರ್ತನೆಗಳೊಂದಿಗೆ ಫ್ಯಾಕ್ಟರೈಸ್ ಮಾಡಬಹುದು ಮತ್ತುಃ ಅದರಂತೆಯೇ ಪುನಃ ಬರೆಯಿರಿ ವಾಸ್ತವವಾಗಿ, ಮತ್ತು ಸಣ್ಣ ಪುನರಾವರ್ತನೆಗಳು ಇವೆ ಎಂದು ಗಮನಿಸುವುದು ಈಗ ಮುಖ್ಯವಾಗಿದೆಃ ಈ ಸೂತ್ರೀಕರಣದೊಂದಿಗೆ, ನಾವು ಸರಳ ಪುನರಾವರ್ತನೆಗೆ ತಲುಪುತ್ತೇವೆಃ ಮೇಲಿನ ಸಂಬಂಧಗಳು ನೇರವಾಗಿ ನೇರ ಲ್ಯಾನ್ಜೋಸ್ ವಿಧಾನಕ್ಕೆ ಕಾರಣವಾಗುತ್ತವೆ, ಇದು ಸ್ವಲ್ಪ ಹೆಚ್ಚು ಸಂಕೀರ್ಣವಾಗಿದೆ. ಸ್ಥಿರ ಅಂಶದಲ್ಲಿ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಅಳೆಯಲು ಮತ್ತು ಸರಿದೂಗಿಸಲು ನಾವು ಅನುಮತಿಸಿದರೆ, ನಾವು ರೂಪದ ಸರಳವಾದ ಪುನರಾವರ್ತನೆಗಳನ್ನು ಹೊಂದಬಹುದುಃ ಸರಳೀಕರಣದ ಆವರಣವಾಗಿ, ನಾವು ಈಗ ಆರ್ಥೋಗೋನಾಲಿಟಿ ಮತ್ತು ಸಂಯೋಗವನ್ನು ಪಡೆಯುತ್ತೇವೆ, ಅಂದರೆ, ಉಳಿದವುಗಳು ಪರಸ್ಪರ ಆರ್ಥೋಗೋನಲ್ ಆಗಿರುತ್ತವೆ ಏಕೆಂದರೆ ಮೂಲಭೂತವಾಗಿ ಏಕೆಂದರೆ, ಏಕೆಂದರೆ, ಸಂಯೋಜನೆಯನ್ನು ನೋಡಲು, ಇದು ಕರ್ಣೀಯವಾಗಿದೆ ಎಂದು ತೋರಿಸಲು ಸಾಕಾಗುತ್ತದೆಃ ಏಕಕಾಲದಲ್ಲಿ ಸಮ್ಮಿತೀಯ ಮತ್ತು ಕಡಿಮೆ ತ್ರಿಕೋನವಾಗಿದೆ ಮತ್ತು ಆದ್ದರಿಂದ ಕರ್ಣೀಯವಾಗಿರಬೇಕು. ಈಗ ನಾವು ಸ್ಥಿರವಾದ ಅಂಶಗಳನ್ನು ಮತ್ತು ಮಾಪನಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಅದರ ಆರ್ಥೋಗೋನಾಲಿಟಿ ಮತ್ತು ಸಂಯೋಗವನ್ನು ಮಾತ್ರ ಹೇರುವ ಮೂಲಕ ಪಡೆಯಬಹುದು. ಇದರ ಆರ್ಥೋಗೋನಾಲಿಟಿ ಕಾರಣ, ಇದು ಅಗತ್ಯವಾಗಿದೆ. ಇದರ ಪರಿಣಾಮವಾಗಿ, ಅದೇ ರೀತಿ, ಅದರ ಸಂಯೋಗದಿಂದಾಗಿ, ಅದು ಅಗತ್ಯವಾಗಿದೆ. ಇದರ ಪರಿಣಾಮವಾಗಿ, ಇದು ವ್ಯುತ್ಪತ್ತಿಯನ್ನು ಪೂರ್ಣಗೊಳಿಸುತ್ತದೆ. ಉಲ್ಲೇಖಗಳು ಸಂಖ್ಯಾತ್ಮಕ ರೇಖೀಯ ಬೀಜಗಣಿತ ಆಪ್ಟಿಮೈಸೇಶನ್ ಕ್ರಮಾವಳಿಗಳು ಮತ್ತು ವಿಧಾನಗಳು ಗ್ರೇಡಿಯಂಟ್ ವಿಧಾನಗಳು ಪುರಾವೆಗಳನ್ನು ಹೊಂದಿರುವ ಲೇಖನಗಳು