Augmented Lagrangian method
ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ವಿಧಾನಗಳು ನಿರ್ಬಂಧಿತ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಒಂದು ನಿರ್ದಿಷ್ಟ ವರ್ಗದ ಕ್ರಮಾವಳಿಗಳಾಗಿವೆ. ಅವು ಪೆನಾಲ್ಟಿ ವಿಧಾನಗಳಿಗೆ ಹೋಲಿಕೆಗಳನ್ನು ಹೊಂದಿವೆ, ಅವು ನಿರ್ಬಂಧಿತ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಯನ್ನು ಅನಿಯಂತ್ರಿತ ಸಮಸ್ಯೆಗಳ ಸರಣಿಯಿಂದ ಬದಲಾಯಿಸುತ್ತವೆ ಮತ್ತು ಉದ್ದೇಶಕ್ಕೆ ಪೆನಾಲ್ಟಿ ಪದವನ್ನು ಸೇರಿಸುತ್ತವೆ, ಆದರೆ ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ವಿಧಾನವು ಲಗ್ರಾಂಜ್ ಮಲ್ಟಿಪ್ಲೈಯರ್ ಅನ್ನು ಅನುಕರಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಮತ್ತೊಂದು ಪದವನ್ನು ಸೇರಿಸುತ್ತದೆ. ವರ್ಧಿತ ಲಾಗ್ರಾಂಜಿಯನ್ ಲ್ಯಾಗ್ರೇಂಜ್ ಮಲ್ಟಿಪ್ಲೈಯರ್ಗಳ ವಿಧಾನಕ್ಕೆ ಸಂಬಂಧಿಸಿದೆ, ಆದರೆ ಒಂದೇ ಆಗಿರುವುದಿಲ್ಲ. ವಿಭಿನ್ನವಾಗಿ ನೋಡಿದರೆ, ನಿರ್ಬಂಧಿತ ಸಮಸ್ಯೆಯ ಲಗ್ರಾಂಜಿಯನ್ ನಿರ್ಬಂಧಿತ ಉದ್ದೇಶವಾಗಿದ್ದು, ಹೆಚ್ಚುವರಿ ದಂಡದ ಅವಧಿಯನ್ನು (ವರ್ಧನೆ) ಹೊಂದಿದೆ. ಈ ವಿಧಾನವನ್ನು ಮೂಲತಃ ಮಲ್ಟಿಪ್ಲೈಯರ್ಗಳ ವಿಧಾನ ಎಂದು ಕರೆಯಲಾಗುತ್ತಿತ್ತು ಮತ್ತು 1970 ಮತ್ತು 1980 ರ ದಶಕಗಳಲ್ಲಿ ಪೆನಾಲ್ಟಿ ವಿಧಾನಗಳಿಗೆ ಸಂಭಾವ್ಯ ಪರ್ಯಾಯವಾಗಿ ಅಧ್ಯಯನ ಮಾಡಲಾಯಿತು. ಇದನ್ನು ಮೊದಲು ಮ್ಯಾಗ್ನಸ್ ಹೆಸ್ಟೆನ್ಸ್ ಮತ್ತು ನಂತರ 1969 ರಲ್ಲಿ ಮೈಕೆಲ್ ಪೊವೆಲ್ ಚರ್ಚಿಸಿದರು. ಈ ವಿಧಾನವನ್ನು ಆರ್. ಟೈರೆಲ್ ರಾಕಫೆಲ್ಲರ್ ಅವರು ಫೆಂಚೆಲ್ ದ್ವಂದ್ವತೆಗೆ ಸಂಬಂಧಿಸಿದಂತೆ, ವಿಶೇಷವಾಗಿ ಪ್ರಾಕ್ಸಿಮಲ್-ಪಾಯಿಂಟ್ ವಿಧಾನಗಳು, ಮೊರೆಯು-ಯೋಸಿಡಾ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಮ್ಯಾಕ್ಸಿಮಲ್ ಮೊನೊಟೋನ್ ಆಪರೇಟರ್ಗಳಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ಅಧ್ಯಯನ ಮಾಡಿದರು; ಈ ವಿಧಾನಗಳನ್ನು ರಚನಾತ್ಮಕ ಆಪ್ಟಿಮೈಸೇಶನ್ನಲ್ಲಿ ಬಳಸಲಾಯಿತು. ಈ ವಿಧಾನವನ್ನು ಡಿಮಿಟ್ರಿ ಬರ್ಟೆಸ್ಕಾಸ್ ಸಹ ಅಧ್ಯಯನ ಮಾಡಿದರು, ವಿಶೇಷವಾಗಿ ಅವರ 1982 ರ ಪುಸ್ತಕದಲ್ಲಿ, ಕ್ವಾಡ್ರಾಟಿಕ್ ಅಲ್ಲದ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವ ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ವಿಸ್ತರಣೆಗಳೊಂದಿಗೆ (ಉದಾಹರಣೆಗೆ, ಎಂಟ್ರೋಪಿಕ್ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆ). ಈ ಸಂಯೋಜಿತ ಅಧ್ಯಯನವು "ಮಲ್ಟಿಪ್ಲೈಯರ್ಗಳ ಘಾತೀಯ ವಿಧಾನ" ಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ, ಇದು ಅಸಮಾನತೆಯ ನಿರ್ಬಂಧಗಳನ್ನು ಎರಡು ಬಾರಿ ವ್ಯತ್ಯಾಸಗೊಳಿಸಬಹುದಾದ ವರ್ಧಿತ ಲಾಗ್ರಾಂಜಿಯನ್ ಕಾರ್ಯದೊಂದಿಗೆ ನಿರ್ವಹಿಸುತ್ತದೆ. 1970ರ ದಶಕದಿಂದಲೂ, ಅನುಕ್ರಮ ಚತುರ್ಭುಜ ಪ್ರೋಗ್ರಾಮಿಂಗ್ (SQP) ಮತ್ತು ಆಂತರಿಕ ಬಿಂದು ವಿಧಾನಗಳಿಗೆ (IPM) ಹೆಚ್ಚಿನ ಗಮನವನ್ನು ನೀಡಲಾಗಿದೆ, ಭಾಗಶಃ ಏಕೆಂದರೆ ಅವು ಸಂಖ್ಯಾತ್ಮಕ ಸಾಫ್ಟ್ವೇರ್ ಗ್ರಂಥಾಲಯಗಳಿಂದ ವಿರಳವಾದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಸಬ್ರುಟೈನ್ಗಳನ್ನು ಹೆಚ್ಚು ಸುಲಭವಾಗಿ ಬಳಸುತ್ತವೆ, ಮತ್ತು ಭಾಗಶಃ ಏಕೆಂದರೆ IPMಗಳು ಸ್ವಯಂ-ಸಮನ್ವಯ ಕಾರ್ಯಗಳ ಸಿದ್ಧಾಂತದ ಮೂಲಕ ಸಾಬೀತಾಗಿರುವ ಸಂಕೀರ್ಣತೆಯ ಫಲಿತಾಂಶಗಳನ್ನು ಹೊಂದಿವೆ. ವರ್ಧಿತ ಲಾಗ್ರಾಂಜಿಯನ್ ವಿಧಾನವನ್ನು LANCELOT, ALGENCAN ಮತ್ತು AMPL ಆಪ್ಟಿಮೈಸೇಶನ್ ವ್ಯವಸ್ಥೆಗಳಿಂದ ಪುನರುಜ್ಜೀವನಗೊಳಿಸಲಾಯಿತು, ಇದು ದಟ್ಟವಾದ ಆದರೆ "ಭಾಗಶಃ-ಬೇರ್ಪಡಿಸಲಾಗದ" ಸಮಸ್ಯೆಗಳ ಮೇಲೆ ವಿರಳವಾದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ತಂತ್ರಗಳನ್ನು ಬಳಸಲು ಅವಕಾಶ ಮಾಡಿಕೊಟ್ಟಿತು. ಈ ವಿಧಾನವು ಇನ್ನೂ ಕೆಲವು ಸಮಸ್ಯೆಗಳಿಗೆ ಉಪಯುಕ್ತವಾಗಿದೆ. 2007ರ ಸುಮಾರಿಗೆ, ಒಟ್ಟು ವ್ಯತ್ಯಾಸವನ್ನು ಸೂಚಿಸುವ ಮತ್ತು ಸಂಕುಚಿತ ಸಂವೇದನೆಯಂತಹ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ವಿಧಾನಗಳ ಪುನರುಜ್ಜೀವನವಾಯಿತು. ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ಭಾಗಶಃ ನವೀಕರಣಗಳನ್ನು ಬಳಸುವ ಪ್ರಮಾಣಿತ ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ವಿಧಾನದ ರೂಪಾಂತರವು (ರೇಖೀಯ ಸಮೀಕರಣಗಳನ್ನು ಪರಿಹರಿಸಲು ಗಾಸ್-ಸೀಡೆಲ್ ವಿಧಾನವನ್ನು ಹೋಲುತ್ತದೆ) ಮಲ್ಟಿಪ್ಲೈಯರ್ಗಳ ಪರ್ಯಾಯ ದಿಕ್ಕಿನ ವಿಧಾನ ಅಥವಾ ಎ. ಡಿ. ಎಂ. ಎಂ ಎಂದು ಕರೆಯಲ್ಪಡುತ್ತದೆ. ಸಾಮಾನ್ಯ ವಿಧಾನ ಈ ಕೆಳಗಿನ ನಿರ್ಬಂಧಿತ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುವುದನ್ನು ಪರಿಗಣಿಸಿಃ ಸಮಾನತೆಯ ನಿರ್ಬಂಧಗಳಿಗೆ ಸೂಚ್ಯಂಕಗಳನ್ನು ಎಲ್ಲಿ ಸೂಚಿಸುತ್ತದೆ ಎಂಬುದಕ್ಕೆ ಒಳಪಟ್ಟಿರುತ್ತದೆ. ಈ ಸಮಸ್ಯೆಯನ್ನು ಅನಿಯಂತ್ರಿತ ಕನಿಷ್ಠೀಕರಣಾ ಸಮಸ್ಯೆಗಳ ಸರಣಿಯಾಗಿ ಪರಿಹರಿಸಬಹುದು. ಉಲ್ಲೇಖಕ್ಕಾಗಿ, ನಾವು ಮೊದಲು ಪೆನಾಲ್ಟಿ ವಿಧಾನದ ವಿಧಾನದ k ನೇ ಹಂತವನ್ನು ಪಟ್ಟಿ ಮಾಡುತ್ತೇವೆಃ ಪೆನಾಲ್ಟಿ ವಿಧಾನವು ಈ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುತ್ತದೆ, ನಂತರ ಮುಂದಿನ ಪುನರಾವರ್ತನೆಯಲ್ಲಿ ಇದು ದೊಡ್ಡ ಮೌಲ್ಯವನ್ನು ಬಳಸಿಕೊಂಡು ಸಮಸ್ಯೆಯನ್ನು ಮರು-ಪರಿಹರಿಸುತ್ತದೆ ಮತ್ತು ಹಳೆಯ ಪರಿಹಾರವನ್ನು ಆರಂಭಿಕ ಊಹೆ ಅಥವಾ "ಬೆಚ್ಚಗಿನ ಆರಂಭ" ಎಂದು ಬಳಸುತ್ತದೆ. ವರ್ಧಿತ ಲಾಗ್ರಾಂಜಿಯನ್ ವಿಧಾನವು ಈ ಕೆಳಗಿನ ನಿರ್ಬಂಧಿತವಲ್ಲದ ಉದ್ದೇಶವನ್ನು ಬಳಸುತ್ತದೆಃ ಮತ್ತು ಪ್ರತಿ ಪುನರಾವರ್ತನೆಯ ನಂತರ, ನವೀಕರಿಸುವುದರ ಜೊತೆಗೆ, ಕೆಥ್ ಹಂತದಲ್ಲಿ ನಿರ್ಬಂಧಿತವಲ್ಲದ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರ ಎಲ್ಲಿದೆ ಎಂಬ ನಿಯಮದ ಪ್ರಕಾರ ವೇರಿಯೇಬಲ್ ಅನ್ನು ಸಹ ನವೀಕರಿಸಲಾಗುತ್ತದೆ. ). ವೇರಿಯೇಬಲ್ ಲ್ಯಾಗ್ರೇಂಜ್ ಮಲ್ಟಿಪ್ಲೈಯರ್ನ ಅಂದಾಜು, ಮತ್ತು ಈ ಅಂದಾಜಿನ ನಿಖರತೆಯು ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಸುಧಾರಿಸುತ್ತದೆ. ಈ ವಿಧಾನದ ಪ್ರಮುಖ ಪ್ರಯೋಜನವೆಂದರೆ, ಪೆನಾಲ್ಟಿ ವಿಧಾನಕ್ಕಿಂತ ಭಿನ್ನವಾಗಿ, ಮೂಲ ನಿರ್ಬಂಧಿತ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು ಅದನ್ನು ತೆಗೆದುಕೊಳ್ಳುವ ಅಗತ್ಯವಿಲ್ಲ. ಲ್ಯಾಗ್ರೇಂಜ್ ಮಲ್ಟಿಪ್ಲೈಯರ್ ಪದದ ಉಪಸ್ಥಿತಿಯಿಂದಾಗಿ, ಇದು ತುಂಬಾ ಚಿಕ್ಕದಾಗಿ ಉಳಿಯಬಹುದು, ಹೀಗಾಗಿ ಕೆಟ್ಟ ಸ್ಥಿತಿಯನ್ನು ತಪ್ಪಿಸಬಹುದು. ಅದೇನೇ ಇದ್ದರೂ, ಸಂಖ್ಯಾತ್ಮಕ ಅಸ್ಥಿರತೆಗಳನ್ನು ತಪ್ಪಿಸುವ ಮತ್ತು ಬಲವಾದ ಸೈದ್ಧಾಂತಿಕ ಒಮ್ಮುಖಕ್ಕೆ ಕಾರಣವಾಗುವ ದೊಡ್ಡ ಸೀಮಿತ ಗುಂಪಿನಲ್ಲಿ (ಸುರಕ್ಷತೆಗಳು) ಮಲ್ಟಿಪ್ಲೈಯರ್ ಅಂದಾಜುಗಳನ್ನು ಯೋಜಿಸುವುದು ಪ್ರಾಯೋಗಿಕ ಅನುಷ್ಠಾನಗಳಲ್ಲಿ ಸಾಮಾನ್ಯವಾಗಿದೆ. ಅಸಮಾನತೆಯ ನಿರ್ಬಂಧಗಳನ್ನು ನಿಭಾಯಿಸಲು ಈ ವಿಧಾನವನ್ನು ವಿಸ್ತರಿಸಬಹುದು. ಪ್ರಾಯೋಗಿಕ ಸುಧಾರಣೆಗಳ ಚರ್ಚೆಗಾಗಿ, ರೆಫ್ಸ್ ಅನ್ನು ನೋಡಿ. ಮಲ್ಟಿಪ್ಲೈಯರ್ಗಳ ಪರ್ಯಾಯ ದಿಕ್ಕಿನ ವಿಧಾನ ಮಲ್ಟಿಪ್ಲೈಯರ್ಗಳ ಪರ್ಯಾಯ ದಿಕ್ಕಿನ ವಿಧಾನವು (ಎ. ಡಿ. ಎಂ. ಎಂ.) ದ್ವಿ ಚಲಪರಿಮಾಣಗಳಿಗೆ ಭಾಗಶಃ ನವೀಕರಣಗಳನ್ನು ಬಳಸುವ ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ಯೋಜನೆಯ ಒಂದು ರೂಪಾಂತರವಾಗಿದೆ. ಈ ವಿಧಾನವನ್ನು ಹಲವುವೇಳೆ ಈ ರೀತಿಯ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಅನ್ವಯಿಸಲಾಗುತ್ತದೆಃ ಇದು ನಿರ್ಬಂಧಿತ ಸಮಸ್ಯೆಗೆ ಸಮಾನವಾಗಿದೆ, ಈ ಬದಲಾವಣೆಯು ಕ್ಷುಲ್ಲಕವೆಂದು ತೋರುತ್ತದೆಯಾದರೂ, ಈಗ ನಿರ್ಬಂಧಿತ ಆಪ್ಟಿಮೈಸೇಶನ್ ವಿಧಾನಗಳನ್ನು (ನಿರ್ದಿಷ್ಟವಾಗಿ, ವರ್ಧಿತ ಲಾಗ್ರಾಂಜಿಯನ್ ವಿಧಾನ) ಬಳಸಿಕೊಂಡು ಸಮಸ್ಯೆಯನ್ನು ಆಕ್ರಮಿಸಬಹುದು, ಮತ್ತು ವಸ್ತುನಿಷ್ಠ ಕಾರ್ಯವನ್ನು x ಮತ್ತು y ನಲ್ಲಿ ಬೇರ್ಪಡಿಸಬಹುದು. ಉಭಯ ನವೀಕರಣಕ್ಕೆ ಒಂದೇ ಸಮಯದಲ್ಲಿ x ಮತ್ತು y ನಲ್ಲಿ ಸಾಮೀಪ್ಯ ಕಾರ್ಯವನ್ನು ಪರಿಹರಿಸುವ ಅಗತ್ಯವಿದೆ; ADMM ತಂತ್ರವು ಮೊದಲು x ಅನ್ನು y ಸ್ಥಿರದೊಂದಿಗೆ ಪರಿಹರಿಸುವ ಮೂಲಕ ಮತ್ತು ನಂತರ x ಸ್ಥಿರದೊಂದಿಗೆ y ಅನ್ನು ಪರಿಹರಿಸುವ ಮೂಲಕ ಈ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಒಮ್ಮುಖವಾಗುವವರೆಗೆ (ಜಾಕೋಬಿ ವಿಧಾನದಂತೆ) ಪುನರಾವರ್ತಿಸುವ ಬದಲು, ಅಲ್ಗಾರಿದಮ್ ನೇರವಾಗಿ ಡ್ಯುಯಲ್ ವೇರಿಯೇಬಲ್ ಅನ್ನು ನವೀಕರಿಸಲು ಮತ್ತು ನಂತರ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಪುನರಾವರ್ತಿಸುತ್ತದೆ. ಇದು ನಿಖರವಾದ ಕನಿಷ್ಠೀಕರಣಕ್ಕೆ ಸಮನಾಗಿರುವುದಿಲ್ಲ, ಆದರೆ ಕೆಲವು ಊಹೆಗಳ ಅಡಿಯಲ್ಲಿ ಈ ವಿಧಾನವು ಇನ್ನೂ ಸರಿಯಾದ ಪರಿಹಾರಕ್ಕೆ ಒಮ್ಮುಖವಾಗುತ್ತದೆ. ಈ ಅಂದಾಜಿನ ಕಾರಣದಿಂದಾಗಿ, ಅಲ್ಗಾರಿದಮ್ ಶುದ್ಧ ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ವಿಧಾನದಿಂದ ಭಿನ್ನವಾಗಿದೆ. ಎ. ಡಿ. ಎಂ. ಎಂ. ಅನ್ನು ಡೌಗ್ಲಾಸ್-ರಾಚ್ಫೋರ್ಡ್ ವಿಭಜನೆ ಕ್ರಮಾವಳಿಯ ಅನ್ವಯವಾಗಿ ನೋಡಬಹುದು, ಮತ್ತು ಡೌಗ್ಲಾಸ್-ರಾಚ್ಫೋರ್ಡ್ ಕ್ರಮಾವಧಿಯು ಪ್ರಾಕ್ಸಿಮಲ್ ಪಾಯಿಂಟ್ ಕ್ರಮಾವಧಿಯ ಒಂದು ಉದಾಹರಣೆಯಾಗಿದೆ; ವಿವರಗಳನ್ನು ಉಲ್ಲೇಖದಲ್ಲಿ ಕಾಣಬಹುದು. YALL1 (2009), SPARSA (2009) ಮತ್ತು SALSA (2009) ಸೇರಿದಂತೆ ಹಲವಾರು ಆಧುನಿಕ ತಂತ್ರಾಂಶ ಪ್ಯಾಕೇಜುಗಳಿವೆ, ಇವು ಮೂಲಭೂತ ಅನ್ವೇಷಣೆ ಮತ್ತು ರೂಪಾಂತರಗಳನ್ನು ಪರಿಹರಿಸುತ್ತವೆ ಮತ್ತು ADMM ಅನ್ನು ಬಳಸುತ್ತವೆ. ಹೆಚ್ಚು ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಎ. ಡಿ. ಎಂ. ಎಂ. ಅನ್ನು ಬಳಸುವ ಪ್ಯಾಕೇಜುಗಳೂ ಇವೆ, ಅವುಗಳಲ್ಲಿ ಕೆಲವು ಬಹು ಕಂಪ್ಯೂಟಿಂಗ್ ಕೋರ್ಗಳನ್ನು ಬಳಸಿಕೊಳ್ಳಬಹುದು (ಉದಾಹರಣೆಗೆ, ಎಸ್. ಎನ್. ಎ. ಪಿ. ವಿ. ಎಕ್ಸ್. (2015), ಪ್ಯಾರಾ. ಎ. ಡಿ. ಎಂ. ಎಂ. (2016)). ಸಂಭವನೀಯ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಂಭವನೀಯ ಆಪ್ಟಿಮೈಸೇಶನ್ (ಗ್ರೇಡಿಯಂಟ್) ಕಾರ್ಯದ ಗದ್ದಲದ ಮಾದರಿಗಳಿಗೆ ಪ್ರವೇಶದೊಂದಿಗೆ ನಷ್ಟದ ಕಾರ್ಯವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಗಣಿಸುತ್ತದೆ. ಪ್ರತಿ ಹೊಸ ಮಾದರಿಗೆ ಸೂಕ್ತವಾದ ನಿಯತಾಂಕವನ್ನು (ಮಿನಿಮೈಸರ್) ಅಂದಾಜು ಮಾಡುವುದು ಗುರಿಯಾಗಿದೆ. ಕೆಲವು ಮಾರ್ಪಾಡುಗಳೊಂದಿಗೆ, ADMM ಅನ್ನು ಸಂಭವನೀಯ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಾಗಿ ಬಳಸಬಹುದು. ಸಂಭವನೀಯ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ, ಗ್ರೇಡಿಯಂಟ್ನ ಗದ್ದಲದ ಮಾದರಿಗಳನ್ನು ಮಾತ್ರ ಪ್ರವೇಶಿಸಬಹುದು, ಆದ್ದರಿಂದ ಲಗ್ರಾಂಜಿಯನ್ ನ ನಿಖರವಲ್ಲದ ಅಂದಾಜನ್ನು ಬಳಸಲಾಗುತ್ತದೆಃ ಅಲ್ಲಿ ಸಮಯ ಬದಲಾಗುವ ಹಂತದ ಗಾತ್ರವಾಗಿದೆ. ಕ್ರಮಬದ್ಧಗೊಳಿಸಿದ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಎ. ಡಿ. ಎಂ. ಎಂ. ಅನ್ನು ಅನ್ವಯಿಸಲಾಗಿದೆ, ಅಲ್ಲಿ ಕಾರ್ಯ ಆಪ್ಟಿಮೈಸೇಶನ್ ಮತ್ತು ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯನ್ನು ಸ್ಥಳೀಯವಾಗಿ ನಡೆಸಬಹುದು ಮತ್ತು ನಂತರ ನಿರ್ಬಂಧಗಳ ಮೂಲಕ ಜಾಗತಿಕವಾಗಿ ಸಮನ್ವಯಗೊಳಿಸಬಹುದು. ನಿಯಮಿತವಾದ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಗಳು ಉನ್ನತ-ಆಯಾಮದ ಆಡಳಿತದಲ್ಲಿ ವಿಶೇಷವಾಗಿ ಪ್ರಸ್ತುತವಾಗಿವೆ, ಏಕೆಂದರೆ ಕ್ರಮಬದ್ಧಗೊಳಿಸುವಿಕೆಯು ಅನಾರೋಗ್ಯವನ್ನು ನಿವಾರಿಸಲು ಮತ್ತು ಅತ್ಯುತ್ತಮ ಪರಿಹಾರದಲ್ಲಿ ಪಾರ್ಸಿಮೋನಿಯನ್ನು ಉತ್ತೇಜಿಸಲು ನೈಸರ್ಗಿಕ ಕಾರ್ಯವಿಧಾನವಾಗಿದೆ (ಉದಾಹರಣೆಗೆ, ಸ್ಪಾರ್ಸಿಟಿ ಮತ್ತು ಕಡಿಮೆ ಶ್ರೇಣಿ). ಕ್ರಮಬದ್ಧಗೊಳಿಸಿದ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಎ. ಡಿ. ಎಂ. ಎಂ. ನ ಪರಿಣಾಮಕಾರಿತ್ವವು ಮರೆಮಾಚುವ-ಆಯಾಮದ ಯಾದೃಚ್ಛಿಕ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಉಪಯುಕ್ತವಾಗಿದೆ ಎಂದು ಅರ್ಥೈಸಬಹುದು. ಪರ್ಯಾಯ ವಿಧಾನಗಳು ಅನುಕ್ರಮ ಚತುರ್ಭುಜ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಅನುಕ್ರಮ ರೇಖೀಯ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಸಾಫ್ಟ್ವೇರ್ ಮುಕ್ತ ಮೂಲ ಮತ್ತು ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ವಿಧಾನದ ಮುಕ್ತ/ವಾಣಿಜ್ಯ ಅನುಷ್ಠಾನಗಳುಃ Accord.NET (ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ಆಪ್ಟಿಮೈಜರ್ನ C #ಅನುಷ್ಠಾನ) ALGLIB (ಪೂರ್ವ ಷರತ್ತುಬದ್ಧ ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ಪರಿಹಾರಕದ C #ಮತ್ತು C + + ಅನುಷ್ಠಾನಗಳು) PENN (GPL 3, ವಾಣಿಜ್ಯ ಪರವಾನಗಿ ಲಭ್ಯವಿದೆ) LANCELOT (ಉಚಿತ "ಆಂತರಿಕ ಬಳಕೆ" ಪರವಾನಗಿ, ಪಾವತಿಸಿದ ವಾಣಿಜ್ಯ ಆಯ್ಕೆಗಳು) MINOS (ಕೆಲವು ರೀತಿಯ ಸಮಸ್ಯೆಗಳಿಗೆ ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ವಿಧಾನವನ್ನು ಸಹ ಬಳಸುತ್ತದೆ). ಅಪಾಚೆ 2 ಪರವಾನಗಿ ಪಡೆದ ಕಾರಣಕ್ಕಾಗಿ ಕೋಡ್ ಆನ್ಲೈನ್ನಲ್ಲಿ ಲಭ್ಯವಿದೆ. ಆಲ್ಜೆನ್ಕಾನ್ (ರಕ್ಷಣೋಪಾಯಗಳೊಂದಿಗೆ ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ವಿಧಾನದ ಫೋರ್ಟ್ರಾನ್ ಅನುಷ್ಠಾನ). ಆನ್ಲೈನ್ನಲ್ಲಿ ಲಭ್ಯವಿದೆ. ಎನ್ಎಲ್ಒಪಿಟಿ (ವಿವಿಧ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳಿಂದ ಪ್ರವೇಶಿಸಬಹುದಾದ ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ಆಪ್ಟಿಮೈಸರ್ನ ಸಿ + + ಅನುಷ್ಠಾನ) ಪೈಪ್ರಾಕ್ಸಿಮಲ್ (ವರ್ಧಿತ ಲಗ್ರಾಂಜಿಯನ್ ವಿಧಾನದ ಪೈಥಾನ್ ಅನುಷ್ಠಾನ). ಬ್ಯಾರಿಯರ್ ಫಂಕ್ಷನ್ ಆಂತರಿಕ-ಬಿಂದು ವಿಧಾನ ಲ್ಯಾಗ್ರೇಂಜ್ ಮಲ್ಟಿಪ್ಲೈಯರ್ ಪೆನಾಲ್ಟಿ ವಿಧಾನ ಉಲ್ಲೇಖಗಳು ಗ್ರಂಥಸೂಚಿ ಆಪ್ಟಿಮೈಸೇಶನ್ ಕ್ರಮಾವಳಿಗಳು ಮತ್ತು ವಿಧಾನಗಳನ್ನು ಸಹ ನೋಡಿ.