Partially observable Markov decision process
ಭಾಗಶಃ ಗಮನಿಸಬಹುದಾದ ಮಾರ್ಕೊವ್ ನಿರ್ಧಾರ ಪ್ರಕ್ರಿಯೆಯು (ಪಿಓಎಂಡಿಪಿ) ಮಾರ್ಕೊವ್ ನಿರ್ಧಾರ ಪ್ರಕ್ರಿಯೆಯ (ಎಂಡಿಪಿ) ಸಾಮಾನ್ಯೀಕರಣವಾಗಿದೆ. ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯು ಏಜೆಂಟ್ ನಿರ್ಧಾರ ಪ್ರಕ್ರಿಯೆಯನ್ನು ರೂಪಿಸುತ್ತದೆ, ಇದರಲ್ಲಿ ಸಿಸ್ಟಂ ಡೈನಾಮಿಕ್ಸ್ ಅನ್ನು ಎಂಡಿಪಿಯಿಂದ ನಿರ್ಧರಿಸಲಾಗುತ್ತದೆ ಎಂದು ಭಾವಿಸಲಾಗುತ್ತದೆ, ಆದರೆ ಏಜೆಂಟ್ ನೇರವಾಗಿ ಆಧಾರವಾಗಿರುವ ಸ್ಥಿತಿಯನ್ನು ಗಮನಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಬದಲಾಗಿ, ಇದು ಸಂವೇದಕ ಮಾದರಿಯನ್ನು (ಆಧಾರವಾಗಿರುವ ಸ್ಥಿತಿಯನ್ನು ನೀಡಿದ ವಿವಿಧ ಅವಲೋಕನಗಳ ಸಂಭವನೀಯತೆ ವಿತರಣೆ) ಮತ್ತು ಆಧಾರವಾಗಿರುವ ಎಂಡಿಪಿಯನ್ನು ನಿರ್ವಹಿಸಬೇಕು. ಎಂ. ಡಿ. ಪಿ. ಯಲ್ಲಿನ ನೀತಿ ಕಾರ್ಯಕ್ಕಿಂತ ಭಿನ್ನವಾಗಿ, ಇದು ಕ್ರಮಗಳಿಗೆ ಆಧಾರವಾಗಿರುವ ಸ್ಥಿತಿಗಳನ್ನು ನಕ್ಷೆ ಮಾಡುತ್ತದೆ, ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯ ನೀತಿಯು ಅವಲೋಕನಗಳ ಇತಿಹಾಸದಿಂದ (ಅಥವಾ ನಂಬಿಕೆ ಸ್ಥಿತಿಗಳು) ಕ್ರಿಯೆಗಳಿಗೆ ನಕ್ಷೆಯಾಗಿದೆ. ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ ಚೌಕಟ್ಟು ವಿವಿಧ ನೈಜ-ಪ್ರಪಂಚದ ಅನುಕ್ರಮ ನಿರ್ಧಾರ ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ರೂಪಿಸುವಷ್ಟು ಸಾಮಾನ್ಯವಾಗಿದೆ. ಅಪ್ಲಿಕೇಶನ್ಗಳಲ್ಲಿ ರೋಬೋಟ್ ನ್ಯಾವಿಗೇಷನ್ ಸಮಸ್ಯೆಗಳು, ಯಂತ್ರ ನಿರ್ವಹಣೆ ಮತ್ತು ಸಾಮಾನ್ಯವಾಗಿ ಅನಿಶ್ಚಿತತೆಯ ಅಡಿಯಲ್ಲಿ ಯೋಜನೆ ಸೇರಿವೆ. ಅಪೂರ್ಣ ಮಾಹಿತಿಯೊಂದಿಗೆ ಮಾರ್ಕೊವ್ ನಿರ್ಧಾರ ಪ್ರಕ್ರಿಯೆಗಳ ಸಾಮಾನ್ಯ ಚೌಕಟ್ಟನ್ನು 1965 ರಲ್ಲಿ ಕಾರ್ಲ್ ಜೋಹಾನ್ ಆಸ್ಟ್ರೋಮ್ ಅವರು ಪ್ರತ್ಯೇಕ ರಾಜ್ಯ ಸ್ಥಳದ ಸಂದರ್ಭದಲ್ಲಿ ವಿವರಿಸಿದ್ದಾರೆ ಮತ್ತು ಇದನ್ನು ಕಾರ್ಯಾಚರಣೆಗಳ ಸಂಶೋಧನಾ ಸಮುದಾಯದಲ್ಲಿ ಮತ್ತಷ್ಟು ಅಧ್ಯಯನ ಮಾಡಲಾಯಿತು, ಅಲ್ಲಿ ಸಂಕ್ಷಿಪ್ತ ರೂಪವಾದ ಪಿಓಎಂಡಿಪಿ ಅನ್ನು ಸೃಷ್ಟಿಸಲಾಯಿತು. ಇದನ್ನು ನಂತರ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ಯೋಜನೆಗಳಲ್ಲಿನ ಸಮಸ್ಯೆಗಳಿಗೆ ಲೆಸ್ಲಿ ಪಿ. ಕೇಲ್ಬ್ಲಿಂಗ್ ಮತ್ತು ಮೈಕೆಲ್ ಎಲ್. ಲಿಟ್ಮನ್ ಅಳವಡಿಸಿಕೊಂಡರು. ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಗೆ ನಿಖರವಾದ ಪರಿಹಾರವು ವಿಶ್ವ ರಾಜ್ಯಗಳ ಮೇಲಿನ ಪ್ರತಿಯೊಂದು ಸಂಭವನೀಯ ನಂಬಿಕೆಗೆ ಸೂಕ್ತವಾದ ಕ್ರಮವನ್ನು ನೀಡುತ್ತದೆ. ಅತ್ಯುತ್ತಮ ಕ್ರಮವು ಏಜೆಂಟ್ನ ನಿರೀಕ್ಷಿತ ಪ್ರತಿಫಲವನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುತ್ತದೆ (ಅಥವಾ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ). ಸೂಕ್ತ ಕ್ರಮಗಳ ಅನುಕ್ರಮವನ್ನು ಅದರ ಪರಿಸರದೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸಲು ಏಜೆಂಟ್ನ ಅತ್ಯುತ್ತಮ ನೀತಿ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ವ್ಯಾಖ್ಯಾನ ಔಪಚಾರಿಕ ವ್ಯಾಖ್ಯಾನ ಒಂದು ಪ್ರತ್ಯೇಕ-ಸಮಯದ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ ಏಜೆಂಟ್ ಮತ್ತು ಅದರ ಪರಿಸರದ ನಡುವಿನ ಸಂಬಂಧವನ್ನು ರೂಪಿಸುತ್ತದೆ. ಔಪಚಾರಿಕವಾಗಿ, ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯು 7-ಟುಪಲ್ ಆಗಿದೆ, ಅಲ್ಲಿ ಸ್ಥಿತಿಗಳ ಗುಂಪಾಗಿದೆ, ಕ್ರಿಯೆಗಳ ಗುಂಪಾಗಿದೆ, ರಾಜ್ಯಗಳ ನಡುವಿನ ಷರತ್ತುಬದ್ಧ ಪರಿವರ್ತನೆಯ ಸಂಭವನೀಯತೆಗಳ ಗುಂಪಾಗಿದೆ, ಇದು ಪ್ರತಿಫಲ ಕಾರ್ಯವಾಗಿದೆ. ಇದು ಅವಲೋಕನಗಳ ಒಂದು ಗುಂಪಾಗಿದೆ, ಷರತ್ತುಬದ್ಧ ವೀಕ್ಷಣೆಯ ಸಂಭವನೀಯತೆಗಳ ಒಂದು ಗುಂಪಾಗಿದೆ ಮತ್ತು ರಿಯಾಯಿತಿ ಅಂಶವಾಗಿದೆ. ಪ್ರತಿ ಅವಧಿಯಲ್ಲೂ, ಪರಿಸರವು ಯಾವುದಾದರೊ ಸ್ಥಿತಿಯಲ್ಲಿರುತ್ತದೆ. ಏಜೆಂಟ್ ಒಂದು ಕ್ರಮವನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತಾನೆ, ಇದು ಪರಿಸರವನ್ನು ಸಂಭವನೀಯತೆಯೊಂದಿಗೆ ಸ್ಥಿತಿಗೆ ಪರಿವರ್ತಿಸಲು ಕಾರಣವಾಗುತ್ತದೆ. ಅದೇ ಸಮಯದಲ್ಲಿ, ಏಜೆಂಟ್ ಪರಿಸರದ ಹೊಸ ಸ್ಥಿತಿಯನ್ನು ಅವಲಂಬಿಸಿರುವ ವೀಕ್ಷಣೆಯನ್ನು ಪಡೆಯುತ್ತಾನೆ, ಮತ್ತು ಕೇವಲ ತೆಗೆದುಕೊಂಡ ಕ್ರಮದ ಮೇಲೆ, ಸಂಭವನೀಯತೆಯೊಂದಿಗೆ (ಅಥವಾ ಕೆಲವೊಮ್ಮೆ ಸಂವೇದಕ ಮಾದರಿಯನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ). ಅಂತಿಮವಾಗಿ, ಏಜೆಂಟ್ ಸಮಾನವಾದ ಬಹುಮಾನವನ್ನು ಪಡೆಯುತ್ತಾನೆ. ನಂತರ ಪ್ರಕ್ರಿಯೆಯು ಪುನರಾವರ್ತನೆಯಾಗುತ್ತದೆ. ಏಜೆಂಟ್ ತನ್ನ ನಿರೀಕ್ಷಿತ ಭವಿಷ್ಯದ ರಿಯಾಯಿತಿ ಬಹುಮಾನವನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವ ಪ್ರತಿಯೊಂದು ಹಂತದಲ್ಲೂ ಕ್ರಮಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು ಗುರಿಯಾಗಿದೆಃ, ಆ ಸಮಯದಲ್ಲಿ ಗಳಿಸಿದ ಬಹುಮಾನ ಎಲ್ಲಿದೆ. ರಿಯಾಯಿತಿ ಅಂಶವು ಹೆಚ್ಚು ದೂರದ ಪ್ರತಿಫಲಗಳಿಗಿಂತ ಎಷ್ಟು ತಕ್ಷಣದ ಪ್ರತಿಫಲಗಳು ಒಲವು ತೋರುತ್ತವೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ. ಯಾವ ಕ್ರಮವು ಅತಿದೊಡ್ಡ ನಿರೀಕ್ಷಿತ ತಕ್ಷಣದ ಪ್ರತಿಫಲವನ್ನು ನೀಡುತ್ತದೆ ಎಂಬುದರ ಬಗ್ಗೆ ಮಾತ್ರ ಏಜೆಂಟ್ ಕಾಳಜಿ ವಹಿಸಿದಾಗ; ಏಜೆಂಟ್ ಭವಿಷ್ಯದ ಪ್ರತಿಫಲಗಳ ನಿರೀಕ್ಷಿತ ಮೊತ್ತವನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವ ಬಗ್ಗೆ ಕಾಳಜಿ ವಹಿಸಿದಾಗ. ಚರ್ಚೆಯು ಏಜೆಂಟ್ ಪರಿಸರದ ಸ್ಥಿತಿಯನ್ನು ನೇರವಾಗಿ ಗಮನಿಸುವುದಿಲ್ಲವಾದ್ದರಿಂದ, ಏಜೆಂಟ್ ನಿಜವಾದ ಪರಿಸರ ಸ್ಥಿತಿಯ ಅನಿಶ್ಚಿತತೆಯ ಅಡಿಯಲ್ಲಿ ನಿರ್ಧಾರಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಬೇಕು. ಆದಾಗ್ಯೂ, ಪರಿಸರದೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸುವ ಮೂಲಕ ಮತ್ತು ಅವಲೋಕನಗಳನ್ನು ಸ್ವೀಕರಿಸುವ ಮೂಲಕ, ಪ್ರಸ್ತುತ ಸ್ಥಿತಿಯ ಸಂಭವನೀಯತೆಯ ವಿತರಣೆಯನ್ನು ನವೀಕರಿಸುವ ಮೂಲಕ ಏಜೆಂಟ್ ನಿಜವಾದ ಸ್ಥಿತಿಯಲ್ಲಿ ತನ್ನ ನಂಬಿಕೆಯನ್ನು ನವೀಕರಿಸಬಹುದು. ಈ ಆಸ್ತಿಯ ಒಂದು ಪರಿಣಾಮವೆಂದರೆ, ಸೂಕ್ತವಾದ ನಡವಳಿಕೆಯು ಆಗಾಗ್ಗೆ (ಮಾಹಿತಿ ಸಂಗ್ರಹಣೆ) ಕ್ರಮಗಳನ್ನು ಒಳಗೊಂಡಿರಬಹುದು, ಏಕೆಂದರೆ ಅವು ಪ್ರಸ್ತುತ ಸ್ಥಿತಿಯ ಬಗ್ಗೆ ಏಜೆಂಟ್ನ ಅಂದಾಜನ್ನು ಸುಧಾರಿಸುತ್ತವೆ, ಇದರಿಂದಾಗಿ ಭವಿಷ್ಯದಲ್ಲಿ ಉತ್ತಮ ನಿರ್ಧಾರಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಮೇಲಿನ ವ್ಯಾಖ್ಯಾನವನ್ನು ಮಾರ್ಕೋವ್ ನಿರ್ಧಾರ ಪ್ರಕ್ರಿಯೆಯ ವ್ಯಾಖ್ಯಾನದೊಂದಿಗೆ ಹೋಲಿಸುವುದು ಬೋಧಪ್ರದವಾಗಿದೆ. ಎಂಡಿಪಿಯು ವೀಕ್ಷಣಾ ಸೆಟ್ ಅನ್ನು ಒಳಗೊಂಡಿರುವುದಿಲ್ಲ, ಏಕೆಂದರೆ ಏಜೆಂಟ್ ಯಾವಾಗಲೂ ಪರಿಸರದ ಪ್ರಸ್ತುತ ಸ್ಥಿತಿಯನ್ನು ಖಚಿತವಾಗಿ ತಿಳಿದಿರುತ್ತಾನೆ. ಪರ್ಯಾಯವಾಗಿ, ಅವಲೋಕನವನ್ನು ಸ್ಥಿತಿಗಳ ಗುಂಪಿಗೆ ಸಮನಾಗಿ ಹೊಂದಿಸುವ ಮೂಲಕ ಮತ್ತು ನಿಜವಾದ ಸ್ಥಿತಿಗೆ ಅನುಗುಣವಾದ ವೀಕ್ಷಣೆಯನ್ನು ನಿರ್ಣಾಯಕವಾಗಿ ಆಯ್ಕೆ ಮಾಡಲು ವೀಕ್ಷಣಾ ಷರತ್ತುಬದ್ಧ ಸಂಭವನೀಯತೆಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವ ಮೂಲಕ ಎಂಡಿಪಿಯನ್ನು ಪಿಒಎಂಡಿಪಿ ಎಂದು ಮರುರೂಪಿಸಬಹುದು. ನಂಬಿಕೆಯ ಅಪ್ಡೇಟ್ ಕ್ರಮವನ್ನು ಕೈಗೊಂಡ ನಂತರ ಮತ್ತು ಗಮನಿಸಿದ ನಂತರ, ಏಜೆಂಟ್ ಪರಿಸರವು ಯಾವ ಸ್ಥಿತಿಯಲ್ಲಿರಬಹುದು (ಅಥವಾ ಇಲ್ಲ) ಎಂಬುದರ ಬಗ್ಗೆ ತನ್ನ ನಂಬಿಕೆಯನ್ನು ನವೀಕರಿಸಬೇಕಾಗುತ್ತದೆ. ರಾಜ್ಯವು ಮಾರ್ಕೋವಿಯನ್ ಆಗಿರುವುದರಿಂದ (ಊಹೆಯ ಮೂಲಕ), ರಾಜ್ಯಗಳ ಮೇಲೆ ನಂಬಿಕೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳಲು ಕೇವಲ ಹಿಂದಿನ ನಂಬಿಕೆಯ ಸ್ಥಿತಿ, ಕೈಗೊಂಡ ಕ್ರಮ ಮತ್ತು ಪ್ರಸ್ತುತ ವೀಕ್ಷಣೆಯ ಜ್ಞಾನದ ಅಗತ್ಯವಿದೆ. ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಸೂಚಿಸಲಾಗುತ್ತದೆ. ಈ ನಂಬಿಕೆಯ ನವೀಕರಣವನ್ನು ಹೇಗೆ ಲೆಕ್ಕ ಹಾಕಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನಾವು ಕೆಳಗೆ ವಿವರಿಸುತ್ತೇವೆ. ತಲುಪಿದ ನಂತರ, ಏಜೆಂಟ್ ಸಂಭವನೀಯತೆಯೊಂದಿಗೆ ಗಮನಿಸುತ್ತಾನೆ. ಸ್ಥಿತಿಯ ಜಾಗದ ಮೇಲೆ ಸಂಭವನೀಯತೆಯ ವಿತರಣೆಯಾಗಿರಲಿ. ಪರಿಸರವು ಸ್ಥಿತಿಯಲ್ಲಿರುವ ಸಂಭವನೀಯತೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಕೊಟ್ಟಿರುವಂತೆ, ನಂತರ ಕ್ರಮ ತೆಗೆದುಕೊಳ್ಳುವ ಮತ್ತು ಗಮನಿಸಿದ ನಂತರ, ಸಾಮಾನ್ಯಗೊಳಿಸುವ ಸ್ಥಿರಾಂಕವು ಎಲ್ಲಿದೆ. ಒಂದು ಮಾರ್ಕೋವಿಯನ್ ನಂಬಿಕೆ ಸ್ಥಿತಿಯು ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯನ್ನು ಮಾರ್ಕೋವ್ ನಿರ್ಧಾರ ಪ್ರಕ್ರಿಯೆಯಾಗಿ ರೂಪಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ, ಅಲ್ಲಿ ಪ್ರತಿ ನಂಬಿಕೆಯು ಒಂದು ರಾಜ್ಯವಾಗಿದೆ. ಪರಿಣಾಮವಾಗಿ ಬರುವ ಎಂ. ಡಿ. ಪಿ. ಯ ನಂಬಿಕೆಯನ್ನು ಹೀಗೆ ನಿರಂತರ ಸ್ಥಿತಿಯ ಜಾಗದಲ್ಲಿ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗುತ್ತದೆ ("ಹುಟ್ಟುವ" ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯು ಸೀಮಿತ ಸಂಖ್ಯೆಯ ಸ್ಥಿತಿಗಳನ್ನು ಹೊಂದಿದ್ದರೂ ಸಹಃ ಅನಂತ ನಂಬಿಕೆಯ ಸ್ಥಿತಿಗಳಿವೆ (ಇನ್) ಏಕೆಂದರೆ ಸ್ಥಿತಿಗಳ (ಆಫ್) ಮೇಲೆ ಅನಂತ ಸಂಖ್ಯೆಯ ಸಂಭವನೀಯತೆಯ ವಿತರಣೆಗಳಿವೆ). ಔಪಚಾರಿಕವಾಗಿ, ಎಂ. ಡಿ. ಪಿ. ಯ ನಂಬಿಕೆಯನ್ನು ಟುಪಲ್ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ, ಅಲ್ಲಿ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ರಾಜ್ಯಗಳ ಮೇಲಿನ ನಂಬಿಕೆಯ ಸ್ಥಿತಿಗಳ ಗುಂಪಾಗಿದೆ, ಇದು ಮೂಲ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯಂತೆಯೇ ಅದೇ ಸೀಮಿತ ಕ್ರಮವಾಗಿದೆ, ಇದು ನಂಬಿಕೆಯ ಸ್ಥಿತಿ ಪರಿವರ್ತನೆಯ ಕಾರ್ಯವಾಗಿದೆ, ನಂಬಿಕೆಯ ಸ್ಥಿತಿಗಳ ಮೇಲಿನ ಪ್ರತಿಫಲ ಕಾರ್ಯವಾಗಿದೆ, ಇದು ಮೂಲ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯಲ್ಲಿರುವ ರಿಯಾಯಿತಿ ಅಂಶಕ್ಕೆ ಸಮಾನವಾಗಿದೆ. ಇವುಗಳಲ್ಲಿ, ಮತ್ತು ಮೂಲ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯಿಂದ ಪಡೆಯಬೇಕು. ಹಿಂದಿನ ವಿಭಾಗದಲ್ಲಿ ಪಡೆದ ಮೌಲ್ಯ ಎಲ್ಲಿದೆ ಮತ್ತು ನಂಬಿಕೆ ಎಂಡಿಪಿ ರಿವಾರ್ಡ್ ಫಂಕ್ಷನ್ () ಎಂಬುದು ನಂಬಿಕೆ ರಾಜ್ಯ ವಿತರಣೆಯ ಮೇಲೆ ಪಿಒಎಂಡಿಪಿ ರಿವಾರ್ಡ್ ಫಂಕ್ಷನ್ನಿಂದ ನಿರೀಕ್ಷಿತ ಪ್ರತಿಫಲವಾಗಿದೆಃ ಎಂ. ಡಿ. ಪಿ. ಯ ನಂಬಿಕೆಯನ್ನು ಇನ್ನು ಭಾಗಶಃ ಗಮನಿಸಲಾಗುವುದಿಲ್ಲ, ಏಕೆಂದರೆ ಯಾವುದೇ ನಿರ್ದಿಷ್ಟ ಸಮಯದಲ್ಲಿ ಏಜೆಂಟ್ಗೆ ಅದರ ನಂಬಿಕೆಯನ್ನು ತಿಳಿದಿದೆ ಮತ್ತು ವಿಸ್ತರಣೆಯ ಮೂಲಕ ಎಂ. ಡಿ. ಪಿ. ಯ ನಂಬಿಕೆಯ ಸ್ಥಿತಿಯನ್ನು ತಿಳಿದಿದೆ. ನೀತಿ ಮತ್ತು ಮೌಲ್ಯದ ಕಾರ್ಯವು "ಮೂಲ" ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯಂತಲ್ಲದೆ (ಅಲ್ಲಿ ಪ್ರತಿಯೊಂದು ಕ್ರಿಯೆಯು ಕೇವಲ ಒಂದು ರಾಜ್ಯದಿಂದ ಲಭ್ಯವಿದೆ), ಅನುಗುಣವಾದ ನಂಬಿಕೆ ಎಂಡಿಪಿಯಲ್ಲಿ ಎಲ್ಲಾ ನಂಬಿಕೆ ರಾಜ್ಯಗಳು ಎಲ್ಲಾ ಕ್ರಿಯೆಗಳನ್ನು ಅನುಮತಿಸುತ್ತವೆ, ಏಕೆಂದರೆ ನೀವು (ಬಹುತೇಕ) ಯಾವಾಗಲೂ ನೀವು ಯಾವುದೇ (ಮೂಲ) ಸ್ಥಿತಿಯಲ್ಲಿದ್ದೀರಿ ಎಂದು ನಂಬುವ ಕೆಲವು ಸಂಭವನೀಯತೆಯನ್ನು ಹೊಂದಿರುತ್ತೀರಿ. ಅಂತೆಯೇ, ಯಾವುದೇ ನಂಬಿಕೆಗೆ ಒಂದು ಕ್ರಿಯೆಯನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸುತ್ತದೆ. ಇಲ್ಲಿ ಅನಂತ ದಿಗಂತದಲ್ಲಿ ನಿರೀಕ್ಷಿತ ಒಟ್ಟು ರಿಯಾಯಿತಿ ಬಹುಮಾನವನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವುದು ಉದ್ದೇಶವಾಗಿದೆ ಎಂದು ಭಾವಿಸಲಾಗಿದೆ. ವೆಚ್ಚವನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿದಾಗ, ಉದ್ದೇಶವು ನಿರೀಕ್ಷಿತ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ನಂಬಿಕೆಯಿಂದ ಪ್ರಾರಂಭವಾಗುವ ಪಾಲಿಸಿಗೆ ನಿರೀಕ್ಷಿತ ಪ್ರತಿಫಲವನ್ನು ರಿಯಾಯಿತಿ ಅಂಶ ಎಲ್ಲಿದೆ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ. ದೀರ್ಘಾವಧಿಯ ಪ್ರತಿಫಲವನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸುವ ಮೂಲಕ ಅತ್ಯುತ್ತಮ ನೀತಿಯನ್ನು ಪಡೆಯಲಾಗುತ್ತದೆ. ಆರಂಭಿಕ ನಂಬಿಕೆ ಎಲ್ಲಿದೆ? ಆಪ್ಟಿಮಲ್ ಪಾಲಿಸಿಯು, ಆಪ್ಟಿಮಲ್ ವ್ಯಾಲ್ಯೂ ಫಂಕ್ಷನ್ನಿಂದ ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಪ್ರತಿನಿಧಿಸಲ್ಪಡುವ, ಪ್ರತಿ ನಂಬಿಕೆಯ ಸ್ಥಿತಿಗೆ ಅತಿ ಹೆಚ್ಚು ನಿರೀಕ್ಷಿತ ಬಹುಮಾನದ ಮೌಲ್ಯವನ್ನು ನೀಡುತ್ತದೆ. ಈ ಮೌಲ್ಯದ ಕಾರ್ಯವು ಬೆಲ್ಮನ್ ಆಪ್ಟಿಮಾಲಿಟಿ ಸಮೀಕರಣಕ್ಕೆ ಪರಿಹಾರವಾಗಿದೆಃ ಸೀಮಿತ-ಕ್ಷಿತಿಜ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಗಳಿಗೆ, ಆಪ್ಟಿಮಲ್ ಮೌಲ್ಯದ ಕಾರ್ಯವು ಪೀಸ್ವೈಸ್-ಲೀನಿಯರ್ ಮತ್ತು ಕನ್ವೆಕ್ಸ್ ಆಗಿದೆ. ಇದನ್ನು ಸೀಮಿತ ವಾಹಕಗಳ ಗುಂಪಾಗಿ ಪ್ರತಿನಿಧಿಸಬಹುದು. ಅನಂತ-ಕ್ಷಿತಿಜ ಸೂತ್ರೀಕರಣದಲ್ಲಿ, ಒಂದು ಸೀಮಿತ ವಾಹಕ ಸಮೂಹವು ಅನಿಯಂತ್ರಿತವಾಗಿ ನಿಕಟವಾಗಿ ಅಂದಾಜು ಮಾಡಬಹುದು, ಅದರ ಆಕಾರವು ಕನ್ವೆಕ್ಸ್ ಆಗಿರುತ್ತದೆ. ಮೌಲ್ಯದ ಪುನರಾವರ್ತನೆಯು-ಆಪ್ಟಿಮಲ್ ಮೌಲ್ಯದ ಕಾರ್ಯಕ್ಕೆ ಒಮ್ಮುಖವಾಗುವವರೆಗೆ ಮೌಲ್ಯವನ್ನು ಕ್ರಮೇಣ ಸುಧಾರಿಸಲು ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ನವೀಕರಣವನ್ನು ಅನ್ವಯಿಸುತ್ತದೆ ಮತ್ತು ಅದರ ಪೀಸ್ವೈಸ್ ಲೀನಿಯಾರಿಟಿ ಮತ್ತು ಕನ್ವೆಕ್ಸಿಟಿಯನ್ನು ಸಂರಕ್ಷಿಸುತ್ತದೆ. ಮೌಲ್ಯವನ್ನು ಸುಧಾರಿಸುವ ಮೂಲಕ, ನೀತಿಯನ್ನು ಸೂಚ್ಯವಾಗಿ ಸುಧಾರಿಸಲಾಗುತ್ತದೆ. ಪಾಲಿಸಿ ಇಟರೇಷನ್ ಎಂಬ ಮತ್ತೊಂದು ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ತಂತ್ರವು ನೀತಿಯನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಪ್ರತಿನಿಧಿಸುತ್ತದೆ ಮತ್ತು ಸುಧಾರಿಸುತ್ತದೆ. ಅಂದಾಜು ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಪರಿಹಾರಗಳು ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ನಿಖರವಾಗಿ ಪರಿಹರಿಸಲು ಗಣನೆಗೆ ಅಸಾಧ್ಯವಾಗಿರುತ್ತವೆ, ಆದ್ದರಿಂದ ಕಂಪ್ಯೂಟರ್ ವಿಜ್ಞಾನಿಗಳು ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಗಳಿಗೆ ಅಂದಾಜು ಪರಿಹಾರಗಳನ್ನು ನೀಡುವ ವಿಧಾನಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ್ದಾರೆ. ಗ್ರಿಡ್-ಆಧಾರಿತ ಕ್ರಮಾವಳಿಗಳು ಒಂದು ಅಂದಾಜು ಪರಿಹಾರ ತಂತ್ರವನ್ನು ಒಳಗೊಂಡಿವೆ. ಈ ವಿಧಾನದಲ್ಲಿ, ನಂಬಿಕೆಯ ಸ್ಥಳದಲ್ಲಿನ ಬಿಂದುಗಳ ಗುಂಪಿಗೆ ಮೌಲ್ಯದ ಕಾರ್ಯವನ್ನು ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ, ಮತ್ತು ಗ್ರಿಡ್ ಬಿಂದುಗಳ ಗುಂಪಿನಲ್ಲಿಲ್ಲದ ಇತರ ನಂಬಿಕೆಯ ಸ್ಥಿತಿಗಳಿಗೆ ಸೂಕ್ತವಾದ ಕ್ರಮವನ್ನು ನಿರ್ಧರಿಸಲು ಅಂತರ್ವೇಶನವನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಇತ್ತೀಚಿನ ಕೆಲಸವು ಮಾದರಿ ತಂತ್ರಗಳು, ಸಾಮಾನ್ಯೀಕರಣ ತಂತ್ರಗಳು ಮತ್ತು ಸಮಸ್ಯೆಯ ರಚನೆಯ ಬಳಕೆಯನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯನ್ನು ಲಕ್ಷಾಂತರ ರಾಜ್ಯಗಳೊಂದಿಗೆ ದೊಡ್ಡ ಡೊಮೇನ್ಗಳಿಗೆ ವಿಸ್ತರಿಸಿದೆ. ಉದಾಹರಣೆಗೆ, ಅಡಾಪ್ಟಿವ್ ಗ್ರಿಡ್ಗಳು ಮತ್ತು ಪಾಯಿಂಟ್-ಆಧಾರಿತ ವಿಧಾನಗಳು ನಂಬಿಕೆಯ ಜಾಗದಲ್ಲಿನ ಸಂಬಂಧಿತ ಕ್ಷೇತ್ರಗಳಿಗೆ ಯೋಜನೆಯನ್ನು ನಿರ್ಬಂಧಿಸಲು ಯಾದೃಚ್ಛಿಕವಾಗಿ ತಲುಪಬಹುದಾದ ನಂಬಿಕೆಯ ಅಂಶಗಳನ್ನು ಮಾದರಿ ಮಾಡುತ್ತವೆ. ಪಿಸಿಎಯನ್ನು ಬಳಸಿಕೊಂಡು ಆಯಾಮದ ಕಡಿತವನ್ನು ಸಹ ಅನ್ವೇಷಿಸಲಾಗಿದೆ. ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಗಳನ್ನು ಪರಿಹರಿಸಲು ಅಂದಾಜು ಪರಿಹಾರ ತಂತ್ರಗಳ ಮತ್ತೊಂದು ಸಾಲು ಹಿಂದಿನ ಅವಲೋಕನಗಳು, ಕ್ರಿಯೆಗಳು ಮತ್ತು ಪ್ರಸ್ತುತ ಹಂತದವರೆಗಿನ ಪ್ರತಿಫಲಗಳ ಇತಿಹಾಸವನ್ನು ಹುಸಿ-ಸ್ಥಿತಿಯಾಗಿ ಬಳಸುವುದರ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ. ಈ ಹುಸಿ-ರಾಜ್ಯಗಳ ಆಧಾರದ ಮೇಲೆ ಎಂಡಿಪಿಗಳನ್ನು ಪರಿಹರಿಸಲು ಸಾಮಾನ್ಯ ತಂತ್ರಗಳನ್ನು ನಂತರ ಬಳಸಬಹುದು (ಉದಾಹರಣೆಗೆ. ಕ್ಯೂ-ಲರ್ನಿಂಗ್). ಆದರ್ಶಪ್ರಾಯವಾಗಿ ಹುಸಿ-ರಾಜ್ಯಗಳು ಸಾಧ್ಯವಾದಷ್ಟು ಸಂಕುಚಿತವಾಗಿರುವಾಗ (ಮಿತಿಮೀರಿದ ಹೊಂದಾಣಿಕೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು) ಇಡೀ ಇತಿಹಾಸದ ಅತ್ಯಂತ ಪ್ರಮುಖ ಮಾಹಿತಿಯನ್ನು (ಪಕ್ಷಪಾತವನ್ನು ಕಡಿಮೆ ಮಾಡಲು) ಹೊಂದಿರಬೇಕು. ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯಲ್ಲಿ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಸಿದ್ಧಾಂತದ ಯೋಜನೆಯು ಸಾಮಾನ್ಯವಾಗಿ ಅನಿಶ್ಚಿತವಾಗಿದೆ. ಆದಾಗ್ಯೂ, ಕೆಲವು ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ನಿರ್ಣಾಯಕವೆಂದು ಗುರುತಿಸಲಾಗಿದೆ (ಕೋಷ್ಟಕ 2 ಅನ್ನು ನೋಡಿ, ಕೆಳಗೆ ಪುನರುತ್ಪಾದಿಸಲಾಗಿದೆ). ವಿವಿಧ ಉದ್ದೇಶಗಳನ್ನು ಪರಿಗಣಿಸಲಾಗಿದೆ. ಬುಚಿ ಉದ್ದೇಶಗಳನ್ನು ಬುಚಿ ಆಟೋಮಾಟಾದಿಂದ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ. ತಲುಪುವಿಕೆಯು ಬುಚಿ ಸ್ಥಿತಿಯ ಒಂದು ಉದಾಹರಣೆಯಾಗಿದೆ (ಉದಾಹರಣೆಗೆ, ಎಲ್ಲಾ ರೋಬೋಟ್ಗಳು ಮನೆಯಲ್ಲಿರುವ ಉತ್ತಮ ಸ್ಥಿತಿಯನ್ನು ತಲುಪುವುದು). ಕೋಬುಚಿಯ ಉದ್ದೇಶಗಳು ನಿರ್ದಿಷ್ಟವಾದ ಬುಚಿ ಸ್ಥಿತಿಯನ್ನು ತೃಪ್ತಿಪಡಿಸದ ಕುರುಹುಗಳಿಗೆ ಅನುಗುಣವಾಗಿರುತ್ತವೆ (ಉದಾಹರಣೆಗೆ, ಕೆಲವು ರೋಬೋಟ್ ಸತ್ತ ಕೆಟ್ಟ ಸ್ಥಿತಿಯನ್ನು ತಲುಪದಿರುವುದು). ಸಮಾನತೆಯ ಉದ್ದೇಶಗಳನ್ನು ಸಮಾನತೆಯ ಆಟಗಳ ಮೂಲಕ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗುತ್ತದೆ; ಅವು ಪ್ರತಿ 10 ಸಮಯದ ಹಂತಗಳಿಗೆ ಉತ್ತಮ ಸ್ಥಿತಿಯನ್ನು ತಲುಪುವಂತಹ ಸಂಕೀರ್ಣ ಉದ್ದೇಶಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತವೆ. ಉದ್ದೇಶವನ್ನು ತೃಪ್ತಿಪಡಿಸಬಹುದುಃ ಬಹುತೇಕ ಖಚಿತವಾಗಿ, ಅಂದರೆ ಉದ್ದೇಶವನ್ನು ತೃಪ್ತಿಪಡಿಸುವ ಸಂಭವನೀಯತೆ 1; ಧನಾತ್ಮಕ, ಅಂದರೆ ಉದ್ದೇಶವನ್ನು ತೃಪ್ತಿಪಡಿಸುವ ಸಂಭವನೀಯತೆಯು ಕಟ್ಟುನಿಟ್ಟಾಗಿ 0 ಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿರುತ್ತದೆ; ಪರಿಮಾಣಾತ್ಮಕ, ಅಂದರೆ ಉದ್ದೇಶವನ್ನು ತೃಪ್ತಿಪಡಿಸುವ ಸಂಭವನೀಯತೆಯು ನಿರ್ದಿಷ್ಟ ಮಿತಿಗಿಂತ ಹೆಚ್ಚಾಗಿರುತ್ತದೆ. ಏಜೆಂಟ್ ಒಂದು ಸೀಮಿತ-ಸ್ಥಿತಿಯ ಯಂತ್ರವಾಗಿರುವ ಸೀಮಿತ ಮೆಮೊರಿ ಪ್ರಕರಣವನ್ನು ಮತ್ತು ಏಜೆಂಟ್ ಅನಂತ ಮೆಮೊರಿಯನ್ನು ಹೊಂದಿರುವ ಸಾಮಾನ್ಯ ಪ್ರಕರಣವನ್ನು ಸಹ ನಾವು ಪರಿಗಣಿಸುತ್ತೇವೆ. ಅನೇಕ ರೀತಿಯ ನೈಜ-ಪ್ರಪಂಚದ ಸಮಸ್ಯೆಗಳನ್ನು ರೂಪಿಸಲು ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಗಳನ್ನು ಬಳಸಬಹುದು. ಗಮನಾರ್ಹ ಅನ್ವಯಿಕೆಗಳಲ್ಲಿ ರಕ್ತಕೊರತೆಯ ಹೃದ್ರೋಗದ ರೋಗಿಗಳ ನಿರ್ವಹಣೆಯಲ್ಲಿ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯ ಬಳಕೆ, ಬುದ್ಧಿಮಾಂದ್ಯತೆ ಹೊಂದಿರುವ ವ್ಯಕ್ತಿಗಳಿಗೆ ಸಹಾಯಕ ತಂತ್ರಜ್ಞಾನ, ತೀವ್ರವಾಗಿ ಅಳಿವಿನಂಚಿನಲ್ಲಿರುವ ಮತ್ತು ಸುಮಾತ್ರನ್ ಹುಲಿಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಕಷ್ಟವಾದ ಹುಲಿಗಳ ಸಂರಕ್ಷಣೆ ಮತ್ತು ವಿಮಾನ ಘರ್ಷಣೆ ತಪ್ಪಿಸುವುದು ಸೇರಿವೆ. ಒಂದು ಅಪ್ಲಿಕೇಶನ್ ಬೋಧನೆಯ ಪ್ರಕರಣವಾಗಿದೆ, ಅಳುತ್ತಿರುವ ಮಗುವಿನ ಸಮಸ್ಯೆ, ಅಲ್ಲಿ ಮಗು ಅಳುತ್ತಿದೆಯೇ ಅಥವಾ ಇಲ್ಲವೇ ಎಂಬ ಅವಲೋಕನದ ಆಧಾರದ ಮೇಲೆ ಮಗುವಿಗೆ ಆಹಾರ ನೀಡಬೇಕೆ ಎಂದು ಪೋಷಕರು ಅನುಕ್ರಮವಾಗಿ ನಿರ್ಧರಿಸಬೇಕಾಗುತ್ತದೆ, ಇದು ನಿಜವಾದ ಮಗುವಿನ ಹಸಿವಿನ ಸ್ಥಿತಿಯ ಅಪೂರ್ಣ ಪ್ರಾತಿನಿಧ್ಯವಾಗಿದೆ. ಬಾಹ್ಯ ಕೊಂಡಿಗಳು ಎ. ಪಿ. ಪಿ. ಎಲ್., ಶಾಖೆ-ಮತ್ತು-ಬೌಂಡ್ ಅನ್ನು ಬಳಸುವ ವೇಗದ ಪಾಯಿಂಟ್-ಆಧಾರಿತ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಪರಿಹಾರಕ ಫೈನೈಟ್-ಸ್ಟೇಟ್ ಕಂಟ್ರೋಲರ್ಗಳು ಒಂದು ಬೌಂಡೇಡ್ ಸೈಜ್ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಯ ನೀತಿಗಳಿಗಾಗಿ ನಿಖರವಾದ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ. ಪರಿಹಾರಕಃ ಭಾಗಶಃ ವೀಕ್ಷಿಸಬಹುದಾದ ಮಾರ್ಕೋವ್ ನಿರ್ಧಾರ ಪ್ರಕ್ರಿಯೆಗಳಿಗಾಗಿ ಮೂಲಸೌಕರ್ಯ (ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ.) ಒಂದು ಆರ್ ಪ್ಯಾಕೇಜ್, ಇದು ಟೋನಿ ಕ್ಯಾಸ್ಸಂದ್ರಾರ ಪಿ. ಓ. ಎಂ. ಡಿ. ಪಿ.-ಪರಿಹಾರ ಕಾರ್ಯಕ್ರಮಕ್ಕೆ ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಒಳಗೊಂಡಿದೆ. POMDPs.jl, ಜೂಲಿಯಾ ಮತ್ತು ಪೈಥಾನ್ನಲ್ಲಿ ವಿವಿಧ ಪರಿಹಾರಗಳೊಂದಿಗೆ ಎಂಡಿಪಿಗಳು ಮತ್ತು ಪಿಓಎಂಡಿಪಿಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಲು ಮತ್ತು ಪರಿಹರಿಸಲು ಒಂದು ಇಂಟರ್ಫೇಸ್ ಆಗಿದೆ. ಆಲಿವರ್ ಸ್ಟೋಲ್ಮನ್ ಮತ್ತು ಟ್ರೇ ಸ್ಮಿತ್ ಡೈನಾಮಿಕ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಮಾರ್ಕೋವ್ ಅವರ ಪಿಓಎಂಡಿಪಿ ಪರಿಹಾರಕವಾದ ಬಾಸ್ಟಿಯನ್ ಮಿಗ್ ಜೆಡ್ಎಂಡಿಪಿ ಅವರಿಂದ ಪೈಥಾನ್ಗಾಗಿ (ಪಿಒ) ಎಂಡಿಪಿ ಟೂಲ್ಬಾಕ್ಸ್ (ಸಿಮ್ಯುಲೇಟರ್, ಸಾಲ್ವರ್, ಲರ್ನರ್, ಫೈಲ್ ರೀಡರ್) ಪೈಪೋಎಂಡಿಪಿ, ಸಂಭವನೀಯ ನಿಯಂತ್ರಣವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತದೆ.