Mountain car problem
ಮೌಂಟೇನ್ ಕಾರ್, ಬಲವರ್ಧನೆಯ ಕಲಿಕೆಯಲ್ಲಿ ಪ್ರಮಾಣಿತ ಪರೀಕ್ಷಾ ಕ್ಷೇತ್ರವಾಗಿದ್ದು, ಇದರಲ್ಲಿ ಕಡಿಮೆ-ಶಕ್ತಿಯ ಕಾರು ಕಡಿದಾದ ಬೆಟ್ಟದ ಮೇಲೆ ಓಡಬೇಕಾಗುತ್ತದೆ. ಕಾರಿನ ಎಂಜಿನ್ಗಿಂತ ಗುರುತ್ವಾಕರ್ಷಣೆಯು ಬಲವಾಗಿರುವುದರಿಂದ, ಪೂರ್ಣ ಥ್ರೊಟಲ್ನಲ್ಲಿಯೂ ಸಹ, ಕಾರಿಗೆ ಕಡಿದಾದ ಇಳಿಜಾರನ್ನು ವೇಗಗೊಳಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಕಾರು ಕಣಿವೆಯಲ್ಲಿದೆ ಮತ್ತು ಕಾರು ಬಲಭಾಗದ ಬೆಟ್ಟದ ತುದಿಯಲ್ಲಿರುವ ಗುರಿಯನ್ನು ತಲುಪುವ ಮೊದಲು ಎದುರು ಬೆಟ್ಟವನ್ನು ಹತ್ತುವ ಮೂಲಕ ಸಂಭಾವ್ಯ ಶಕ್ತಿಯನ್ನು ಬಳಸಿಕೊಳ್ಳಲು ಕಲಿಯಬೇಕು. ವಿವಿಧ ಬಲವರ್ಧನೆ ಕಲಿಕೆಯ ಪ್ರಬಂಧಗಳಲ್ಲಿ ಈ ಕ್ಷೇತ್ರವನ್ನು ಪರೀಕ್ಷಾ ಕೇಂದ್ರವಾಗಿ ಬಳಸಲಾಗಿದೆ. ಪರಿಚಯ ಮೌಂಟೇನ್ ಕಾರ್ ಸಮಸ್ಯೆಯನ್ನು, ಸಾಕಷ್ಟು ಸರಳವಾಗಿದ್ದರೂ, ಸಾಮಾನ್ಯವಾಗಿ ಅನ್ವಯಿಸಲಾಗುತ್ತದೆ ಏಕೆಂದರೆ ಇದಕ್ಕೆ ಎರಡು ನಿರಂತರ ಅಸ್ಥಿರಗಳ ಬಗ್ಗೆ ಕಲಿಯಲು ಬಲವರ್ಧನೆಯ ಕಲಿಕಾ ಏಜೆಂಟ್ ಅಗತ್ಯವಿದೆಃ ಸ್ಥಾನ ಮತ್ತು ವೇಗ. ಕಾರಿನ ಯಾವುದೇ ನಿರ್ದಿಷ್ಟ ಸ್ಥಿತಿಗೆ (ಸ್ಥಾನ ಮತ್ತು ವೇಗ), ಏಜೆಂಟ್ಗೆ ಎಡಕ್ಕೆ ಚಾಲನೆ ಮಾಡುವ, ಬಲಕ್ಕೆ ಚಾಲನೆ ಮಾಡುವ ಅಥವಾ ಎಂಜಿನ್ ಅನ್ನು ಬಳಸದಿರುವ ಸಾಧ್ಯತೆಯನ್ನು ನೀಡಲಾಗುತ್ತದೆ. ಸಮಸ್ಯೆಯ ಪ್ರಮಾಣಿತ ಆವೃತ್ತಿಯಲ್ಲಿ, ಗುರಿಯನ್ನು ತಲುಪದಿದ್ದಾಗ ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಏಜೆಂಟ್ ಋಣಾತ್ಮಕ ಬಹುಮಾನವನ್ನು ಪಡೆಯುತ್ತಾನೆ; ಆರಂಭಿಕ ಯಶಸ್ಸಿನವರೆಗೆ ಏಜೆಂಟ್ಗೆ ಗುರಿಯ ಬಗ್ಗೆ ಯಾವುದೇ ಮಾಹಿತಿ ಇರುವುದಿಲ್ಲ. ಮೌಂಟೇನ್ ಕಾರ್ ಸಮಸ್ಯೆಯು ಆಂಡ್ರ್ಯೂ ಮೂರ್ ಅವರ ಪಿಎಚ್ಡಿ ಥೀಸಿಸ್ನಲ್ಲಿ (1990) ಮೊದಲು ಕಾಣಿಸಿಕೊಂಡಿತು. ನಂತರ ಇದನ್ನು ಸಿಂಗ್ ಮತ್ತು ಸುಟ್ಟನ್ ಅವರ ಬಲವರ್ಧನೆ ಒಲವು ಪತ್ರಿಕೆಯಲ್ಲಿ ಅರ್ಹತಾ ಕುರುಹುಗಳೊಂದಿಗೆ ಹೆಚ್ಚು ಕಟ್ಟುನಿಟ್ಟಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ. ಸುಟ್ಟನ್ ಮತ್ತು ಬಾರ್ಟೊ ತಮ್ಮ ಪುಸ್ತಕ ರೀನ್ಫೋರ್ಸ್ಮೆಂಟ್ ಲರ್ನಿಂಗ್ಃ ಆನ್ ಇಂಟ್ರೊಡಕ್ಷನ್ (1998) ಗೆ ಇದನ್ನು ಸೇರಿಸಿದಾಗ ಈ ಸಮಸ್ಯೆಯನ್ನು ಹೆಚ್ಚು ವ್ಯಾಪಕವಾಗಿ ಅಧ್ಯಯನ ಮಾಡಲಾಯಿತು. ವರ್ಷವಿಡೀ ಸಮಸ್ಯೆಯ ಅನೇಕ ಆವೃತ್ತಿಗಳನ್ನು ಬಳಸಲಾಗಿದೆ, ಉದಾಹರಣೆಗೆ ಬಹುಮಾನ ಕಾರ್ಯ, ಮುಕ್ತಾಯ ಸ್ಥಿತಿ ಮತ್ತು/ಅಥವಾ ಪ್ರಾರಂಭದ ಸ್ಥಿತಿಯನ್ನು ಮಾರ್ಪಡಿಸುವಂತಹವು. ಮೌಂಟೇನ್ ಕಾರ್ ಕ್ಯೂ-ಲರ್ನಿಂಗ್ ಅನ್ನು ಪರಿಹರಿಸಲು ಬಳಸುವ ತಂತ್ರಗಳು ಮತ್ತು ಪ್ರತ್ಯೇಕ ಸ್ಥಿತಿಗಳನ್ನು ಪ್ರತ್ಯೇಕ ಕ್ರಿಯೆಗಳಿಗೆ ಮ್ಯಾಪ್ ಮಾಡಲು ಇದೇ ರೀತಿಯ ತಂತ್ರಗಳನ್ನು ಸಮಸ್ಯೆಯ ನಿರಂತರ ಸ್ಥಿತಿ ಜಾಗವನ್ನು ಎದುರಿಸಲು ಸಾಧ್ಯವಾಗುವಂತೆ ವಿಸ್ತರಿಸಬೇಕಾಗಿದೆ. ವಿಧಾನಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಎರಡು ವರ್ಗಗಳಲ್ಲಿ ಒಂದಕ್ಕೆ ಸೇರುತ್ತವೆ, ಸ್ಟೇಟ್ ಸ್ಪೇಸ್ ಡಿಸ್ಕ್ರಿಟೈಸೇಶನ್ ಅಥವಾ ಫಂಕ್ಷನ್ ಅಂದಾಜು. ವಿವೇಚನೆ ಈ ವಿಧಾನದಲ್ಲಿ, ಎರಡು ನಿರಂತರ ಸ್ಥಿತಿಯ ಅಸ್ಥಿರಗಳನ್ನು ಪ್ರತ್ಯೇಕ ಸ್ಥಿತಿಗಳಿಗೆ ತಳ್ಳಲಾಗುತ್ತದೆ, ಪ್ರತಿ ನಿರಂತರ ಅಸ್ಥಿರವನ್ನು ಅನೇಕ ಪ್ರತ್ಯೇಕ ಸ್ಥಿತಿಗಳಾಗಿ ವಿಂಗಡಿಸಲಾಗುತ್ತದೆ. ಈ ವಿಧಾನವು ಸರಿಯಾಗಿ ಹೊಂದಿಸಲಾದ ನಿಯತಾಂಕಗಳೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಆದರೆ ಒಂದು ಅನಾನುಕೂಲವೆಂದರೆ ಒಂದು ರಾಜ್ಯದಿಂದ ಸಂಗ್ರಹಿಸಿದ ಮಾಹಿತಿಯನ್ನು ಮತ್ತೊಂದು ರಾಜ್ಯವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಬಳಸಲಾಗುವುದಿಲ್ಲ. ಟೈಲ್ ಕೋಡಿಂಗ್ ಅನ್ನು ಡಿಸ್ಕ್ರಿಟೈಸೇಶನ್ ಅನ್ನು ಸುಧಾರಿಸಲು ಬಳಸಬಹುದು ಮತ್ತು ಬಕೆಟ್ಗಳ ಸೆಟ್ಗಳಾಗಿ ಮ್ಯಾಪಿಂಗ್ ಮಾಡುವ ನಿರಂತರ ಅಸ್ಥಿರಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ತರಬೇತಿಯ ಪ್ರತಿಯೊಂದು ಹಂತವು ಮೌಲ್ಯ ಕಾರ್ಯದ ಅಂದಾಜಿನ ಮೇಲೆ ವ್ಯಾಪಕವಾದ ಪರಿಣಾಮವನ್ನು ಬೀರುತ್ತದೆ ಏಕೆಂದರೆ ಆಫ್ಸೆಟ್ ಗ್ರಿಡ್ಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸಿದಾಗ, ಮಾಹಿತಿಯು ಹರಡುತ್ತದೆ. ಕಾರ್ಯ ಅಂದಾಜು ಕಾರ್ಯ ಅಂದಾಜು ಪರ್ವತ ಕಾರನ್ನು ಪರಿಹರಿಸುವ ಮತ್ತೊಂದು ಮಾರ್ಗವಾಗಿದೆ. ಮುಂಚಿತವಾಗಿ ಬೇಸಿಸ್ ಫಂಕ್ಷನ್ಗಳ ಗುಂಪನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ಮೂಲಕ ಅಥವಾ ಅವುಗಳನ್ನು ಕಾರ್ ಡ್ರೈವ್ಗಳಾಗಿ ಉತ್ಪಾದಿಸುವ ಮೂಲಕ, ಏಜೆಂಟ್ ಪ್ರತಿ ಸ್ಥಿತಿಯಲ್ಲಿನ ಮೌಲ್ಯದ ಕಾರ್ಯವನ್ನು ಅಂದಾಜು ಮಾಡಬಹುದು. ಡಿಸ್ಕ್ರಿಟೈಸೇಶನ್ನೊಂದಿಗೆ ರಚಿಸಲಾದ ಮೌಲ್ಯ ಕಾರ್ಯದ ಹಂತವಾರು ಆವೃತ್ತಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ಕಾರ್ಯ ಅಂದಾಜು ಪರ್ವತ ಕಾರು ಡೊಮೇನ್ನ ನಿಜವಾದ ಸುಗಮ ಕಾರ್ಯವನ್ನು ಹೆಚ್ಚು ಸ್ವಚ್ಛವಾಗಿ ಅಂದಾಜು ಮಾಡಬಹುದು. ಅರ್ಹತೆಯ ಕುರುಹುಗಳು ಸಮಸ್ಯೆಯ ಒಂದು ಆಸಕ್ತಿದಾಯಕ ಅಂಶವು ನಿಜವಾದ ಬಹುಮಾನದ ವಿಳಂಬವನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಏಜೆಂಟ್ ಯಶಸ್ವಿಯಾಗಿ ಪೂರ್ಣಗೊಳ್ಳುವವರೆಗೆ ಗುರಿಯ ಬಗ್ಗೆ ತಿಳಿದುಕೊಳ್ಳಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ. ಪ್ರತಿ ಪ್ರಯೋಗಕ್ಕೂ ನಿಷ್ಕಪಟವಾದ ವಿಧಾನವನ್ನು ನೀಡಿದರೆ, ಕಾರು ಗೋಲಿನ ಬಹುಮಾನವನ್ನು ಸ್ವಲ್ಪಮಟ್ಟಿಗೆ ಮಾತ್ರ ಬ್ಯಾಕ್ಅಪ್ ಮಾಡಬಹುದು. ಇದು ನಿಷ್ಕಪಟ ವಿವೇಚನೆಗೆ ಸಮಸ್ಯೆಯಾಗಿದೆ ಏಕೆಂದರೆ ಪ್ರತಿ ಪ್ರತ್ಯೇಕ ಸ್ಥಿತಿಯನ್ನು ಒಮ್ಮೆ ಮಾತ್ರ ಬ್ಯಾಕಪ್ ಮಾಡಲಾಗುತ್ತದೆ, ಸಮಸ್ಯೆಯನ್ನು ಕಲಿಯಲು ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಕಂತುಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ಈ ಸಮಸ್ಯೆಯನ್ನು ಅರ್ಹತಾ ಗುರುತುಗಳ ಕಾರ್ಯವಿಧಾನದ ಮೂಲಕ ನಿವಾರಿಸಬಹುದು, ಇದು ಈ ಹಿಂದೆ ರಾಜ್ಯಗಳಿಗೆ ನೀಡಲಾದ ಬಹುಮಾನವನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಬ್ಯಾಕ್ಅಪ್ ಮಾಡುತ್ತದೆ, ಇದು ಕಲಿಕೆಯ ವೇಗವನ್ನು ನಾಟಕೀಯವಾಗಿ ಹೆಚ್ಚಿಸುತ್ತದೆ. ಅರ್ಹತೆಯ ಕುರುಹುಗಳನ್ನು ತಾತ್ಕಾಲಿಕ ವ್ಯತ್ಯಾಸ ಕಲಿಕೆಯ ವಿಧಾನಗಳಿಂದ ಮಾಂಟೆ ಕಾರ್ಲೊ ವಿಧಾನಗಳಿಗೆ ಸೇತುವೆಯಾಗಿ ನೋಡಬಹುದು. ತಾಂತ್ರಿಕ ವಿವರಗಳು ಪರ್ವತದ ಕಾರಿನ ಸಮಸ್ಯೆಯು ಅನೇಕ ಪುನರಾವರ್ತನೆಗಳಿಗೆ ಒಳಗಾಗಿದೆ. ಈ ವಿಭಾಗವು ಸುಟ್ಟನ್ (2008) ನಿಂದ ಪ್ರಮಾಣಿತವಾಗಿ ಉತ್ತಮವಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸಲಾದ ಆವೃತ್ತಿಯ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ. ಎರಡು-ಆಯಾಮದ ನಿರಂತರ ಸ್ಥಿತಿ ಸ್ಥಳದ ಸ್ಥಿತಿ ಅಸ್ಥಿರಗಳು. ಕ್ರಿಯೆಗಳು ಒಂದು-ಆಯಾಮದ ಪ್ರತ್ಯೇಕ ಕ್ರಿಯೆ ಸ್ಥಳ. ಪ್ರತಿ ಹಂತದ ಹಂತಕ್ಕೂ ಬಹುಮಾನಃ ನವೀಕರಣ ಕಾರ್ಯ ಪ್ರತಿ ಹಂತದ ಹಂತಕ್ಕೂಃ ಆರಂಭಿಕ ಸ್ಥಿತಿ ಐಚ್ಛಿಕವಾಗಿ, ಅನೇಕ ಅನುಷ್ಠಾನಗಳು ಉತ್ತಮ ಸಾಮಾನ್ಯ ಕಲಿಕೆಯನ್ನು ತೋರಿಸಲು ಎರಡೂ ನಿಯತಾಂಕಗಳಲ್ಲಿ ಯಾದೃಚ್ಛಿಕತೆಯನ್ನು ಒಳಗೊಂಡಿರುತ್ತವೆ. ಅಂತ್ಯಗೊಳಿಸುವ ಸ್ಥಿತಿಯು ಸಿಮ್ಯುಲೇಶನ್ ಅನ್ನು ಯಾವಾಗ ಕೊನೆಗೊಳಿಸುತ್ತದೆಃ ವ್ಯತ್ಯಾಸಗಳು ಪರ್ವತ ಕಾರಿನ ಅನೇಕ ಆವೃತ್ತಿಗಳಿವೆ, ಇದು ಪ್ರಮಾಣಿತ ಮಾದರಿಗಿಂತ ವಿಭಿನ್ನ ರೀತಿಯಲ್ಲಿ ಭಿನ್ನವಾಗಿದೆ. ವ್ಯತ್ಯಾಸಗೊಳ್ಳುವ ಚಲಪರಿಮಾಣಗಳು ಸಮಸ್ಯೆಯ ಸ್ಥಿರಾಂಕಗಳನ್ನು (ಗುರುತ್ವ ಮತ್ತು ತೀವ್ರತೆ) ಬದಲಾಯಿಸುವುದಕ್ಕೆ ಸೀಮಿತವಾಗಿಲ್ಲ, ಆದ್ದರಿಂದ ನಿರ್ದಿಷ್ಟ ನೀತಿಗಳಿಗೆ ನಿರ್ದಿಷ್ಟ ಶ್ರುತಿ ಅಪ್ರಸ್ತುತವಾಗುತ್ತದೆ ಮತ್ತು ವಿಭಿನ್ನ ರೀತಿಯಲ್ಲಿ ಕಲಿಯುವ ಏಜೆಂಟ್ನ ಸಾಮರ್ಥ್ಯದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಲು ಪ್ರತಿಫಲ ಕಾರ್ಯವನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ. ಒಂದು ಉದಾಹರಣೆಯೆಂದರೆ ಬಹುಮಾನವನ್ನು ಗೋಲಿನಿಂದ ದೂರಕ್ಕೆ ಸಮಾನವಾಗಿ ಬದಲಾಯಿಸುವುದು, ಅಥವಾ ಬಹುಮಾನವನ್ನು ಎಲ್ಲೆಡೆ ಶೂನ್ಯಕ್ಕೆ ಮತ್ತು ಗೋಲಿನಲ್ಲಿ ಒಂದಕ್ಕೆ ಬದಲಾಯಿಸುವುದು. ಹೆಚ್ಚುವರಿಯಾಗಿ ನಾವು 4ಡಿ ಕಂಟಿನ್ಯೂಸ್ ಸ್ಟೇಟ್ ಸ್ಪೇಸ್ ಹೊಂದಿರುವ 3ಡಿ ಮೌಂಟೇನ್ ಕಾರನ್ನು ಬಳಸಬಹುದು. ಉಲ್ಲೇಖಗಳ ಅನುಷ್ಠಾನಗಳು ಸಿ + + ಮೌಂಟೇನ್ ಕಾರ್ ಸಾಫ್ಟ್ವೇರ್. ರಿಚರ್ಡ್ ಎಸ್. ಸುಟ್ಟನ್. ಆರ್ಎಲ್ ಗ್ಲೂ ಪೈಥಾನ್ಗೆ ಬೆಂಬಲದೊಂದಿಗೆ ಜಾವಾ ಮೌಂಟೇನ್ ಕಾರ್, ಉತ್ತಮ ಚರ್ಚೆಯೊಂದಿಗೆ (ಬ್ಲಾಗ್ ಪೋಸ್ಟ್-ಡೌನ್ ಪೇಜ್) ಮೌಂಟೇನ್ ಕಾರನ್ನು ಅರ್ಹತೆಯೊಂದಿಗೆ ಬದಲಾಯಿಸುವುದು ಗಾಸಿಯನ್ ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಮೌಂಟೇನ್ ಕಾರ್ ಯಂತ್ರ ಕಲಿಕೆಯೊಂದಿಗೆ ಗುರುತಿಸುತ್ತದೆ