Learning automaton
ಕಲಿಕೆಯ ಯಾಂತ್ರೀಕೃತ ಯಂತ್ರವು 1970ರ ದಶಕದಿಂದ ಅಧ್ಯಯನ ಮಾಡಲಾದ ಒಂದು ರೀತಿಯ ಯಂತ್ರ ಕಲಿಕೆಯ ಕ್ರಮಾವಳಿ. ಸ್ವಯಂಚಾಲಿತ ಕಲಿಕೆ ಪರಿಸರದ ಹಿಂದಿನ ಅನುಭವಗಳ ಆಧಾರದ ಮೇಲೆ ಅವರ ಪ್ರಸ್ತುತ ಕ್ರಿಯೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ. ಪರಿಸರವು ಯಾದೃಚ್ಛಿಕವಾಗಿದ್ದರೆ ಮತ್ತು ಮಾರ್ಕೊವ್ ನಿರ್ಧಾರ ಪ್ರಕ್ರಿಯೆಯನ್ನು (ಎಂಡಿಪಿ) ಬಳಸಿದರೆ ಅದು ಬಲವರ್ಧನೆಯ ಕಲಿಕೆಯ ವ್ಯಾಪ್ತಿಗೆ ಬರುತ್ತದೆ. ಆಟೋಮ್ಯಾಟಾವನ್ನು ಕಲಿಯುವಲ್ಲಿನ ಇತಿಹಾಸದ ಸಂಶೋಧನೆಯನ್ನು 1960ರ ದಶಕದ ಆರಂಭದಲ್ಲಿ ಸೋವಿಯತ್ ಒಕ್ಕೂಟದಲ್ಲಿ ಮೈಕೆಲ್ ಲ್ವೊವಿಚ್ ಸೆಟ್ಲಿನ್ ಅವರ ಕೆಲಸದಿಂದ ಗುರುತಿಸಬಹುದು. ಕೆಲವು ಸಹೋದ್ಯೋಗಿಗಳೊಂದಿಗೆ, ಅವರು ಸ್ವಯಂಚಾಲಿತ ಕಾರ್ಯಗಳನ್ನು ವಿವರಿಸಲು ಮ್ಯಾಟ್ರಿಕ್ಸ್ಗಳನ್ನು ಹೇಗೆ ಬಳಸುವುದು ಎಂಬುದರ ಕುರಿತು ಪ್ರಬಂಧಗಳ ಸಂಗ್ರಹವನ್ನು ಪ್ರಕಟಿಸಿದರು. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಸೆಟ್ಲಿನ್ ಸಮಂಜಸವಾದ ಮತ್ತು ಸಾಮೂಹಿಕ ಸ್ವಯಂಚಾಲಿತ ನಡವಳಿಕೆ ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ಆಟಗಳ ಮೇಲೆ ಕೆಲಸ ಮಾಡಿದರು. 1960 ರ ದಶಕದಲ್ಲಿ ಯುನೈಟೆಡ್ ಸ್ಟೇಟ್ಸ್ನಲ್ಲಿನ ಸಂಶೋಧನೆಗಳು ಕಲಿಕೆಯ ಸ್ವಯಂಚಾಲಿತತೆಯನ್ನು ಸಹ ತನಿಖೆ ಮಾಡಿದ್ದವು. ಆದಾಗ್ಯೂ, ಲರ್ನಿಂಗ್ ಆಟೋಮ್ಯಾಟನ್ ಎಂಬ ಪದವನ್ನು ನರೇಂದ್ರ ಮತ್ತು ತಾತಾಚಾರ್ ಅವರು 1974ರಲ್ಲಿ ಸಮೀಕ್ಷೆಯೊಂದರಲ್ಲಿ ಪರಿಚಯಿಸುವವರೆಗೂ ಬಳಸಲಾಗಲಿಲ್ಲ. ವ್ಯಾಖ್ಯಾನ ಕಲಿಕೆಯ ಯಾಂತ್ರೀಕೃತ ಯಂತ್ರವು ಯಾದೃಚ್ಛಿಕ ಪರಿಸರದಲ್ಲಿ ನೆಲೆಗೊಂಡಿರುವ ಹೊಂದಾಣಿಕೆಯ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವ ಘಟಕವಾಗಿದ್ದು, ಅದರ ಪರಿಸರದೊಂದಿಗೆ ಪುನರಾವರ್ತಿತ ಸಂವಹನಗಳ ಮೂಲಕ ಸೂಕ್ತವಾದ ಕ್ರಿಯೆಯನ್ನು ಕಲಿಯುತ್ತದೆ. ನಿರ್ದಿಷ್ಟ ಸಂಭವನೀಯತೆಯ ವಿತರಣೆಯ ಪ್ರಕಾರ ಕ್ರಿಯೆಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ, ಇದು ನಿರ್ದಿಷ್ಟ ಕ್ರಿಯೆಯನ್ನು ನಿರ್ವಹಿಸುವ ಮೂಲಕ ಆಟೋಮ್ಯಾಟನ್ ಪಡೆಯುವ ಪರಿಸರ ಪ್ರತಿಕ್ರಿಯೆಯ ಆಧಾರದ ಮೇಲೆ ನವೀಕರಿಸಲ್ಪಡುತ್ತದೆ. ಬಲವರ್ಧನೆಯ ಕಲಿಕೆಯ ಕ್ಷೇತ್ರಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ, ಸ್ವಯಂಚಾಲಿತ ಕಲಿಕೆಯನ್ನು ನೀತಿ ಪುನರಾವರ್ತಕಗಳೆಂದು ನಿರೂಪಿಸಲಾಗಿದೆ. ಇತರ ಬಲವರ್ಧನೆ ಕಲಿಯುವವರಿಗೆ ವ್ಯತಿರಿಕ್ತವಾಗಿ, ನೀತಿ ಪುನರಾವರ್ತಕರು ನೇರವಾಗಿ ನೀತಿಯನ್ನು ಕುಶಲತೆಯಿಂದ ನಿರ್ವಹಿಸುತ್ತಾರೆ. ನೀತಿ ಪುನರಾವರ್ತಕಗಳಿಗೆ ಮತ್ತೊಂದು ಉದಾಹರಣೆಯೆಂದರೆ ವಿಕಾಸಾತ್ಮಕ ಕ್ರಮಾವಳಿಗಳು. ಔಪಚಾರಿಕವಾಗಿ, ನರೇಂದ್ರ ಮತ್ತು ಥಾಥಾಚಾರ್ ಅವರು ಸಂಭವನೀಯ ಇನ್ಪುಟ್ಗಳ ಒಂದು ಸೆಟ್ X, ಸಂಭವನೀಯ ಆಂತರಿಕ ಸ್ಥಿತಿಗಳ ಒಂದು ಸೆಟ್, ಸಂಭವನೀಯ ಔಟ್ಪುಟ್ಗಳ ಒಂದು ಸೆಟ್, r ≤ s ನೊಂದಿಗೆ ಸಂಭವನೀಯ ಔಟ್ಪುಟ್ಗಳು ಅಥವಾ ಕ್ರಿಯೆಗಳ α = {α1,., αr}, ಆರಂಭಿಕ ಸ್ಥಿತಿ ಸಂಭವನೀಯತೆ ವೆಕ್ಟರ್ p (0) = ′p1 (0), ps (0) ′, ಗಣಿಸಬಹುದಾದ ಕಾರ್ಯ A, ಇದು ಪ್ರತಿ ಹಂತದ ನಂತರ t ಹಂತವು p (t + 1) ಅನ್ನು p (t) ನಿಂದ ಉತ್ಪಾದಿಸುತ್ತದೆ, ಪ್ರಸ್ತುತ ಇನ್ಪುಟ್, ಮತ್ತು ಪ್ರಸ್ತುತ ಸ್ಥಿತಿ, ಮತ್ತು ಪ್ರತಿ ಹಂತದ ಹಂತದಲ್ಲೂ ಔಟ್ಪುಟ್ ಅನ್ನು ಉತ್ಪಾದಿಸುವ ಕಾರ್ಯ G: φ → α. ತಮ್ಮ ಪ್ರಬಂಧದಲ್ಲಿ, ಅವರು ಆರ್ = ಎಸ್ ಮತ್ತು ಜಿ ಬೈಜೆಕ್ಟಿವ್ ಆಗಿರುವುದರಿಂದ ಸಂಭವನೀಯ ಆಟೋಮ್ಯಾಟಾವನ್ನು ಮಾತ್ರ ತನಿಖೆ ಮಾಡುತ್ತಾರೆ, ಇದು ಕ್ರಿಯೆಗಳು ಮತ್ತು ಸ್ಥಿತಿಗಳನ್ನು ಗೊಂದಲಗೊಳಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಅಂತಹ ಸ್ವಯಂಚಾಲಿತ ಯಂತ್ರದ ಸ್ಥಿತಿಗಳು "ಡಿಸ್ಕ್ರೀಟ್-ಸ್ಟೇಟ್ ಡಿಸ್ಕ್ರೀಟ್-ಪ್ಯಾರಾಮೀಟರ್ ಮಾರ್ಕೋವ್ ಪ್ರಕ್ರಿಯೆಯ" ಸ್ಥಿತಿಗಳಿಗೆ ಅನುಗುಣವಾಗಿರುತ್ತವೆ. ಪ್ರತಿ ಹಂತದಲ್ಲಿ t = 0,1,2,3,., ಸ್ವಯಂಚಾಲಿತ ಯಂತ್ರವು ತನ್ನ ಪರಿಸರದಿಂದ ಇನ್ಪುಟ್ ಅನ್ನು ಓದುತ್ತದೆ, p (t) ಅನ್ನು p (t + 1) ಗೆ A ಯಿಂದ ನವೀಕರಿಸುತ್ತದೆ, ಯಾದೃಚ್ಛಿಕವಾಗಿ ಸಂಭವನೀಯತೆಗಳ p (t + 1) ಗೆ ಅನುಗುಣವಾಗಿ ಉತ್ತರಾಧಿಕಾರಿ ಸ್ಥಿತಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಅನುಗುಣವಾದ ಕ್ರಿಯೆಯನ್ನು ಔಟ್ಪುಟ್ ಮಾಡುತ್ತದೆ. ಆಟೋಮ್ಯಾಟನ್ನ ಪರಿಸರವು, ಪ್ರತಿಯಾಗಿ, ಕ್ರಿಯೆಯನ್ನು ಓದುತ್ತದೆ ಮತ್ತು ಮುಂದಿನ ಇನ್ಪುಟ್ ಅನ್ನು ಆಟೋಮ್ಯಾಟನ್ಗೆ ಕಳುಹಿಸುತ್ತದೆ. ಆಗಾಗ್ಗೆ, ಇನ್ಪುಟ್ ಸೆಟ್ X = {0,1} ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ, 0 ಮತ್ತು 1 ಕ್ರಮವಾಗಿ ದಂಡರಹಿತ ಮತ್ತು ಪರಿಸರದ ದಂಡ ಪ್ರತಿಕ್ರಿಯೆಗೆ ಅನುಗುಣವಾಗಿರುತ್ತವೆ; ಈ ಸಂದರ್ಭದಲ್ಲಿ, ಸ್ವಯಂಚಾಲಿತ ದಂಡ ಪ್ರತಿಕ್ರಿಯೆಗಳ ಸಂಖ್ಯೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಕಲಿಯಬೇಕು, ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ಮತ್ತು ಪರಿಸರದ ಪ್ರತಿಕ್ರಿಯೆ ಲೂಪ್ ಅನ್ನು "ಪಿ-ಮಾದರಿ" ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಹೆಚ್ಚು ಸಾಮಾನ್ಯವಾಗಿ, "ಕ್ಯೂ-ಮಾದರಿ" ಯು ಅನಿಯಂತ್ರಿತ ಸೀಮಿತ ಇನ್ಪುಟ್ ಸೆಟ್ ಎಕ್ಸ್ ಅನ್ನು ಅನುಮತಿಸುತ್ತದೆ, ಮತ್ತು "ಎಸ್-ಮಾದರಿ" ಯು ನೈಜ ಸಂಖ್ಯೆಗಳ ಮಧ್ಯಂತರವನ್ನು [0,1] ಎಕ್ಸ್ ಆಗಿ ಬಳಸುತ್ತದೆ. ನ್ಯೂಕ್ಯಾಸಲ್ ವಿಶ್ವವಿದ್ಯಾನಿಲಯದ ಮೈಕ್ರೋಸಿಸ್ಟಮ್ಸ್ (ಮೈಕ್ರೋಸಿಸ್ಟಮ್ಸ್) ರಿಸರ್ಚ್ ಗ್ರೂಪ್ ಒಂದೇ ಲರ್ನಿಂಗ್ ಆಟೋಮೇಟನ್ನ ದೃಶ್ಯೀಕರಿಸಿದ ಡೆಮೊ/ಆರ್ಟ್ ವರ್ಕ್ ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದೆ. ಫೈನೈಟ್ ಆಕ್ಷನ್-ಸೆಟ್ ಲರ್ನಿಂಗ್ ಆಟೋಮ್ಯಾಟಾ (ಎಫ್ಎಎಲ್ಎ) ಎಂಬುದು ಕಲಿಕೆಯ ಆಟೋಮ್ಯಾಟಾದ ಒಂದು ವರ್ಗವಾಗಿದ್ದು, ಇದಕ್ಕಾಗಿ ಸಂಭವನೀಯ ಕ್ರಿಯೆಗಳ ಸಂಖ್ಯೆಯು ಸೀಮಿತವಾಗಿದೆ ಅಥವಾ ಹೆಚ್ಚು ಗಣಿತದ ಪರಿಭಾಷೆಯಲ್ಲಿ, ಆಕ್ಷನ್-ಸೆಟ್ನ ಗಾತ್ರವು ಸೀಮಿತವಾಗಿದೆ. ರೀನ್ಫೋರ್ಸ್ಮೆಂಟ್ ಲರ್ನಿಂಗ್ ಗೇಮ್ ಥಿಯರಿ ಆಟೋಮ್ಯಾಟಾ ಥಿಯರಿ ಲಿಟರೇಚರ್ ಫಿಲಿಪ್ ಅರನ್ಜುಲ್ಲಾ ಮತ್ತು ಜಾನ್ ಮೆಲ್ಲರ್ (ಮುಖಪುಟ): ಮೆಲ್ಲರ್ ಜೆ ಮತ್ತು ಅರನ್ಜುಲ್ಲಾ ಪಿ (2000): "ಯುಸಿಂಗ್ ಎ ಎಸ್-ಮಾಡೆಲ್ ರೆಸ್ಪಾನ್ಸ್ ಎನ್ವಿರಾನ್ಮೆಂಟ್ ವಿತ್ ಲರ್ನಿಂಗ್ [sic] ಆಟೋಮ್ಯಾಟಾ ಬೇಸ್ಡ್ ರೂಟಿಂಗ್ ಸ್ಕೀಮ್ಸ್ ಫಾರ್ ಐಪಿ ನೆಟ್ವರ್ಕ್ಸ್", ಪ್ರೊಸಿ. ಎಟಿಎಂ ಮತ್ತು ಐಪಿ ನೆಟ್ವರ್ಕ್ಗಳ ಕಾರ್ಯಕ್ಷಮತೆ ಮಾದರಿ ಮತ್ತು ಮೌಲ್ಯಮಾಪನದ ಕುರಿತು ಎಂಟನೇ ಐಎಫ್ಐಪಿ ಕಾರ್ಯಾಗಾರ, ಪಿಪಿ 56/1-56 12, ಇಲ್ಕ್ಲಿ, ಯುಕೆ. ಅರನ್ಜುಲ್ಲಾ ಪಿ ಮತ್ತು ಮೆಲ್ಲರ್ ಜೆ (1997): "ಎಟಿಎಂ ಜಾಲಗಳಿಗೆ ಅನ್ವಯಿಸಿದಾಗ ಕಡಿಮೆ ಸಿಗ್ನಲಿಂಗ್ ಅಗತ್ಯವಿರುವ ಎರಡು ರೂಟಿಂಗ್ ಕ್ರಮಾವಳಿಗಳನ್ನು ಹೋಲಿಸುವುದು", ಪ್ರೊಕ್. ಮಾಹಿತಿ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆ ಎಂಜಿನಿಯರಿಂಗ್ ಕುರಿತು ಹದಿನಾಲ್ಕನೇ ಯುಕೆ ಟೆಲಿಟ್ರಾಫಿಕ್ ವಿಚಾರ ಸಂಕಿರಣ, ಪುಟ 20/1-20 4, ಯುಎಂಐಎಸ್ಟಿ, ಮ್ಯಾಂಚೆಸ್ಟರ್, ಯುಕೆ. ಸೆಟ್ಲಿನ್ ಎಂ. ಎಲ್. ಜೈವಿಕ ವ್ಯವಸ್ಥೆಗಳ ಯಾಂತ್ರೀಕೃತಗೊಂಡ ಸಿದ್ಧಾಂತ ಮತ್ತು ಮಾದರಿ. ಅಕಾಡೆಮಿಕ್ ಪ್ರೆಸ್; 1973. ಉಲ್ಲೇಖಗಳು ಯಂತ್ರ ಕಲಿಕೆ ನಿಯಂತ್ರಣ ಸಿದ್ಧಾಂತ