Gated recurrent unit
ಗೇಟೆಡ್ ಪುನರಾವರ್ತಿತ ಘಟಕಗಳು (ಜಿಆರ್ಯು) ಪುನರಾವರ್ತಿತ ನರ ಜಾಲಗಳಲ್ಲಿನ ಗೇಟಿಂಗ್ ಕಾರ್ಯವಿಧಾನವಾಗಿದ್ದು, ಇದನ್ನು 2014 ರಲ್ಲಿ ಕ್ಯುಂಗ್ಯುನ್ ಚೋ ಮತ್ತು ಇತರರು ಪರಿಚಯಿಸಿದರು. ಜಿಆರ್ಯು ಕೆಲವು ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಇನ್ಪುಟ್ ಮಾಡಲು ಅಥವಾ ಮರೆಯಲು ಗೇಟಿಂಗ್ ಕಾರ್ಯವಿಧಾನವನ್ನು ಹೊಂದಿರುವ ದೀರ್ಘ ಅಲ್ಪಾವಧಿಯ ಮೆಮೊರಿ (ಎಲ್ಎಸ್ಟಿಎಂ) ನಂತೆ, ಆದರೆ ಕಾಂಟೆಕ್ಸ್ಟ್ ವೆಕ್ಟರ್ ಅಥವಾ ಔಟ್ಪುಟ್ ಗೇಟ್ ಅನ್ನು ಹೊಂದಿಲ್ಲ, ಇದರ ಪರಿಣಾಮವಾಗಿ ಎಲ್ಎಸ್ಟಿಎಂಗಿಂತ ಕಡಿಮೆ ನಿಯತಾಂಕಗಳಿವೆ. ಪಾಲಿಫೋನಿಕ್ ಮ್ಯೂಸಿಕ್ ಮಾಡೆಲಿಂಗ್, ಸ್ಪೀಚ್ ಸಿಗ್ನಲ್ ಮಾಡೆಲಿಂಗ್ ಮತ್ತು ನ್ಯಾಚುರಲ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಪ್ರೊಸೆಸಿಂಗ್ನ ಕೆಲವು ಕಾರ್ಯಗಳಲ್ಲಿ ಜಿಆರ್ಯೂನ ಕಾರ್ಯಕ್ಷಮತೆಯು ಎಲ್ಎಸ್ಟಿಎಂನಂತೆಯೇ ಇರುವುದು ಕಂಡುಬಂದಿದೆ. ಗೇಟಿಂಗ್ ನಿಜವಾಗಿಯೂ ಸಾಮಾನ್ಯವಾಗಿ ಸಹಾಯಕವಾಗಿದೆ ಎಂದು ಜಿಆರ್ಯುಗಳು ತೋರಿಸಿದವು, ಮತ್ತು ಬೆಂಗಿಯೊನ ತಂಡವು ಎರಡು ಗೇಟಿಂಗ್ ಘಟಕಗಳಲ್ಲಿ ಯಾವುದು ಉತ್ತಮ ಎಂಬುದರ ಬಗ್ಗೆ ಯಾವುದೇ ದೃಢವಾದ ತೀರ್ಮಾನಕ್ಕೆ ಬರಲಿಲ್ಲ. ಪೂರ್ಣ ಗೇಟೆಡ್ ಘಟಕದಲ್ಲಿ ಹಲವಾರು ವ್ಯತ್ಯಾಸಗಳಿವೆ, ಹಿಂದಿನ ಗುಪ್ತ ಸ್ಥಿತಿ ಮತ್ತು ವಿವಿಧ ಸಂಯೋಜನೆಗಳಲ್ಲಿನ ಪಕ್ಷಪಾತವನ್ನು ಬಳಸಿಕೊಂಡು ಗೇಟಿಂಗ್ ಮಾಡಲಾಗುತ್ತದೆ ಮತ್ತು ಕನಿಷ್ಠ ಗೇಟೆಡ್ ಘಟಕ ಎಂದು ಕರೆಯಲಾಗುವ ಸರಳೀಕೃತ ರೂಪವಿದೆ. ಆಪರೇಟರ್ ಈ ಕೆಳಗಿನವುಗಳಲ್ಲಿ ಹಡಮಾರ್ಡ್ ಉತ್ಪನ್ನವನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಸಂಪೂರ್ಣವಾಗಿ ಗೇಟೆಡ್ ಘಟಕ ಆರಂಭದಲ್ಲಿ, ಔಟ್ಪುಟ್ ವೆಕ್ಟರ್ ಆಗಿದೆ. ವೇರಿಯೇಬಲ್ಗಳುಃ ಇನ್ಪುಟ್ ವೆಕ್ಟರ್ಃ ಔಟ್ಪುಟ್ ವೆಕ್ಟರ್ಃ ಅಭ್ಯರ್ಥಿ ಸಕ್ರಿಯಗೊಳಿಸುವ ವೆಕ್ಟರ್ಃ ಅಪ್ಡೇಟ್ ಗೇಟ್ ವೆಕ್ಟರ್ಃ ರೀಸೆಟ್ ಗೇಟ್ ವೆಕ್ಟರ್, ಮತ್ತುಃ ನಿಯತಾಂಕ ಮ್ಯಾಟ್ರಿಕ್ಸ್ಗಳು ಮತ್ತು ವೆಕ್ಟರ್ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯಗಳುಃ ಮೂಲವು ಲಾಜಿಸ್ಟಿಕ್ ಕಾರ್ಯವಾಗಿದೆ. : ಮೂಲವು ಹೈಪರ್ಬೋಲಿಕ್ ಸ್ಪರ್ಶಕವಾಗಿದೆ. ಪರ್ಯಾಯ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯಗಳು ಸಾಧ್ಯವಿದ್ದರೆ. ಬದಲಿಸುವ ಮೂಲಕ ಪರ್ಯಾಯ ರೂಪಗಳನ್ನು ರಚಿಸಬಹುದು ಮತ್ತು ಟೈಪ್ 1, ಪ್ರತಿ ಗೇಟ್ ಹಿಂದಿನ ಗುಪ್ತ ಸ್ಥಿತಿ ಮತ್ತು ಪಕ್ಷಪಾತವನ್ನು ಮಾತ್ರ ಅವಲಂಬಿಸಿರುತ್ತದೆ. ಟೈಪ್ 2, ಪ್ರತಿ ಗೇಟ್ ಹಿಂದಿನ ಗುಪ್ತ ಸ್ಥಿತಿಯನ್ನು ಮಾತ್ರ ಅವಲಂಬಿಸಿರುತ್ತದೆ. ಟೈಪ್ 3, ಪ್ರತಿ ಗೇಟ್ ಅನ್ನು ಬಯಾಸ್ ಅನ್ನು ಮಾತ್ರ ಬಳಸಿ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ. ಕನಿಷ್ಠ ಗೇಟೆಡ್ ಘಟಕ ಕನಿಷ್ಠ ಗೇಟೆಡ್ ಘಟಕವು (ಎಂ. ಜಿ. ಯು) ಸಂಪೂರ್ಣ ಗೇಟೆಡ್ ಘಟಕವನ್ನು ಹೋಲುತ್ತದೆ, ನವೀಕರಣ ಮತ್ತು ಮರುಹೊಂದಿಸುವ ಗೇಟ್ ವೆಕ್ಟರ್ ಅನ್ನು ಮರೆತುಹೋಗುವ ಗೇಟ್ನೊಂದಿಗೆ ವಿಲೀನಗೊಳಿಸಲಾಗುತ್ತದೆ. ಇದು ಔಟ್ಪುಟ್ ವೆಕ್ಟರ್ನ ಸಮೀಕರಣವನ್ನು ಬದಲಾಯಿಸಬೇಕು ಎಂಬುದನ್ನು ಸಹ ಸೂಚಿಸುತ್ತದೆಃ ವೇರಿಯೇಬಲ್ಗಳುಃ ಇನ್ಪುಟ್ ವೆಕ್ಟರ್ಃ ಔಟ್ಪುಟ್ ವೆಕ್ಟರ್ಃ ಕ್ಯಾಂಡಿಡೇಟ್ ಆಕ್ಟಿವೇಶನ್ ವೆಕ್ಟರ್ಃ ವೆಕ್ಟರ್ ಅನ್ನು ಮರೆತುಬಿಡಿ, ಮತ್ತುಃ ನಿಯತಾಂಕ ಮ್ಯಾಟ್ರಿಕ್ಸ್ಗಳು ಮತ್ತು ವೆಕ್ಟರ್ ಲೈಟ್ ಗೇಟೆಡ್ ರಿಕರೆಂಟ್ ಯುನಿಟ್ ಲೈಟ್ ಗೇಟೆಡ್ ರಿಕರೆಂಟ್ ಯುನಿಟ್ (ಎಲ್. ಐ. ಜಿ. ಆರ್. ಯು) ರೀಸೆಟ್ ಗೇಟ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ತೆಗೆದುಹಾಕುತ್ತದೆ, ತಾನ್ಹ್ ಅನ್ನು ಆರ್. ಇ. ಎಲ್. ಯು ಆಕ್ಟಿವೇಶನ್ನೊಂದಿಗೆ ಬದಲಾಯಿಸುತ್ತದೆ ಮತ್ತು ಬ್ಯಾಚ್ ನಾರ್ಮಲೈಸೇಶನ್ (ಬಿ. ಎನ್) ಅನ್ನು ಅನ್ವಯಿಸುತ್ತದೆಃ ಎಲ್. ಐ. ಜಿ. ಆರ್. ಯು. ಅನ್ನು ಬೇಯೇಶಿಯನ್ ದೃಷ್ಟಿಕೋನದಿಂದ ಅಧ್ಯಯನ ಮಾಡಲಾಗಿದೆ. ಈ ವಿಶ್ಲೇಷಣೆಯು ಲಘು ಬೇಯೇಶಿಯನ್ ಪುನರಾವರ್ತಿತ ಘಟಕ (LiBRU) ಎಂಬ ರೂಪಾಂತರವನ್ನು ನೀಡಿತು, ಇದು ಭಾಷಣ ಗುರುತಿಸುವಿಕೆ ಕಾರ್ಯಗಳಲ್ಲಿ LiGRU ಗಿಂತ ಸ್ವಲ್ಪ ಸುಧಾರಣೆಗಳನ್ನು ತೋರಿಸಿತು. ಉಲ್ಲೇಖಗಳು ಕೃತಕ ನರ ಜಾಲಗಳು