Deep learning speech synthesis
ಆಳವಾದ ಕಲಿಕೆಯ ಭಾಷಣ ಸಂಶ್ಲೇಷಣೆಯು ಪಠ್ಯದಿಂದ (ಪಠ್ಯದಿಂದ ಭಾಷಣಕ್ಕೆ) ಅಥವಾ ವರ್ಣಪಟಲದಿಂದ (ವೋಕೋಡರ್) ಕೃತಕ ಭಾಷಣವನ್ನು ಉತ್ಪಾದಿಸಲು ಡೀಪ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ಗಳನ್ನು (ಡಿಎನ್ಎನ್) ಬಳಸುತ್ತದೆ. ಆಳವಾದ ನರ ಜಾಲಗಳಿಗೆ ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ಧ್ವನಿಮುದ್ರಿತ ಭಾಷಣವನ್ನು ಬಳಸಿಕೊಂಡು ತರಬೇತಿ ನೀಡಲಾಗುತ್ತದೆ ಮತ್ತು ಪಠ್ಯದಿಂದ ಭಾಷಣ ವ್ಯವಸ್ಥೆಯ ಸಂದರ್ಭದಲ್ಲಿ, ಸಂಬಂಧಿತ ಲೇಬಲ್ಗಳು ಮತ್ತು/ಅಥವಾ ಇನ್ಪುಟ್ ಪಠ್ಯವನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಕೆಲವು ಡಿ. ಎನ್. ಎನ್-ಆಧಾರಿತ ಭಾಷಣ ಸಂಶ್ಲೇಷಕಗಳು ಮಾನವನ ಧ್ವನಿಯ ಸ್ವಾಭಾವಿಕತೆಯನ್ನು ಸಮೀಪಿಸುತ್ತಿವೆ. ಸೂತ್ರೀಕರಣ ಇನ್ಪುಟ್ ಪಠ್ಯ ಅಥವಾ ಭಾಷಾ ಘಟಕದ ಕೆಲವು ಅನುಕ್ರಮವನ್ನು ನೀಡಿದರೆ, ಮಾದರಿ ನಿಯತಾಂಕ ಎಲ್ಲಿದೆ ಎಂಬುದರ ಮೂಲಕ ಗುರಿ ಭಾಷಣವನ್ನು ಪಡೆಯಬಹುದು. ಸಾಮಾನ್ಯವಾಗಿ, ಇನ್ಪುಟ್ ಪಠ್ಯವನ್ನು ಮೊದಲು ಅಕೌಸ್ಟಿಕ್ ಫೀಚರ್ ಜನರೇಟರ್ಗೆ ರವಾನಿಸಲಾಗುತ್ತದೆ, ನಂತರ ಅಕೌಸ್ಟಿಕ್ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ನ್ಯೂರಲ್ ವೋಕೋಡರ್ಗೆ ರವಾನಿಸಲಾಗುತ್ತದೆ. ಅಕೌಸ್ಟಿಕ್ ಫೀಚರ್ ಜನರೇಟರ್ಗೆ, ಲಾಸ್ ಫಂಕ್ಷನ್ ಸಾಮಾನ್ಯವಾಗಿ ಎಲ್1 ಅಥವಾ ಎಲ್2 ಲಾಸ್ ಆಗಿರುತ್ತದೆ. ಈ ನಷ್ಟದ ಕಾರ್ಯಗಳು ಔಟ್ಪುಟ್ ಅಕೌಸ್ಟಿಕ್ ವೈಶಿಷ್ಟ್ಯದ ವಿತರಣೆಗಳು ಗಾಸಿಯನ್ ಅಥವಾ ಲ್ಯಾಪ್ಲೇಸಿಯನ್ ಆಗಿರಬೇಕು ಎಂಬ ನಿರ್ಬಂಧವನ್ನು ಹೇರುತ್ತವೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಮಾನವನ ಧ್ವನಿ ಬ್ಯಾಂಡ್ ಸರಿಸುಮಾರು 300 ರಿಂದ 4000 Hz ವರೆಗಿನ ವ್ಯಾಪ್ತಿಯಲ್ಲಿರುವುದರಿಂದ, ನಷ್ಟದ ಕಾರ್ಯವನ್ನು ಈ ವ್ಯಾಪ್ತಿಯಲ್ಲಿ ಹೆಚ್ಚಿನ ದಂಡವನ್ನು ಹೊಂದುವಂತೆ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗುತ್ತದೆಃ ಮಾನವನ ಧ್ವನಿ ಬ್ಯಾಂಡ್ನಿಂದ ನಷ್ಟವು ಎಲ್ಲಿದೆ ಮತ್ತು ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಸುಮಾರು 0.5 ರಷ್ಟು ಸ್ಕೇಲಾರ್ ಆಗಿದೆ. ಅಕೌಸ್ಟಿಕ್ ವೈಶಿಷ್ಟ್ಯವು ಸಾಮಾನ್ಯವಾಗಿ ಮೆಲ್ ಸ್ಕೇಲ್ನಲ್ಲಿ ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್ ಅಥವಾ ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್ ಆಗಿದೆ. ಈ ವೈಶಿಷ್ಟ್ಯಗಳು ಭಾಷಣ ಸಂಕೇತದ ಸಮಯ-ಆವರ್ತನ ಸಂಬಂಧವನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತವೆ ಮತ್ತು ಆದ್ದರಿಂದ, ಈ ಅಕೌಸ್ಟಿಕ್ ವೈಶಿಷ್ಟ್ಯಗಳೊಂದಿಗೆ ಬುದ್ಧಿವಂತ ಉತ್ಪನ್ನಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಸಾಕಾಗುತ್ತದೆ. ಭಾಷಣ ಗುರುತಿಸುವ ಕಾರ್ಯದಲ್ಲಿ ಬಳಸುವ ಮೆಲ್-ಫ್ರೀಕ್ವೆನ್ಸಿ ಸೆಪ್ಸ್ಟ್ರಮ್ ವೈಶಿಷ್ಟ್ಯವು ಭಾಷಣ ಸಂಶ್ಲೇಷಣೆಗೆ ಸೂಕ್ತವಲ್ಲ ಏಕೆಂದರೆ ಇದು ಹೆಚ್ಚಿನ ಮಾಹಿತಿಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಸಂಕ್ಷಿಪ್ತ ಇತಿಹಾಸ ಸೆಪ್ಟೆಂಬರ್ 2016 ರಲ್ಲಿ, ಡೀಪ್ ಮೈಂಡ್ ಕಚ್ಚಾ ಆಡಿಯೋ ತರಂಗರೂಪಗಳ ಆಳವಾದ ಉತ್ಪಾದಕ ಮಾದರಿಯಾದ ವೇವ್ನೆಟ್ ಅನ್ನು ಪ್ರಸ್ತಾಪಿಸಿತು, ಇದು ಆಳವಾದ ಕಲಿಕೆ-ಆಧಾರಿತ ಮಾದರಿಗಳು ಕಚ್ಚಾ ತರಂಗರೂಪಗಳನ್ನು ರೂಪಿಸುವ ಮತ್ತು ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್ಗಳು ಅಥವಾ ಮೆಲ್-ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್ಗಳಂತಹ ಅಕೌಸ್ಟಿಕ್ ವೈಶಿಷ್ಟ್ಯಗಳಿಂದ ಭಾಷಣವನ್ನು ಉತ್ಪಾದಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿವೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ವೇವ್ನೆಟ್ ಅನ್ನು ಆರಂಭದಲ್ಲಿ ಗಣನೆಯ ದೃಷ್ಟಿಯಿಂದ ದುಬಾರಿಯೆಂದು ಮತ್ತು ಆ ಸಮಯದಲ್ಲಿ ಗ್ರಾಹಕ ಉತ್ಪನ್ನಗಳಲ್ಲಿ ಬಳಸಲು ನಿಧಾನವೆಂದು ಪರಿಗಣಿಸಲಾಗಿದ್ದರೂ, ಅದರ ಬಿಡುಗಡೆಯ ಒಂದು ವರ್ಷದ ನಂತರ, ಡೀಪ್ ಮೈಂಡ್ "ಪ್ಯಾರಲಲ್ ವೇವ್ನೆಟ್" ಎಂದು ಕರೆಯಲ್ಪಡುವ ವೇವ್ನೆಟ್ನ ಮಾರ್ಪಡಿಸಿದ ಆವೃತ್ತಿಯನ್ನು ಅನಾವರಣಗೊಳಿಸಿತು, ಇದು ಮೂಲಕ್ಕಿಂತ 1,000 ವೇಗದ ಉತ್ಪಾದನಾ ಮಾದರಿಯಾಗಿದೆ. 2017ರ ಆರಂಭದಲ್ಲಿ, ಮಿಲಾ ಅವರು ಎಂಡ್-ಟು-ಎಂಡ್ ವಿಧಾನದಲ್ಲಿ ಕಚ್ಚಾ ತರಂಗರೂಪವನ್ನು ಉತ್ಪಾದಿಸುವ ಮಾದರಿಯಾದ ಚಾರ್2ವಾವ್ ಅನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದರು. ಅದೇ ವರ್ಷದಲ್ಲಿ, ಗೂಗಲ್ ಮತ್ತು ಫೇಸ್ಬುಕ್ ಇನ್ಪುಟ್ ಪಠ್ಯದಿಂದ ನೇರವಾಗಿ ಅಕೌಸ್ಟಿಕ್ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಅನುಕ್ರಮವಾಗಿ ಟ್ಯಾಕೋಟ್ರಾನ್ ಮತ್ತು ವಾಯ್ಸ್ಲೂಪ್ ಅನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದವು; ತಿಂಗಳುಗಳ ನಂತರ, ಗೂಗಲ್ ಟ್ಯಾಕೋಟ್ರಾನ್ 2 ಅನ್ನು ಪ್ರಸ್ತಾಪಿಸಿತು, ಇದು ವೇವ್ನೆಟ್ ವೋಕೋಡರ್ ಅನ್ನು ಪರಿಷ್ಕೃತ ಟ್ಯಾಕೋಟ್ರಾನ್ ವಾಸ್ತುಶಿಲ್ಪದೊಂದಿಗೆ ಸಂಯೋಜಿಸಿ ಎಂಡ್-ಟು-ಎಂಡ್ ಸ್ಪೀಚ್ ಸಿಂಥೆಸಿಸ್ ಅನ್ನು ನಿರ್ವಹಿಸಿತು. ಟ್ಯಾಕೊಟ್ರಾನ್2 ಮಾನವನ ಧ್ವನಿಯನ್ನು ಸಮೀಪಿಸುವ ಉತ್ತಮ-ಗುಣಮಟ್ಟದ ಭಾಷಣವನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಅಂದಿನಿಂದ, ಎಂಡ್-ಟು-ಎಂಡ್ ವಿಧಾನಗಳು ಅತ್ಯಂತ ಸಂಶೋಧನಾ ವಿಷಯವಾಗಿ ಮಾರ್ಪಟ್ಟಿವೆ ಏಕೆಂದರೆ ಪ್ರಪಂಚದಾದ್ಯಂತದ ಅನೇಕ ಸಂಶೋಧಕರು ಎಂಡ್-ಟು-ಎಂಡ್ ಸ್ಪೀಚ್ ಸಿಂಥಸೈಜರ್ಗಳ ಶಕ್ತಿಯನ್ನು ಗಮನಿಸಲು ಪ್ರಾರಂಭಿಸಿದ್ದಾರೆ. ಅರೆ-ಮೇಲ್ವಿಚಾರಿತ ಕಲಿಕೆ ಪ್ರಸ್ತುತ, ಸ್ವಯಂ-ಮೇಲ್ವಿಚಾರಿತ ಕಲಿಕೆ ಲೇಬಲ್ ಮಾಡದ ದತ್ತಾಂಶದ ಉತ್ತಮ ಬಳಕೆಯ ಮೂಲಕ ಹೆಚ್ಚಿನ ಗಮನವನ್ನು ಸೆಳೆದಿದೆ. ಸ್ವಯಂ-ಮೇಲ್ವಿಚಾರಣೆಯ ನಷ್ಟದ ಸಹಾಯದಿಂದ, ಜೋಡಿಯಾದ ದತ್ತಾಂಶದ ಅಗತ್ಯವು ಕಡಿಮೆಯಾಗುತ್ತದೆ ಎಂದು ಸಂಶೋಧನೆ ತೋರಿಸಿದೆ. ಝೀರೋ-ಶಾಟ್ ಸ್ಪೀಕರ್ ರೂಪಾಂತರವು ಆಶಾದಾಯಕವಾಗಿದೆ ಏಕೆಂದರೆ ಒಂದೇ ಮಾದರಿಯು ವಿವಿಧ ಸ್ಪೀಕರ್ ಶೈಲಿಗಳು ಮತ್ತು ಗುಣಲಕ್ಷಣಗಳೊಂದಿಗೆ ಭಾಷಣವನ್ನು ಉತ್ಪಾದಿಸಬಹುದು. ಜೂನ್ 2018 ರಲ್ಲಿ, ಸ್ಪೀಕರ್ ಎಂಬೆಡಿಂಗ್ಗಳನ್ನು ಹೊರತೆಗೆಯಲು ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಸ್ಪೀಕರ್ ಪರಿಶೀಲನಾ ಮಾದರಿಗಳನ್ನು ಸ್ಪೀಕರ್ ಎನ್ಕೋಡರ್ಗಳಾಗಿ ಬಳಸಲು ಗೂಗಲ್ ಪ್ರಸ್ತಾಪಿಸಿತು. ಸ್ಪೀಕರ್ ಎನ್ಕೋಡರ್ಗಳು ನಂತರ ನ್ಯೂರಲ್ ಟೆಕ್ಸ್ಟ್-ಟು-ಸ್ಪೀಚ್ ಮಾದರಿಗಳ ಭಾಗವಾಗುತ್ತವೆ, ಇದರಿಂದಾಗಿ ಅದು ಔಟ್ಪುಟ್ ಭಾಷಣದ ಶೈಲಿ ಮತ್ತು ಗುಣಲಕ್ಷಣಗಳನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ. ಅನೇಕ ಶೈಲಿಗಳೊಂದಿಗೆ ಭಾಷಣವನ್ನು ಸೃಷ್ಟಿಸಲು ಒಂದೇ ಮಾದರಿಯನ್ನು ಮಾತ್ರ ಬಳಸಲು ಸಾಧ್ಯವಿದೆ ಎಂದು ಈ ಕಾರ್ಯವಿಧಾನವು ಸಮುದಾಯಕ್ಕೆ ತೋರಿಸಿದೆ. ನ್ಯೂರಲ್ ವೋಕೋಡರ್ ಆಳವಾದ ಕಲಿಕೆ-ಆಧಾರಿತ ಭಾಷಣ ಸಂಶ್ಲೇಷಣೆಯಲ್ಲಿ, ಅಕೌಸ್ಟಿಕ್ ವೈಶಿಷ್ಟ್ಯಗಳಿಂದ ಉತ್ತಮ-ಗುಣಮಟ್ಟದ ಭಾಷಣವನ್ನು ಉತ್ಪಾದಿಸುವಲ್ಲಿ ನರಗಳ ವೋಕೋಡರ್ಗಳು ಪ್ರಮುಖ ಪಾತ್ರವಹಿಸುತ್ತವೆ. 2016ರಲ್ಲಿ ಪ್ರಸ್ತಾಪಿಸಲಾದ ವೇವ್ನೆಟ್ ಮಾದರಿಯು ಮಾತಿನ ಗುಣಮಟ್ಟದಲ್ಲಿ ಅತ್ಯುತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸುತ್ತದೆ. ಷರತ್ತುಬದ್ಧ ಸಂಭವನೀಯತೆಗಳ ಉತ್ಪನ್ನವಾಗಿ ತರಂಗರೂಪದ ಜಂಟಿ ಸಂಭವನೀಯತೆಯನ್ನು ವೇವೆನೆಟ್ ಈ ಕೆಳಗಿನಂತೆ ಅಪವರ್ತಿಸುತ್ತದೆ, ಅನೇಕ ಹಿಗ್ಗಿಸಲಾದ ಕನ್ವಲ್ಯೂಷನ್ ಪದರಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ಮಾದರಿ ನಿಯತಾಂಕ ಎಲ್ಲಿದೆ. ಹೀಗಾಗಿ, ಪ್ರತಿ ಆಡಿಯೋ ಮಾದರಿಯನ್ನು ಹಿಂದಿನ ಎಲ್ಲಾ ಸಮಯದ ಹಂತಗಳಲ್ಲಿ ಮಾದರಿಗಳ ಮೇಲೆ ನಿಗದಿಪಡಿಸಲಾಗಿದೆ. ಆದಾಗ್ಯೂ, ವೇವ್ನೆಟ್ನ ಸ್ವಯಂ-ಹಿಮ್ಮೆಟ್ಟುವ ಸ್ವರೂಪವು ತೀರ್ಮಾನ ಪ್ರಕ್ರಿಯೆಯನ್ನು ನಾಟಕೀಯವಾಗಿ ನಿಧಾನಗೊಳಿಸುತ್ತದೆ. ಈ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು, ಪ್ಯಾರಲಲ್ ವೇವ್ನೆಟ್ ಅನ್ನು ಪ್ರಸ್ತಾಪಿಸಲಾಯಿತು. ಪ್ಯಾರಲಲ್ ವೇವ್ನೆಟ್ ಒಂದು ವಿಲೋಮ ಸ್ವಯಂಚಾಲಿತ ಹರಿವು-ಆಧಾರಿತ ಮಾದರಿಯಾಗಿದ್ದು, ಇದನ್ನು ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಶಿಕ್ಷಕ ವೇವ್ನೆಟ್ ಮಾದರಿಯೊಂದಿಗೆ ಜ್ಞಾನ ಬಟ್ಟಿ ಇಳಿಸುವಿಕೆಯಿಂದ ತರಬೇತಿ ನೀಡಲಾಗುತ್ತದೆ. ಅಂತಹ ವಿಲೋಮ ಸ್ವಯಂ-ಹಿಮ್ಮೆಟ್ಟುವ ಹರಿವು-ಆಧಾರಿತ ಮಾದರಿಗಳು ತೀರ್ಮಾನವನ್ನು ಮಾಡುವಾಗ ಸ್ವಯಂ-ಹಿಮ್ಮೆಟ್ಟುವಂತಿಲ್ಲವಾದ್ದರಿಂದ, ತೀರ್ಮಾನದ ವೇಗವು ನೈಜ ಸಮಯಕ್ಕಿಂತ ವೇಗವಾಗಿರುತ್ತದೆ. ಏತನ್ಮಧ್ಯೆ, ಎನ್ವಿಡಿಯಾ ಫ್ಲೋ-ಆಧಾರಿತ ವೇವ್ಗ್ಲೋ ಮಾದರಿಯನ್ನು ಪ್ರಸ್ತಾಪಿಸಿತು, ಇದು ನೈಜ ಸಮಯಕ್ಕಿಂತ ವೇಗವಾಗಿ ಭಾಷಣವನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಹೆಚ್ಚಿನ ತೀರ್ಮಾನದ ವೇಗದ ಹೊರತಾಗಿಯೂ, ಸಮಾನಾಂತರ ವೇವ್ನೆಟ್ಗೆ ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ವೇವ್ನೆಟ್ ಮಾದರಿಯ ಅಗತ್ಯವಿರುತ್ತದೆ, ಆದ್ದರಿಂದ ಸೀಮಿತ ಕಂಪ್ಯೂಟಿಂಗ್ ಸಾಧನಗಳೊಂದಿಗೆ ಒಗ್ಗೂಡಲು ವೇವ್ಗ್ಲೋ ಅನೇಕ ವಾರಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ಈ ಸಮಸ್ಯೆಯನ್ನು ಪ್ಯಾರಲಲ್ ವೇವ್ಗನ್ ಪರಿಹರಿಸಿದೆ, ಇದು ಬಹು-ರೆಸಲ್ಯೂಶನ್ ಸ್ಪೆಕ್ಟ್ರಲ್ ಲಾಸ್ ಮತ್ತು ಜಿಎಎನ್ ಕಲಿಕೆಯ ತಂತ್ರಗಳ ಮೂಲಕ ಭಾಷಣವನ್ನು ಉತ್ಪಾದಿಸಲು ಕಲಿಯುತ್ತದೆ. ಉಲ್ಲೇಖಗಳು ಭಾಷಣ ಸಂಶ್ಲೇಷಣೆ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ಅನ್ವಯಗಳು ಸಹಾಯಕ ತಂತ್ರಜ್ಞಾನ ಶ್ರವಣೇಂದ್ರಿಯವು ಕಂಪ್ಯೂಟೇಶನಲ್ ಭಾಷಾಶಾಸ್ತ್ರವನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ ಮಾನವ-ಕಂಪ್ಯೂಟರ್ ಪರಸ್ಪರ ಕ್ರಿಯೆಯ ಇತಿಹಾಸ