Text-to-video model
ಪಠ್ಯದಿಂದ ವೀಡಿಯೊ ಮಾದರಿಯು ಯಂತ್ರ ಕಲಿಕೆಯ ಮಾದರಿಯಾಗಿದ್ದು, ಇದು ನೈಸರ್ಗಿಕ ಭಾಷೆಯ ವಿವರಣೆಯನ್ನು ಇನ್ಪುಟ್ ಆಗಿ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಆ ವಿವರಣೆಗೆ ಹೊಂದಿಕೆಯಾಗುವ ವೀಡಿಯೊವನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಸ್ಥಿರವಾದ ಹಿನ್ನೆಲೆಯಲ್ಲಿ ವಸ್ತುಗಳನ್ನು ವಾಸ್ತವಿಕವಾಗಿಸುವ ವೀಡಿಯೊ ಮುನ್ಸೂಚನೆಯನ್ನು, ಕನೆಕ್ಟರ್ ಕನ್ವಲ್ಯೂಷನಲ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ ಎನ್ಕೋಡಿಂಗ್ನೊಂದಿಗೆ ಅನುಕ್ರಮ ಮಾದರಿಗಾಗಿ ಪುನರಾವರ್ತಿತ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ ಅನ್ನು ಬಳಸುವ ಮೂಲಕ ಮತ್ತು ಪ್ರತಿ ಫ್ರೇಮ್ ಪಿಕ್ಸೆಲ್ ಅನ್ನು ಪಿಕ್ಸೆಲ್ನಿಂದ ಡಿಕೋಡ್ ಮಾಡುವ ಮೂಲಕ ಆಳವಾದ ಕಲಿಕೆಯನ್ನು ಬಳಸಿಕೊಂಡು ವೀಡಿಯೊವನ್ನು ರಚಿಸುವ ಮೂಲಕ ನಡೆಸಲಾಗುತ್ತದೆ. ಚಲನಶೀಲ ಮಾನವ ಆಕ್ಷನ್ ವೀಡಿಯೊದಿಂದ ಸ್ಪಷ್ಟ ವೀಡಿಯೊವನ್ನು ಬಳಸಿಕೊಂಡು ಡೇಟಾ ಸಂಗ್ರಹಣೆ ಮತ್ತು ಡೇಟಾ ಸೆಟ್ ತಯಾರಿಕೆ. ವೀಡಿಯೊ ತಯಾರಿಸಲು ಕನ್ವಲ್ಯೂಷನಲ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ಗೆ ತರಬೇತಿ ನೀಡುವುದು. ನೈಸರ್ಗಿಕ ಭಾಷೆಯ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಪಠ್ಯದಿಂದ ಕೀವರ್ಡ್ಗಳ ಹೊರತೆಗೆಯುವಿಕೆ. ವೇರಿಯೇಷನಲ್ ಆಟೋಎನ್ಕೊಡರ್ ಮತ್ತು ಜನರೇಟಿವ್ ಅಡ್ವರ್ಸೇರಿಯಲ್ ನೆಟ್ವರ್ಕ್ ಮೂಲಕ ಪಠ್ಯದಿಂದ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಸ್ಥಿರ ಮತ್ತು ಕ್ರಿಯಾತ್ಮಕ ಮಾಹಿತಿಗಾಗಿ ಷರತ್ತುಬದ್ಧ ಉತ್ಪಾದಕ ಮಾದರಿಯಲ್ಲಿ ದತ್ತಾಂಶವನ್ನು ಪರೀಕ್ಷಿಸುವುದು. ಮಾದರಿಗಳು ಓಪನ್ ಸೋರ್ಸ್ ಮಾದರಿಗಳು ಸೇರಿದಂತೆ ವಿವಿಧ ಮಾದರಿಗಳಿವೆ. ಕೋಗ್ವೀಡಿಯೋ ತಮ್ಮ ಕೋಡ್ ಅನ್ನು ಗಿಟ್ಹಬ್ನಲ್ಲಿ ಪ್ರಸ್ತುತಪಡಿಸಿತು. ಮೆಟಾ ಪ್ಲಾಟ್ಫಾರ್ಮ್ಗಳು ಪಠ್ಯದಿಂದ ವೀಡಿಯೊಗೆ ಪರಿವರ್ತಿಸಲು makeavideo.studio.Google ಬಳಸಿದ ಇಮ್ಯಾಜೆನ್ ವೀಡಿಯೊದೊಂದಿಗೆ ಪಠ್ಯದಿಂದ ವೀಡಿಯೊವನ್ನು ಬಳಸುತ್ತವೆ. ಆಂಟೋನಿಯಾ ಆಂಟೊನೊವಾ ಮತ್ತೊಂದು ಮಾದರಿಯನ್ನು ಪ್ರಸ್ತುತಪಡಿಸಿದರು. ಮಾರ್ಚ್ 2023 ರಲ್ಲಿ, ಅಲಿಬಾಬಾ ಸಂಶೋಧನೆಯ ಒಂದು ಹೆಗ್ಗುರುತು ಸಂಶೋಧನಾ ಪ್ರಬಂಧವನ್ನು ಪ್ರಕಟಿಸಲಾಯಿತು, ಇದು ಸುಪ್ತ ಚಿತ್ರ ಪ್ರಸರಣ ಮಾದರಿಗಳಲ್ಲಿ ಕಂಡುಬರುವ ಅನೇಕ ತತ್ವಗಳನ್ನು ವೀಡಿಯೊ ಉತ್ಪಾದನೆಗೆ ಅನ್ವಯಿಸುತ್ತದೆ. ಕೈಬರ್ ಅಥವಾ ರೀಮಿಕ್ಸ್ನಂತಹ ಸೇವೆಗಳು ತಮ್ಮ ಉತ್ಪನ್ನಗಳಲ್ಲಿ ವೀಡಿಯೊ ಉತ್ಪಾದನೆಗೆ ಇದೇ ರೀತಿಯ ವಿಧಾನಗಳನ್ನು ಅಳವಡಿಸಿಕೊಂಡಿವೆ. ಎಐ ಕಂಪನಿ ಸಿಂಥೆಷಿಯಾದಲ್ಲಿ ಮ್ಯಾಥಿಯಸ್ ನೀಸ್ನರ್ (ಟಿಯುಎಂ) ಮತ್ತು ಲೌರ್ಡೆಸ್ ಅಗಾಪಿಟೋ (ಯುಸಿಎಲ್) ವಾಸ್ತವಿಕ ವೀಡಿಯೊವನ್ನು ಸಂಶ್ಲೇಷಿಸುವ 3ಡಿ ನ್ಯೂರಲ್ ರೆಂಡರಿಂಗ್ ತಂತ್ರಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವ ಕೆಲಸ ಮಾಡುತ್ತಾರೆ. ನೈಜ ಜನರಂತೆ ಕಾಣುವ ಮತ್ತು ಧ್ವನಿಸುವ ಅವತಾರಗಳ ನಿಯಂತ್ರಿಸಬಹುದಾದ ವೀಡಿಯೊ ಸಂಶ್ಲೇಷಣೆಗಾಗಿ ಆಕಾರದ ನೋಟ ಮತ್ತು ಚಲನೆಯ 2ಡಿ ಮತ್ತು 3ಡಿ ನರಗಳ ಪ್ರಾತಿನಿಧ್ಯಗಳ ಮೂಲಕ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಪಠ್ಯದಿಂದ ವೀಡಿಯೊ ಮಾದರಿಯನ್ನು ಸುಧಾರಿಸುವುದು ಇದರ ಗುರಿಯಾಗಿದೆ. ಪರ್ಯಾಯ ವಿಧಾನಗಳು ಅಸ್ತಿತ್ವದಲ್ಲಿದ್ದರೂ, ಪೂರ್ಣ ಸುಪ್ತ ಪ್ರಸರಣ ಮಾದರಿಗಳನ್ನು ಪ್ರಸ್ತುತ ವೀಡಿಯೊ ಪ್ರಸರಣಕ್ಕಾಗಿ ಅತ್ಯಾಧುನಿಕವೆಂದು ಪರಿಗಣಿಸಲಾಗಿದೆ. ಉಲ್ಲೇಖಗಳು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಕ್ರಮಾವಳಿಗಳು ಭಾಷಾ ಕಂಪ್ಯೂಟರ್ಗಳು