Chinchilla AI
ಚಿಂಚಿಲ್ಲಾ ಎಂಬುದು 2022ರ ಮಾರ್ಚ್ನಲ್ಲಿ ಪ್ರಸ್ತುತಪಡಿಸಲಾದ ಡೀಪ್ ಮೈಂಡ್ನ ಸಂಶೋಧನಾ ತಂಡವು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳ ಒಂದು ಕುಟುಂಬವಾಗಿದೆ. ಇದನ್ನು "ಚಿಂಚಿಲ್ಲಾ" ಎಂದು ಹೆಸರಿಸಲಾಗಿದೆ ಏಕೆಂದರೆ ಇದು "ಗೋಫರ್" ಎಂಬ ಹೆಸರಿನ ಹಿಂದಿನ ಮಾದರಿ ಕುಟುಂಬಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಬೆಳವಣಿಗೆಯಾಗಿದೆ. ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳ ಸ್ಕೇಲಿಂಗ್ ಕಾನೂನುಗಳನ್ನು ತನಿಖೆ ಮಾಡುವ ಸಲುವಾಗಿ ಎರಡೂ ಮಾದರಿ ಕುಟುಂಬಗಳಿಗೆ ತರಬೇತಿ ನೀಡಲಾಯಿತು. ಇದು ಜಿಪಿಟಿ-3 ಅನ್ನು ಮೀರಿಸಿದೆ ಎಂದು ಹೇಳಿಕೊಂಡಿದೆ. ಇದು ಕೆಳಭಾಗದ ಬಳಕೆಯನ್ನು ಗಣನೀಯವಾಗಿ ಸರಳಗೊಳಿಸುತ್ತದೆ ಏಕೆಂದರೆ ಇದಕ್ಕೆ ತೀರ್ಮಾನ ಮತ್ತು ಸೂಕ್ಷ್ಮ-ಶ್ರುತಿಗಾಗಿ ಕಡಿಮೆ ಕಂಪ್ಯೂಟರ್ ಶಕ್ತಿಯ ಅಗತ್ಯವಿರುತ್ತದೆ. ಈ ಹಿಂದೆ ಬಳಸಲಾದ ಭಾಷಾ ಮಾದರಿಗಳ ತರಬೇತಿಯ ಆಧಾರದ ಮೇಲೆ, ಮಾದರಿ ಗಾತ್ರವನ್ನು ದ್ವಿಗುಣಗೊಳಿಸಿದರೆ, ತರಬೇತಿ ಟೋಕನ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ದ್ವಿಗುಣಗೊಳಿಸಬೇಕು ಎಂದು ನಿರ್ಧರಿಸಲಾಗಿದೆ. ಈ ಊಹೆಯನ್ನು ಡೀಪ್ಮೈಂಡ್ ಚಿಂಚಿಲ್ಲಾ ಎಐಗೆ ತರಬೇತಿ ನೀಡಲು ಬಳಸಿದೆ. ವೆಚ್ಚದ ವಿಷಯದಲ್ಲಿ ಗೋಫರ್ನಂತೆಯೇ, ಚಿಂಚಿಲ್ಲಾ 70ಬಿ ನಿಯತಾಂಕಗಳನ್ನು ಮತ್ತು ನಾಲ್ಕು ಪಟ್ಟು ಹೆಚ್ಚು ಡೇಟಾವನ್ನು ಹೊಂದಿದೆ. ಚಿಂಚಿಲ್ಲಾವು ಎಂ. ಎಂ. ಎಲ್. ಯು. ಮಾನದಂಡದಲ್ಲಿ (ಬೃಹತ್ ಬಹುಕಾರ್ಯಕ ಭಾಷೆಯ ತಿಳುವಳಿಕೆಯನ್ನು ಅಳೆಯುವುದು) <ಐ. ಡಿ. 1> ನ ಸರಾಸರಿ ನಿಖರತೆಯನ್ನು ಹೊಂದಿದೆ, ಇದು ಗೋಫರ್ನ ಕಾರ್ಯಕ್ಷಮತೆಗಿಂತ ಶೇಕಡಾ 7ರಷ್ಟು ಹೆಚ್ಚಾಗಿದೆ. 2023ರ ಜನವರಿ 12ರವರೆಗೆ ಚಿಂಚಿಲ್ಲಾ AI ಇನ್ನೂ ಪರೀಕ್ಷಾ ಹಂತದಲ್ಲಿದೆ. ಸೀಮಿತ ಗಣನೆಯ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಹೊಂದಿರುವ ದೊಡ್ಡ ಸ್ವಯಂಪ್ರೇರಿತ ಭಾಷಾ ಮಾದರಿಗಳಿಗೆ ಪರಿಣಾಮಕಾರಿ ತರಬೇತಿ ಮಾದರಿಯನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು ಚಿಂಚಿಲ್ಲಾ ಕೊಡುಗೆ ನೀಡುತ್ತದೆ. ಪ್ರತಿ ಮಾದರಿಯ ಗಾತ್ರ ದ್ವಿಗುಣಗೊಳ್ಳಲು ತರಬೇತಿ ಟೋಕನ್ಗಳ ಸಂಖ್ಯೆಯು ಎರಡು ಪಟ್ಟು ಹೆಚ್ಚಾಗಬೇಕೆಂದು ಚಿಂಚಿಲ್ಲಾ ತಂಡವು ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ, ಅಂದರೆ ದೊಡ್ಡ, ಉನ್ನತ-ಗುಣಮಟ್ಟದ ತರಬೇತಿ ದತ್ತಾಂಶಗಳನ್ನು ಬಳಸುವುದರಿಂದ ಕೆಳಮುಖ ಕಾರ್ಯಗಳಲ್ಲಿ ಉತ್ತಮ ಫಲಿತಾಂಶಗಳಿಗೆ ಕಾರಣವಾಗಬಹುದು. ಗೋಫರ್ ಕುಟುಂಬ ಮತ್ತು ಚಿಂಚಿಲ್ಲಾ ಕುಟುಂಬಗಳೆರಡೂ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಮಾದರಿಗಳ ಕುಟುಂಬಗಳಾಗಿವೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ, ಅವು ವಿವಿಧ ಗಾತ್ರಗಳು ಮತ್ತು ಸಣ್ಣ ಮಾರ್ಪಾಡುಗಳೊಂದಿಗೆ ಜಿಪಿಟಿ-2ರಂತೆಯೇ ಇರುತ್ತವೆ. ಗೋಫರ್ ಕುಟುಂಬವು ಲೇಯರ್ ನಾರ್ಮ್ ಬದಲಿಗೆ ಆರ್ಎಂಎಸ್ ನಾರ್ಮ್ ಅನ್ನು ಬಳಸುತ್ತದೆ; ಸಂಪೂರ್ಣ ಸ್ಥಾನಿಕ ಎನ್ಕೋಡಿಂಗ್ ಬದಲಿಗೆ ಸಂಬಂಧಿತ ಸ್ಥಾನಿಕ ಎನ್ಕೋಡಿಂಗ್. ಚಿಂಚಿಲ್ಲಾ ಕುಟುಂಬವು ಗೋಫರ್ ಕುಟುಂಬದಂತೆಯೇ ಇದೆ, ಆದರೆ ಆಡಮ್ ಆಪ್ಟಿಮೈಜರ್ ಬದಲಿಗೆ ಆಡಮ್ ಡಬ್ಲ್ಯೂ ಜೊತೆ ತರಬೇತಿ ಪಡೆದಿದೆ. ಗೋಫರ್ ಕುಟುಂಬವು 44 ದಶಲಕ್ಷ ನಿಯತಾಂಕಗಳಿಂದ 280 ಶತಕೋಟಿ ನಿಯತಾಂಕಗಳಿಗೆ ಹೆಚ್ಚುತ್ತಿರುವ ಗಾತ್ರದ 6 ಮಾದರಿಗಳನ್ನು ಹೊಂದಿದೆ. ಅವರು ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ ಅತಿದೊಡ್ಡದನ್ನು "ಗೋಫರ್" ಎಂದು ಉಲ್ಲೇಖಿಸುತ್ತಾರೆ. ಇದೇ ರೀತಿಯ ಹೆಸರಿಸುವ ಸಂಪ್ರದಾಯಗಳು ಚಿಂಚಿಲ್ಲಾ ಕುಟುಂಬಕ್ಕೆ ಅನ್ವಯಿಸುತ್ತವೆ. ಕೋಷ್ಟಕ 1 ಇಡೀ ಗೋಫರ್ ಕುಟುಂಬವನ್ನು ತೋರಿಸುತ್ತದೆಃ ಕೋಷ್ಟಕ 4 70-ಶತಕೋಟಿ-ಪ್ಯಾರಾಮೀಟರ್ ಚಿಂಚಿಲ್ಲಾವನ್ನು ಗೋಫರ್ 280ಬಿ ಯೊಂದಿಗೆ ಹೋಲಿಸುತ್ತದೆ. ಉಲ್ಲೇಖಗಳು ಚಾಟ್ಬಾಟ್ಗಳು ದೊಡ್ಡ ಭಾಷೆಯ ಮಾದರಿಗಳು