Foundation models
ಫೌಂಡೇಶನ್ ಮಾಡೆಲ್ (ಬೇಸ್ ಮಾಡೆಲ್ ಎಂದೂ ಕರೆಯಲ್ಪಡುತ್ತದೆ) ಒಂದು ದೊಡ್ಡ ಯಂತ್ರ ಕಲಿಕೆ (ಎಂಎಲ್) ಮಾದರಿಯಾಗಿದ್ದು, ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ದತ್ತಾಂಶದ ಮೇಲೆ ತರಬೇತಿ ನೀಡಲಾಗುತ್ತದೆ (ಸಾಮಾನ್ಯವಾಗಿ ಸ್ವಯಂ-ಮೇಲ್ವಿಚಾರಣೆಯ ಕಲಿಕೆ ಅಥವಾ ಅರೆ-ಮೇಲ್ವಿಚಾರಣೆಯ ಕಲಿಕೆ), ಇದನ್ನು ವ್ಯಾಪಕ ಶ್ರೇಣಿಗೆ ಅಳವಡಿಸಿಕೊಳ್ಳಬಹುದು. ಫೌಂಡೇಶನ್ ಮಾದರಿಗಳು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ (ಎಐ) ವ್ಯವಸ್ಥೆಗಳನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸಲಾಗಿದೆ ಎಂಬುದರಲ್ಲಿ ಪ್ರಮುಖ ಪರಿವರ್ತನೆಯನ್ನು ತರಲು ಸಹಾಯ ಮಾಡಿವೆ, ಉದಾಹರಣೆಗೆ ಪ್ರಮುಖ ಚಾಟ್ಬಾಟ್ಗಳು ಮತ್ತು ಇತರ ಬಳಕೆದಾರ-ಎದುರಿಸುತ್ತಿರುವ ಎಐ. ಸ್ಟ್ಯಾನ್ಫೋರ್ಡ್ ಇನ್ಸ್ಟಿಟ್ಯೂಟ್ ಫಾರ್ ಹ್ಯೂಮನ್-ಸೆಂಟರ್ಡ್ ಆರ್ಟಿಫಿಶಿಯಲ್ ಇಂಟೆಲಿಜೆನ್ಸ್ನ (ಎಚ್ಎಐ) ಸೆಂಟರ್ ಫಾರ್ ರಿಸರ್ಚ್ ಆನ್ ಫೌಂಡೇಶನ್ ಮಾಡೆಲ್ಸ್ (ಸಿಆರ್ಎಫ್ಎಂ) ಈ ಪದವನ್ನು ಜನಪ್ರಿಯಗೊಳಿಸಿತು. ಅಡಿಪಾಯ ಮಾದರಿಗಳ ಆರಂಭಿಕ ಉದಾಹರಣೆಗಳೆಂದರೆ ಗೂಗಲ್ನ ಬಿಇಆರ್ಟಿ ಮತ್ತು ವಿವಿಧ ಆರಂಭಿಕ ಜಿಪಿಟಿ ಅಡಿಪಾಯ ಮಾದರಿಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಭಾಷಾ ಮಾದರಿಗಳು (ಎಲ್ಎಂ), ಇವು ಗಮನಾರ್ಹವಾಗಿ ಓಪನ್ಎಐನ "ಜಿಪಿಟಿ-ಎನ್" ಸರಣಿಯನ್ನು ಒಳಗೊಂಡಿವೆ. ಅಂತಹ ವಿಶಾಲ ಮಾದರಿಗಳನ್ನು ವೈದ್ಯಕೀಯ ಸಂಕೇತಗಳಂತಹ ವಿವಿಧ ರೀತಿಯ ಉದ್ದೇಶಿತ ದತ್ತಾಂಶಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಕಾರ್ಯ ಮತ್ತು/ಅಥವಾ ಡೊಮೇನ್ ನಿರ್ದಿಷ್ಟ ಮಾದರಿಗಳಿಗೆ ಬಳಸಬಹುದು. ಪಠ್ಯವನ್ನು ಮೀರಿ, DALL-E, ಫ್ಲಮಿಂಗೋ, ಫ್ಲಾರೆನ್ಸ್ ಮತ್ತು NOOR ಸೇರಿದಂತೆ ಹಲವಾರು ದೃಶ್ಯ ಮತ್ತು ಬಹುವಿಧದ ಅಡಿಪಾಯ ಮಾದರಿಗಳನ್ನು ತಯಾರಿಸಲಾಗಿದೆ. ಅತ್ಯಾಧುನಿಕ ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ಮಾದರಿಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು ವಿಷುಯಲ್ ಫೌಂಡೇಶನ್ ಮಾದರಿಗಳನ್ನು (ವಿಎಫ್ಎಂಗಳು) ಪಠ್ಯ-ಆಧಾರಿತ ಎಲ್ಎಲ್ಎಂಗಳೊಂದಿಗೆ ಸಂಯೋಜಿಸಲಾಗಿದೆ. ಸಾಮಾನ್ಯ ಚಿತ್ರ ವಿಭಜನೆಗಾಗಿ ಮೆಟಾ ಎಐಯಿಂದ ಸೆಗ್ಮೆಂಟ್ ಎನಿಥಿಂಗ್ ಕೂಡ ಇದೆ. ಬಲವರ್ಧನೆಯ ಕಲಿಕಾ ಏಜೆಂಟ್ಗಳಿಗಾಗಿ, ಗೂಗಲ್ ಡೀಪ್ ಮೈಂಡ್ನಿಂದ ಗಾಟೋ ಇದೆ. ವ್ಯಾಖ್ಯಾನಗಳು ಸ್ಟ್ಯಾನ್ಫೋರ್ಡ್ ಇನ್ಸ್ಟಿಟ್ಯೂಟ್ ಫಾರ್ ಹ್ಯೂಮನ್-ಸೆಂಟರ್ಡ್ ಆರ್ಟಿಫಿಶಿಯಲ್ ಇಂಟೆಲಿಜೆನ್ಸ್ನ (ಎಚ್ಎಐ) ಸೆಂಟರ್ ಫಾರ್ ರಿಸರ್ಚ್ ಆನ್ ಫೌಂಡೇಶನ್ ಮಾಡೆಲ್ಸ್ (ಸಿಆರ್ಎಫ್ಎಂ) ಆಗಸ್ಟ್ 2021 ರಲ್ಲಿ "ಫೌಂಡೇಶನ್ ಮಾಡೆಲ್" ಎಂಬ ಪದವನ್ನು ಸೃಷ್ಟಿಸಿತು, ತಾತ್ಕಾಲಿಕವಾಗಿ "ವಿಶಾಲ ದತ್ತಾಂಶದ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದ ಯಾವುದೇ ಮಾದರಿಯನ್ನು (ಸಾಮಾನ್ಯವಾಗಿ ಸ್ವಯಂ-ಮೇಲ್ವಿಚಾರಣೆಯನ್ನು ಬಳಸುತ್ತದೆ) ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ಡೌನ್ಸ್ಟ್ರೀಮ್ ಕಾರ್ಯಗಳಿಗೆ ಅಳವಡಿಸಿಕೊಳ್ಳಬಹುದು (ಉದಾಹರಣೆಗೆ, ಉತ್ತಮ-ಹೊಂದಾಣಿಕೆ)". ಇದು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಅತಿಕ್ರಮಿಸುವ ಪದಗಳು ಸಾಕಾಗುವುದಿಲ್ಲ ಎಂಬ ಅವರ ಅವಲೋಕನವನ್ನು ಆಧರಿಸಿತ್ತು, '(ದೊಡ್ಡ) ಭಾಷಾ ಮಾದರಿ' ತುಂಬಾ ಕಿರಿದಾಗಿದೆ ಎಂದು ಸಲ್ಲಿಸುವುದು ಗಮನವು ಕೇವಲ ಭಾಷೆಯಲ್ಲ; 'ಸ್ವಯಂ-ಮೇಲ್ವಿಚಾರಿತ ಮಾದರಿ' ತರಬೇತಿ ಉದ್ದೇಶಕ್ಕೆ ತುಂಬಾ ನಿರ್ದಿಷ್ಟವಾಗಿದೆ; ಮತ್ತು 'ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಮಾದರಿ' ಗಮನಾರ್ಹ ಕ್ರಮವು 'ಪೂರ್ವ-ತರಬೇತಿ' ಯ ನಂತರ ಸಂಭವಿಸಿದೆ ಎಂದು ಸೂಚಿಸಿತು. ಅನೇಕ ಪದಗಳನ್ನು ಪರಿಗಣಿಸಿದ ನಂತರ, ಅವರು ವಿಧಾನ, ವಾಸ್ತುಶಿಲ್ಪ ಅಥವಾ ಅನುಷ್ಠಾನಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಉದ್ದೇಶಿತ ಕಾರ್ಯವನ್ನು (ಅಂದರೆ, ಮುಂದಿನ ಅಭಿವೃದ್ಧಿಗೆ ಹೊಂದಿಕೊಳ್ಳುವಿಕೆ) ಒತ್ತಿಹೇಳಲು "ಅಡಿಪಾಯ ಮಾದರಿ" ಯನ್ನು ನಿರ್ಧರಿಸಿದರು. ಈ ಪರಿಕಲ್ಪನೆಯು ನಿಜವಾಗಿಯೂ ಹೊಸದೇನಲ್ಲ ಎಂದು ಅವರು ಗಮನಿಸುತ್ತಾರೆ, ಏಕೆಂದರೆ ಇದು ಆಳವಾದ ನರ ಜಾಲಗಳು ಮತ್ತು ಸ್ವಯಂ-ಮೇಲ್ವಿಚಾರಿತ ಕಲಿಕೆಯನ್ನು ಆಧರಿಸಿದೆ, ಆದರೆ ಇತ್ತೀಚಿನ ವರ್ಷಗಳಲ್ಲಿ ಈ ಪ್ರದೇಶವು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ಪ್ರಮಾಣ ಮತ್ತು ಯಾವುದೇ ಮಾದರಿಯನ್ನು ವಿವಿಧ ಉದ್ದೇಶಗಳಿಗಾಗಿ ಬಳಸುವ ಸಾಮರ್ಥ್ಯವು ಹೊಸ ಪದವನ್ನು ಸಮರ್ಥಿಸುತ್ತದೆ ಎಂದು ಪ್ರತಿಪಾದಿಸಿದರು. ಅಡಿಪಾಯ ಮಾದರಿಯು "AI ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸುವ ಮಾದರಿ" ಯಾಗಿದ್ದು, ಇದರಲ್ಲಿ ದೊಡ್ಡ ಪ್ರಮಾಣದ ಲೇಬಲ್ ಮಾಡದ ದತ್ತಾಂಶದ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಯನ್ನು ಅನೇಕ ಅನ್ವಯಗಳಿಗೆ ಅಳವಡಿಸಿಕೊಳ್ಳಬಹುದು. ಫೌಂಡೇಶನ್ ಮಾದರಿಗಳನ್ನು "ಪ್ರಮಾಣದಲ್ಲಿ ವಿಶಾಲವಾದ ದತ್ತಾಂಶದ ಮೇಲೆ ಪೂರ್ವ-ತರಬೇತಿಯ ಮೂಲಕ ವಿವಿಧ ಕೆಳಭಾಗದ ಅರಿವಿನ ಕಾರ್ಯಗಳಿಗೆ ಹೊಂದಿಕೊಳ್ಳಲು (ಉದಾಹರಣೆಗೆ, ಸೂಕ್ಷ್ಮವಾದ) ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ". ಅಡಿಪಾಯ ಮಾದರಿಗಳ ಪ್ರಮುಖ ಗುಣಲಕ್ಷಣಗಳೆಂದರೆ ಹೊರಹೊಮ್ಮುವಿಕೆ ಮತ್ತು ಏಕರೂಪತೆ. ತರಬೇತಿ ದತ್ತಾಂಶವನ್ನು ಮಾನವರು ಲೇಬಲ್ ಮಾಡದ ಕಾರಣ, ಮಾದರಿಯು ಸ್ಪಷ್ಟವಾಗಿ ಎನ್ಕೋಡ್ ಮಾಡುವ ಬದಲು ಹೊರಹೊಮ್ಮುತ್ತದೆ. ನಿರೀಕ್ಷಿಸಿರದ ಗುಣಲಕ್ಷಣಗಳು ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು. ಉದಾಹರಣೆಗೆ, ದೊಡ್ಡ ಭಾಷೆಯ ದತ್ತಾಂಶ ಸಮೂಹದಲ್ಲಿ ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಯು ತನ್ನದೇ ಆದ ಕಥೆಗಳನ್ನು ರಚಿಸಲು ಅಥವಾ ಅಂಕಗಣಿತವನ್ನು ಮಾಡಲು ಕಲಿಯಬಹುದು, ಹಾಗೆ ಮಾಡಲು ಸ್ಪಷ್ಟವಾಗಿ ಪ್ರೋಗ್ರಾಮ್ ಮಾಡದೆ. ಇದಲ್ಲದೆ, ಕೆಳಮುಖ ಸ್ಕೇಲಿಂಗ್ ನಿಯಮಗಳಲ್ಲಿನ ವಿರಾಮಗಳಿಂದಾಗಿ ಈ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಮೊದಲೇ ಊಹಿಸುವುದು ಕೆಲವೊಮ್ಮೆ ಕಷ್ಟವಾಗಬಹುದು. ಹೋಮೋಜೆನೈಸೇಶನ್ ಎಂದರೆ ಅದೇ ವಿಧಾನವನ್ನು ಅನೇಕ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ, ಇದು ಪ್ರಬಲವಾದ ಪ್ರಗತಿಗೆ ಅವಕಾಶ ನೀಡುತ್ತದೆ ಆದರೆ "ವೈಫಲ್ಯದ ಏಕ ಬಿಂದುಗಳ" ಸಾಧ್ಯತೆಯನ್ನೂ ಸಹ ನೀಡುತ್ತದೆ. ಅಡಿಪಾಯ ಮಾದರಿಗಳನ್ನು ವೈಯಕ್ತೀಕರಿಸುವುದು ಅಡಿಪಾಯ ಮಾದರಿಗಳು ಬೃಹತ್ ದತ್ತಸಂಚಯದಲ್ಲಿ ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದಿರುವುದರಿಂದ, ಬಳಕೆದಾರರು ಆಸಕ್ತಿ ಹೊಂದಿರಬಹುದಾದ ನಿರ್ದಿಷ್ಟ "ವೈಯಕ್ತಿಕ" ಪರಿಕಲ್ಪನೆಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಅವು ಹೊಂದಿರುವುದಿಲ್ಲ. ಸಂಪೂರ್ಣ ಮಾದರಿಯನ್ನು ಮರುತರಬೇತಿಯನ್ನು ಪಡೆಯದೆ ವೈಯಕ್ತಿಕ, ನಿರ್ದಿಷ್ಟ ವಸ್ತುಗಳೊಂದಿಗೆ ಅಡಿಪಾಯ ಮಾದರಿಯನ್ನು ಹೆಚ್ಚಿಸಲು ಹಲವಾರು ವಿಧಾನಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಉದಾಹರಣೆಗೆ, ಕೆಲವು-ಶಾಟ್ ಇಮೇಜ್ ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ ಅದರ ಶಬ್ದಕೋಶಕ್ಕೆ ಹೊಸ ಪರಿಕಲ್ಪನೆಯನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ದೃಷ್ಟಿ-ಭಾಷೆಯ ಅಡಿಪಾಯ ಮಾದರಿಯನ್ನು (ಸಿಎಲ್ಐಪಿ) ಹೇಗೆ ಅಳವಡಿಸಿಕೊಳ್ಳುವುದು ಎಂಬುದನ್ನು ತೋರಿಸಲಾಗಿದೆ. ಪಠ್ಯದಿಂದ ಚಿತ್ರದ ಪೀಳಿಗೆಗೆ, ಪಠ್ಯ ವಿಲೋಮ ಎಂಬ ವಿಧಾನವನ್ನು ಅದೇ ರೀತಿ ವ್ಯವಸ್ಥೆಯ ಹೊಸ ಪರಿಕಲ್ಪನೆಯನ್ನು ಕಲಿಸಲು ಬಳಸಬಹುದು, ಅದನ್ನು ನಂತರ ಅಡಿಪಾಯ ಮಾದರಿಯು ಈಗಾಗಲೇ ಪರಿಚಿತವಾಗಿರುವ ಪರಿಕಲ್ಪನೆಗಳ ಜೊತೆಯಲ್ಲಿ ರಚಿಸಬಹುದು. ಅವಕಾಶಗಳು ಮತ್ತು ಅಪಾಯಗಳು ಎ 2021 ಆರ್ಎಕ್ಸ್ಐವಿ ವರದಿಯು "ಭಾಷೆ, ದೃಷ್ಟಿ, ರೊಬೊಟಿಕ್ಸ್, ತರ್ಕ ಮತ್ತು ಮಾನವ ಸಂವಹನ", ತಾಂತ್ರಿಕ ತತ್ವಗಳಾದ "ಮಾದರಿ ವಾಸ್ತುಶಿಲ್ಪಗಳು, ತರಬೇತಿ ಕಾರ್ಯವಿಧಾನಗಳು, ದತ್ತಾಂಶ, ವ್ಯವಸ್ಥೆಗಳು, ಭದ್ರತೆ, ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ಸಿದ್ಧಾಂತ", ಅವುಗಳ ಅನ್ವಯಗಳು, ಉದಾಹರಣೆಗೆ ಕಾನೂನು, ಆರೋಗ್ಯ ರಕ್ಷಣೆ ಮತ್ತು ಶಿಕ್ಷಣದಲ್ಲಿ ಮತ್ತು "ಅಸಮಾನತೆ, ದುರುಪಯೋಗ, ಆರ್ಥಿಕ ಮತ್ತು ಪರಿಸರದ ಪರಿಣಾಮ, ಕಾನೂನು ಮತ್ತು ನೈತಿಕ ಪರಿಗಣನೆಗಳು" ಸೇರಿದಂತೆ ಸಮಾಜದ ಮೇಲೆ ಅವುಗಳ ಸಂಭಾವ್ಯ ಪ್ರಭಾವಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಅಡಿಪಾಯ ಮಾದರಿಗಳ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿದೆ. "ತಂತ್ರಜ್ಞಾನದ ಅಜಾಗರೂಕತೆಯ ಹರಡುವಿಕೆಯು ಆರ್ಥಿಕ ಮತ್ತು ರಾಜಕೀಯ ಶಕ್ತಿಯನ್ನು ಮತ್ತಷ್ಟು ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ ಎಂದು ಕೆಲವರು ಚಿಂತೆ ಮಾಡುತ್ತಾರೆ" ಎಂದು ದಿ ಎಕನಾಮಿಸ್ಟ್ನ ಅಡಿಪಾಯ ಮಾದರಿಗಳ ಕುರಿತಾದ ಒಂದು ಲೇಖನವು ಹೇಳುತ್ತದೆ. ಉಲ್ಲೇಖಗಳು ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣ ಕಂಪ್ಯೂಟೇಶನಲ್ ಭಾಷಾಶಾಸ್ತ್ರ ಅಧ್ಯಯನದ ಕಂಪ್ಯೂಟೇಶನಲ್ ಕ್ಷೇತ್ರಗಳು ಭಾಷಾ ಮಾಡೆಲಿಂಗ್ ಮೇಲ್ವಿಚಾರಣೆಯಿಲ್ಲದ ಆಳವಾದ ಕಲಿಕೆ