Kernel principal component analysis
ಮಲ್ಟಿವೇರಿಯೇಟ್ ಸ್ಟ್ಯಾಟಿಸ್ಟಿಕ್ಸ್ ಕ್ಷೇತ್ರದಲ್ಲಿ, ಕರ್ನಲ್ ಪ್ರಧಾನ ಘಟಕ ವಿಶ್ಲೇಷಣೆ (ಕರ್ನಲ್ ಪಿಸಿಎ) ಕರ್ನಲ್ ವಿಧಾನಗಳ ತಂತ್ರಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಪ್ರಧಾನ ಘಟಕ ವಿಶ್ಲೇಷಣೆಯ (ಪಿಸಿಎ) ವಿಸ್ತರಣೆಯಾಗಿದೆ. ಕರ್ನಲ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು, ಪಿಸಿಎಯ ಮೂಲ ರೇಖೀಯ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಪುನರುತ್ಪಾದಕ ಕರ್ನಲ್ ಹಿಲ್ಬರ್ಟ್ ಜಾಗದಲ್ಲಿ ನಡೆಸಲಾಗುತ್ತದೆ. ಹಿನ್ನೆಲೆಃ ಲೀನಿಯರ್ ಪಿ. ಸಿ. ಎ. ಸಾಂಪ್ರದಾಯಿಕ ಪಿ. ಸಿ. ಎ. ಯು ಶೂನ್ಯ-ಕೇಂದ್ರಿತ ದತ್ತಾಂಶದ ಮೇಲೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ನೆನಪಿಸಿಕೊಳ್ಳಿ; ಅಂದರೆ, ಇದು ಬಹುವಿಧದ ಅವಲೋಕನಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ. ಇದು ಕೋವೇರಿಯನ್ಸ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಕರ್ಣೀಯಗೊಳಿಸುವ ಮೂಲಕ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ಇದು ಕೋವೇರಿಯನ್ಸ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ನ ಐಜೆಂಡೆ-ಸಂಯೋಜನೆಯನ್ನು ನೀಡುತ್ತದೆಃ ಇದನ್ನು ಹೀಗೆ ಪುನಃ ಬರೆಯಬಹುದು. (ಸಹ ನೋಡಿಃ ರೇಖೀಯ ನಿರ್ವಾಹಕರಾಗಿ ಕೋವೇರಿಯನ್ಸ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್) ಪಿ. ಸಿ. ಎ. ಗೆ ಕರ್ನಲ್ನ ಪರಿಚಯ ಕರ್ನಲ್ ಪಿ. ಸಿ. ಎ. ಯ ಉಪಯುಕ್ತತೆಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು, ವಿಶೇಷವಾಗಿ ಕ್ಲಸ್ಟರಿಂಗ್ಗೆ, ಸಾಮಾನ್ಯವಾಗಿ, ಎನ್ ಬಿಂದುಗಳನ್ನು ಆಯಾಮಗಳಲ್ಲಿ ರೇಖೀಯವಾಗಿ ಬೇರ್ಪಡಿಸಲಾಗದಿದ್ದರೂ, ಅವುಗಳನ್ನು ಯಾವಾಗಲೂ ಆಯಾಮಗಳಲ್ಲಿ ರೇಖೀಯವಾಗಿ ಬೇರ್ಪಡಿಸಬಹುದು. ಅಂದರೆ, ಎನ್ ಬಿಂದುಗಳನ್ನು ನೀಡಿದರೆ, ನಾವು ಅವುಗಳನ್ನು ಎನ್-ಆಯಾಮದ ಜಾಗಕ್ಕೆ ನಕ್ಷೆ ಮಾಡಿದರೆ, ಬಿಂದುಗಳನ್ನು ಅನಿಯಂತ್ರಿತ ಸಮೂಹಗಳಾಗಿ ವಿಭಜಿಸುವ ಹೈಪರ್ ಪ್ಲೇನ್ ಅನ್ನು ನಿರ್ಮಿಸುವುದು ಸುಲಭ. ಸಹಜವಾಗಿ, ಇದು ರೇಖೀಯವಾಗಿ ಸ್ವತಂತ್ರ ವಾಹಕಗಳನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ನಾವು ರೇಖೀಯ ಪಿಸಿಎಯಲ್ಲಿ ಮಾಡುವಂತೆ ಸ್ಪಷ್ಟವಾಗಿ ಐಜೆಂಡೆ-ಸಂಯೋಜನೆಯನ್ನು ನಿರ್ವಹಿಸಲು ಯಾವುದೇ ಕೋವೇರಿಯನ್ಸ್ ಇಲ್ಲ. ಬದಲಿಗೆ, ಕರ್ನಲ್ ಪಿ. ಸಿ. ಎ. ಯಲ್ಲಿ, ಕ್ಷುಲ್ಲಕವಲ್ಲದ, ಅನಿಯಂತ್ರಿತ ಕಾರ್ಯವನ್ನು 'ಆಯ್ಕೆ' ಮಾಡಲಾಗುತ್ತದೆ, ಅದನ್ನು ಎಂದಿಗೂ ಸ್ಪಷ್ಟವಾಗಿ ಲೆಕ್ಕ ಹಾಕಲಾಗುವುದಿಲ್ಲ, ಆ ಸ್ಥಳದಲ್ಲಿನ ದತ್ತಾಂಶವನ್ನು ನಾವು ನಿಜವಾಗಿಯೂ ಮೌಲ್ಯಮಾಪನ ಮಾಡಬೇಕಾಗಿಲ್ಲದಿದ್ದರೆ ಅತಿ-ಉನ್ನತ-ಆಯಾಮದ ಕಾರ್ಯಗಳನ್ನು ಬಳಸುವ ಸಾಧ್ಯತೆಯನ್ನು ಇದು ಅನುಮತಿಸುತ್ತದೆ. ನಾವು ಸಾಮಾನ್ಯವಾಗಿ-ಸ್ಪೇಸ್ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುವುದನ್ನು ತಪ್ಪಿಸಲು ಪ್ರಯತ್ನಿಸುವುದರಿಂದ, ಅದನ್ನು ನಾವು 'ಫೀಚರ್ ಸ್ಪೇಸ್' ಎಂದು ಕರೆಯುತ್ತೇವೆ, ನಾವು ಎನ್-ಬೈ-ಎನ್ ಕರ್ನಲ್ ಅನ್ನು ರಚಿಸಬಹುದು, ಇದು ಇಲ್ಲದಿದ್ದರೆ ಇಂಟ್ರಾಕ್ಟೇಬಲ್ ಫೀಚರ್ ಸ್ಪೇಸ್ನ ಆಂತರಿಕ ಉತ್ಪನ್ನ ಜಾಗವನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ (ಗ್ರಾಮಿಯನ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ನೋಡಿ). ಕರ್ನಲ್ನ ರಚನೆಯಲ್ಲಿ ಉದ್ಭವಿಸುವ ದ್ವಂದ್ವ ರೂಪವು ನಮಗೆ ಪಿಸಿಎಯ ಒಂದು ಆವೃತ್ತಿಯನ್ನು ಗಣಿತಶಾಸ್ತ್ರದಲ್ಲಿ ರೂಪಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ, ಇದರಲ್ಲಿ ನಾವು-ಸ್ಪೇಸ್ನಲ್ಲಿ ಕೋವೇರಿಯನ್ಸ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ನ ಐಗನ್ವೆಕ್ಟರ್ಗಳು ಮತ್ತು ಐಗನ್ ಮೌಲ್ಯಗಳನ್ನು ಎಂದಿಗೂ ಪರಿಹರಿಸುವುದಿಲ್ಲ (ಕರ್ನಲ್ ಟ್ರಿಕ್ ನೋಡಿ). ಕೆ ಯ ಪ್ರತಿಯೊಂದು ಅಂಕಣದಲ್ಲಿರುವ ಎನ್-ಅಂಶಗಳು ಎಲ್ಲಾ ರೂಪಾಂತರಗೊಂಡ ಬಿಂದುಗಳಿಗೆ (ಎನ್ ಬಿಂದುಗಳು) ಸಂಬಂಧಿಸಿದಂತೆ ರೂಪಾಂತರಗೊಂಡ ದತ್ತಾಂಶದ ಒಂದು ಬಿಂದುವಿನ ಚುಕ್ಕೆ ಉತ್ಪನ್ನವನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತವೆ. ಕೆಲವು ಪ್ರಸಿದ್ಧ ಕರ್ನಲ್ಗಳನ್ನು ಕೆಳಗಿನ ಉದಾಹರಣೆಯಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ. ನಾವು ಎಂದಿಗೂ ವೈಶಿಷ್ಟ್ಯದ ಜಾಗದಲ್ಲಿ ನೇರವಾಗಿ ಕೆಲಸ ಮಾಡದ ಕಾರಣ, ಪಿಸಿಎಯ ಕರ್ನಲ್-ಸೂತ್ರೀಕರಣವು ಮುಖ್ಯ ಘಟಕಗಳನ್ನು ಸ್ವತಃ ಲೆಕ್ಕಿಸುವುದಿಲ್ಲ, ಆದರೆ ಆ ಘಟಕಗಳ ಮೇಲೆ ನಮ್ಮ ಡೇಟಾದ ಪ್ರಕ್ಷೇಪಗಳನ್ನು ಲೆಕ್ಕ ಹಾಕುತ್ತದೆ. ವೈಶಿಷ್ಟ್ಯದ ಸ್ಥಳದಲ್ಲಿನ ಒಂದು ಬಿಂದುವಿನಿಂದ kth ಪ್ರಧಾನ ಘಟಕಕ್ಕೆ ಪ್ರಕ್ಷೇಪಣವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು (ಅಲ್ಲಿ ಸೂಪರ್ಸ್ಕ್ರಿಪ್ಟ್ k ಎಂದರೆ ಘಟಕ k, k ನ ಶಕ್ತಿಗಳಲ್ಲ) ಡಾಟ್ ಉತ್ಪನ್ನವನ್ನು ಸೂಚಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ನಾವು ಗಮನಿಸುತ್ತೇವೆ, ಇದು ಕೇವಲ ಕರ್ನಲ್ನ ಅಂಶಗಳಾಗಿವೆ. ಇದನ್ನು ಲೆಕ್ಕ ಹಾಕುವುದು ಮತ್ತು ಸಾಮಾನ್ಯಗೊಳಿಸುವುದು ಮಾತ್ರ ಉಳಿದಿದೆ ಎಂದು ತೋರುತ್ತದೆ, ಇದನ್ನು ಐಗನ್ ವೆಕ್ಟರ್ ಸಮೀಕರಣವನ್ನು ಪರಿಹರಿಸುವ ಮೂಲಕ ಮಾಡಬಹುದು, ಅಲ್ಲಿ ಸೆಟ್ನಲ್ಲಿ ಡೇಟಾ ಪಾಯಿಂಟ್ಗಳ ಸಂಖ್ಯೆ, ಮತ್ತು ಇವು ಐಗನ್ ಮೌಲ್ಯಗಳು ಮತ್ತು ಐಗನ್ ವೆಕ್ಟರ್ಗಳಾಗಿವೆ. ನಂತರ ಐಗನ್ ವೆಕ್ಟರ್ಗಳನ್ನು ಸಾಮಾನ್ಯಗೊಳಿಸಲು, ಅದರ ಮೂಲ ಜಾಗದಲ್ಲಿ ಶೂನ್ಯ-ಅರ್ಥವನ್ನು ಹೊಂದಿದ್ದರೂ ಅಥವಾ ಇಲ್ಲದಿದ್ದರೂ, ಅದು ವೈಶಿಷ್ಟ್ಯದ ಜಾಗದಲ್ಲಿ ಕೇಂದ್ರೀಕೃತವಾಗಿದೆ ಎಂದು ಖಾತರಿಪಡಿಸುವುದಿಲ್ಲ (ಇದನ್ನು ನಾವು ಎಂದಿಗೂ ಸ್ಪಷ್ಟವಾಗಿ ಲೆಕ್ಕಿಸುವುದಿಲ್ಲ) ಎಂಬ ಅಂಶದ ಬಗ್ಗೆ ಕಾಳಜಿ ವಹಿಸಬೇಕು. ಪರಿಣಾಮಕಾರಿ ಪ್ರಧಾನ ಘಟಕ ವಿಶ್ಲೇಷಣೆಯನ್ನು ನಿರ್ವಹಿಸಲು ಕೇಂದ್ರೀಕೃತ ದತ್ತಾಂಶದ ಅಗತ್ಯವಿರುವುದರಿಂದ, ಪ್ರತಿ ಅಂಶವು ಮೌಲ್ಯವನ್ನು ತೆಗೆದುಕೊಳ್ಳುವ ಎನ್-ಬೈ-ಎನ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಸೂಚಿಸುವ ಸ್ಥಳವಾಗಲು ನಾವು 'ಕೇಂದ್ರೀಕರಿಸುತ್ತೇವೆ'. ಮೇಲೆ ವಿವರಿಸಿದ ಕರ್ನಲ್ ಪಿಸಿಎ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ನಿರ್ವಹಿಸಲು ನಾವು ಬಳಸುತ್ತೇವೆ. ಕರ್ನಲ್ ಪಿಸಿಎಯ ಒಂದು ಎಚ್ಚರಿಕೆಯನ್ನು ಇಲ್ಲಿ ವಿವರಿಸಬೇಕು. ರೇಖೀಯ ಪಿ. ಸಿ. ಎ. ಯಲ್ಲಿ, ಪ್ರತಿ ಪ್ರಮುಖ ಘಟಕವು ದತ್ತಾಂಶದ ಎಷ್ಟು ವ್ಯತ್ಯಾಸವನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ ಎಂಬುದರ ಆಧಾರದ ಮೇಲೆ ಐಗನ್ ವೆಕ್ಟರ್ಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸಲು ನಾವು ಐಗನ್ ಮೌಲ್ಯಗಳನ್ನು ಬಳಸಬಹುದು. ಇದು ದತ್ತಾಂಶದ ಆಯಾಮವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಉಪಯುಕ್ತವಾಗಿದೆ ಮತ್ತು ಇದನ್ನು ಕೆಪಿಸಿಎಗೂ ಅನ್ವಯಿಸಬಹುದು. ಆದಾಗ್ಯೂ, ಆಚರಣೆಯಲ್ಲಿ ದತ್ತಾಂಶದ ಎಲ್ಲಾ ವ್ಯತ್ಯಾಸಗಳು ಒಂದೇ ಆಗಿರುತ್ತವೆ. ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಕರ್ನಲ್ ಮಾಪಕದ ತಪ್ಪು ಆಯ್ಕೆಯಿಂದ ಉಂಟಾಗುತ್ತದೆ. ದೊಡ್ಡ ದತ್ತಾಂಶ ಸಮೂಹಗಳು ಆಚರಣೆಯಲ್ಲಿ, ದೊಡ್ಡ ದತ್ತಾಂಶ ಸಮೂಹವು ದೊಡ್ಡ ಕೆ ಗೆ ಕಾರಣವಾಗುತ್ತದೆ, ಮತ್ತು ಕೆ ಅನ್ನು ಸಂಗ್ರಹಿಸುವುದು ಸಮಸ್ಯೆಯಾಗಬಹುದು. ಇದನ್ನು ನಿಭಾಯಿಸಲು ಒಂದು ಮಾರ್ಗವೆಂದರೆ ಡೇಟಾಸೆಟ್ನಲ್ಲಿ ಕ್ಲಸ್ಟರಿಂಗ್ ಮಾಡುವುದು ಮತ್ತು ಆ ಕ್ಲಸ್ಟರ್ಗಳ ಸಾಧನಗಳೊಂದಿಗೆ ಕರ್ನಲ್ ಅನ್ನು ಜನಪ್ರಿಯಗೊಳಿಸುವುದು. ಈ ವಿಧಾನವೂ ಸಹ ತುಲನಾತ್ಮಕವಾಗಿ ದೊಡ್ಡ ಕೆ ಅನ್ನು ನೀಡಬಹುದಾದ್ದರಿಂದ, ಉನ್ನತ ಪಿ ಐಗನ್ ಮೌಲ್ಯಗಳನ್ನು ಮಾತ್ರ ಲೆಕ್ಕ ಹಾಕುವುದು ಸಾಮಾನ್ಯವಾಗಿದೆ ಮತ್ತು ಐಗನ್ ಮೌಲ್ಯಗಳ ಐಗನ್ ವೆಕ್ಟರ್ಗಳನ್ನು ಈ ರೀತಿಯಲ್ಲಿ ಲೆಕ್ಕ ಹಾಕಲಾಗುತ್ತದೆ. ಉದಾಹರಣೆ ಬಿಂದುಗಳ ಮೂರು ಕೇಂದ್ರೀಕೃತ ಮೋಡಗಳನ್ನು ಪರಿಗಣಿಸಿ (ತೋರಿಸಲಾಗಿದೆ); ಈ ಗುಂಪುಗಳನ್ನು ಗುರುತಿಸಲು ನಾವು ಕರ್ನಲ್ ಪಿಸಿಎಯನ್ನು ಬಳಸಲು ಬಯಸುತ್ತೇವೆ. ಬಿಂದುಗಳ ಬಣ್ಣವು ಅಲ್ಗಾರಿದಮ್ನಲ್ಲಿ ಒಳಗೊಂಡಿರುವ ಮಾಹಿತಿಯನ್ನು ಪ್ರತಿನಿಧಿಸುವುದಿಲ್ಲ, ಆದರೆ ಪರಿವರ್ತನೆಯು ದತ್ತಾಂಶ ಬಿಂದುಗಳನ್ನು ಹೇಗೆ ಸ್ಥಳಾಂತರಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಮಾತ್ರ ತೋರಿಸುತ್ತದೆ. ಮೊದಲಿಗೆ, ಇದನ್ನು ಪಿ. ಸಿ. ಎ. ಗೆ ಅನ್ವಯಿಸುವ ಕರ್ನಲ್ ಮುಂದಿನ ಚಿತ್ರವನ್ನು ನೀಡುತ್ತದೆ ಎಂಬುದನ್ನು ಪರಿಗಣಿಸಿ. ಈಗ ಗಾಸಿಯನ್ ಕರ್ನಲ್ ಅನ್ನು ಪರಿಗಣಿಸಿಃ ಅಂದರೆ, ಈ ಕರ್ನಲ್ ನಿಕಟತೆಯ ಅಳತೆಯಾಗಿದೆ, ಇದು ಬಿಂದುಗಳು ಹೊಂದಿಕೆಯಾಗುವಾಗ 1 ಕ್ಕೆ ಸಮಾನವಾಗಿರುತ್ತದೆ ಮತ್ತು ಅನಂತದಲ್ಲಿ 0 ಕ್ಕೆ ಸಮಾನವಾಗಿರುತ್ತದೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ ಗಮನಿಸಿ, ಮೊದಲ ಪ್ರಮುಖ ಘಟಕವು ಮೂರು ವಿಭಿನ್ನ ಗುಂಪುಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸಲು ಸಾಕಾಗುತ್ತದೆ, ಇದು ಕೇವಲ ರೇಖೀಯ ಪಿಸಿಎಯನ್ನು ಬಳಸುವುದು ಅಸಾಧ್ಯ, ಏಕೆಂದರೆ ರೇಖೀಯ ಪಿಸಿಎ ನಿರ್ದಿಷ್ಟವಾದ (ಈ ಸಂದರ್ಭದಲ್ಲಿ ಎರಡು ಆಯಾಮದ) ಜಾಗದಲ್ಲಿ ಮಾತ್ರ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಇದರಲ್ಲಿ ಈ ಕೇಂದ್ರೀಕೃತ ಬಿಂದು ಮೋಡಗಳು ರೇಖೀಯವಾಗಿ ಬೇರ್ಪಡಿಸಲಾಗುವುದಿಲ್ಲ. ಅನ್ವಯಿಕೆಗಳಾದ ಕರ್ನಲ್ ಪಿ. ಸಿ. ಎ. ಹೊಸತನವನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಮತ್ತು ಇಮೇಜ್ ಡಿ-ನಾಯ್ಸಿಂಗ್ಗೆ ಉಪಯುಕ್ತವಾಗಿದೆ ಎಂದು ತೋರಿಸಲಾಗಿದೆ. ಕ್ಲಸ್ಟರ್ ವಿಶ್ಲೇಷಣೆ ರೇಖಾತ್ಮಕವಲ್ಲದ ಆಯಾಮದ ಕಡಿತ ಸ್ಪೆಕ್ಟ್ರಲ್ ಕ್ಲಸ್ಟರಿಂಗ್ ಉಲ್ಲೇಖಗಳು ಆಯಾಮ ಕಡಿತ ಸಿಗ್ನಲ್ ಪ್ರೊಸೆಸಿಂಗ್ ಅಲ್ಗಾರಿದಮ್ಗಳು ಯಂತ್ರ ಕಲಿಕೆಗಾಗಿ ಕರ್ನಲ್ ವಿಧಾನಗಳನ್ನು ಸಹ ನೋಡಿಃ Principalkomponentanalys#Olinjär PCA