Wasserstein GAN
ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ ಜನರೇಟಿವ್ ಅಡ್ವರ್ಸೇರಿಯಲ್ ನೆಟ್ವರ್ಕ್ (ಡಬ್ಲ್ಯುಜಿಎಎನ್) 2017 ರಲ್ಲಿ ಪ್ರಸ್ತಾಪಿಸಲಾದ ಜನರೇಟಿವ್ ಅಡ್ವರ್ಸೇರಿಯಲ್ ನೆಟ್ವರ್ಕ್ನ (ಜಿಎಎನ್) ಒಂದು ರೂಪಾಂತರವಾಗಿದ್ದು, ಇದು "ಕಲಿಕೆಯ ಸ್ಥಿರತೆಯನ್ನು ಸುಧಾರಿಸುವುದು, ಮೋಡ್ ಕುಸಿತದಂತಹ ಸಮಸ್ಯೆಗಳನ್ನು ತೊಡೆದುಹಾಕುವುದು ಮತ್ತು ಡೀಬಗ್ ಮತ್ತು ಹೈಪರ್ ಪ್ಯಾರಾಮೀಟರ್ ಹುಡುಕಾಟಗಳಿಗೆ ಉಪಯುಕ್ತವಾದ ಅರ್ಥಪೂರ್ಣ ಕಲಿಕಾ ವಕ್ರಾಕೃತಿಗಳನ್ನು ಒದಗಿಸುವ" ಗುರಿಯನ್ನು ಹೊಂದಿದೆ. ಮೂಲ GAN ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ಗೆ ಹೋಲಿಸಿದರೆ, ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ GAN ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಜನರೇಟರ್ಗೆ ಉತ್ತಮ ಕಲಿಕೆಯ ಸಂಕೇತವನ್ನು ಒದಗಿಸುತ್ತದೆ. ಜನರೇಟರ್ ಹೆಚ್ಚಿನ ಆಯಾಮದ ಸ್ಥಳಗಳಲ್ಲಿ ವಿತರಣೆಗಳನ್ನು ಕಲಿಯುತ್ತಿರುವಾಗ ಇದು ತರಬೇತಿಯನ್ನು ಹೆಚ್ಚು ಸ್ಥಿರವಾಗಿರಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಪ್ರೇರಣೆ GAN ಆಟ ಮೂಲ GAN ವಿಧಾನವು GAN ಆಟವನ್ನು ಆಧರಿಸಿದೆ, ಇದು ಜನರೇಟರ್ ಮತ್ತು ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಎಂಬ ಇಬ್ಬರು ಆಟಗಾರರನ್ನು ಹೊಂದಿರುವ ಶೂನ್ಯ-ಮೊತ್ತದ ಆಟವಾಗಿದೆ. ಆಟವನ್ನು ಸಂಭವನೀಯತೆಯ ಜಾಗದಲ್ಲಿ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ, ಜನರೇಟರ್ನ ಕಾರ್ಯತಂತ್ರದ ಸೆಟ್ ಎಲ್ಲಾ ಸಂಭವನೀಯತೆಯ ಕ್ರಮಗಳ ಸೆಟ್ ಆಗಿದೆ, ಮತ್ತು ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ನ ಕಾರ್ಯತಂತ್ರದ ಸೆಟ್ ಅಳೆಯಬಹುದಾದ ಕಾರ್ಯಗಳ ಸೆಟ್ ಆಗಿದೆ. ಜನರೇಟರ್ ಅದನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಗುರಿಯನ್ನು ಹೊಂದಿದೆ ಮತ್ತು ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಅದನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವ ಗುರಿಯನ್ನು ಹೊಂದಿದೆ ಎಂಬುದು ಆಟದ ಉದ್ದೇಶವಾಗಿದೆ. GAN ಆಟದ ಮೂಲ ಪ್ರಮೇಯವು GAN ಆಟವನ್ನು ಅನೇಕ ಬಾರಿ ಪುನರಾವರ್ತಿಸಿ ಎಂದು ಹೇಳುತ್ತದೆ, ಪ್ರತಿ ಬಾರಿಯೂ ಜನರೇಟರ್ ಮೊದಲು ಚಲಿಸುತ್ತದೆ ಮತ್ತು ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಎರಡನೆಯದನ್ನು ಚಲಿಸುತ್ತದೆ. ಪ್ರತಿ ಬಾರಿ ಜನರೇಟರ್ ಬದಲಾದಾಗ, ತಾರತಮ್ಯ ಮಾಡುವವರು ಆದರ್ಶವನ್ನು ಸಮೀಪಿಸುವ ಮೂಲಕ ಹೊಂದಿಕೊಳ್ಳಬೇಕು ಏಕೆಂದರೆ ನಮಗೆ ನಿಜವಾಗಿಯೂ ಆಸಕ್ತಿ ಇರುವುದರಿಂದ, ತಾರತಮ್ಯ ಮಾಡುವ ಕಾರ್ಯವು ಸ್ವತಃ ಆಸಕ್ತಿರಹಿತವಾಗಿರುತ್ತದೆ. ಇದು ಕೇವಲ ಜನರೇಟರ್ ವಿತರಣೆ ಮತ್ತು ಉಲ್ಲೇಖ ವಿತರಣೆಯ ನಡುವಿನ ಸಂಭವನೀಯತೆಯ ಅನುಪಾತವನ್ನು ಗಮನಿಸುತ್ತದೆ. ಸಮತೋಲನದಲ್ಲಿ, ತಾರತಮ್ಯ ಮಾಡುವವರು ಯಾವುದೇ ವ್ಯತ್ಯಾಸವನ್ನು ಗ್ರಹಿಸುವ ಪ್ರಯತ್ನವನ್ನು ತ್ಯಜಿಸಿ, ನಿರಂತರವಾಗಿ ಔಟ್ಪುಟ್ ಮಾಡುತ್ತಿದ್ದಾರೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ಜಿಎಎನ್ ಆಟದಲ್ಲಿ, ನಾವು ಜನರೇಟರ್ ಅನ್ನು ಸರಿಪಡಿಸೋಣ ಮತ್ತು ಹಂತ ಹಂತವಾಗಿ ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಅನ್ನು ಸುಧಾರಿಸೋಣ. ನಂತರ ನಾವು (ಆದರ್ಶಪ್ರಾಯವಾಗಿ) ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ವಾಸ್ತವವಾಗಿ ಕೆಳಮಟ್ಟದಲ್ಲಿದೆ ಎಂದು ನಾವು ನೋಡುತ್ತೇವೆ. ಆದ್ದರಿಂದ, ಜನರೇಟರ್ಗೆ "ಅದು ಪರಿಪೂರ್ಣತೆಯಿಂದ ಎಷ್ಟು ದೂರದಲ್ಲಿದೆ" ಎಂಬುದರ ಬಗ್ಗೆ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಒದಗಿಸಲು ವಿಮರ್ಶಕನಾಗಿ ತಾರತಮ್ಯ ಮಾಡುವವರ ಅಂಶವು ಮುಖ್ಯವಾಗಿ ಇದೆ ಎಂದು ನಾವು ನೋಡುತ್ತೇವೆ, ಅಲ್ಲಿ "ದೂರದ" ಅನ್ನು ಜೆನ್ಸನ್-ಶಾನನ್ ವಿಚಲನ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ. ಸ್ವಾಭಾವಿಕವಾಗಿ, ಇದು ಬೆಲೆಬಾಳುವಿಕೆಯ ವಿಭಿನ್ನ ಮಾನದಂಡಗಳನ್ನು ಬಳಸುವ ಸಾಧ್ಯತೆಯನ್ನು ತರುತ್ತದೆ. ಆಯ್ಕೆ ಮಾಡಲು ಎಫ್-ಡೈವರ್ಜೆನ್ಸ್ ಕುಟುಂಬದಂತಹ ಅನೇಕ ಸಂಭಾವ್ಯ ವ್ಯತ್ಯಾಸಗಳಿವೆ, ಇದು ಎಫ್-ಜಿಎಎನ್ ಅನ್ನು ನೀಡುತ್ತದೆ. ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ ಮೆಟ್ರಿಕ್ ಅನ್ನು ಬಳಸುವ ಮೂಲಕ ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ ಜಿಎಎನ್ ಅನ್ನು ಪಡೆಯಲಾಗುತ್ತದೆ, ಇದು "ಡ್ಯುಯಲ್ ಪ್ರಾತಿನಿಧ್ಯ ಪ್ರಮೇಯ" ವನ್ನು ತೃಪ್ತಿಪಡಿಸುತ್ತದೆ, ಇದು ಗಣನೆಗೆ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿದೆಃ ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ ಮೆಟ್ರಿಕ್ ಮೇಲಿನ ಮುಖ್ಯ ಪುಟದಲ್ಲಿ ಪುರಾವೆಯನ್ನು ಕಾಣಬಹುದು. ಕಾಂಟೊರೊವಿಚ್-ರುಬೆನ್ಸ್ಟೈನ್ ದ್ವಂದ್ವತೆಯಿಂದ, ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ ಜಿಎಎನ್ ವ್ಯಾಖ್ಯಾನವು ಸ್ಪಷ್ಟವಾಗಿದೆಃ ಕಾಂಟೊರೊವಿಚ್-ರುಬೆನ್ಸ್ಟೈನ್ ದ್ವಂದ್ವತೆಯಿಂದ, ಯಾವುದೇ ಜನರೇಟರ್ ಕಾರ್ಯತಂತ್ರಕ್ಕೆ, ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ನಿಂದ ಸೂಕ್ತವಾದ ಉತ್ತರವೆಂದರೆ, ಇದರ ಪರಿಣಾಮವಾಗಿ, ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಉತ್ತಮವಾಗಿದ್ದರೆ, ಜನರೇಟರ್ ಅನ್ನು ನಿರಂತರವಾಗಿ ಕಡಿಮೆ ಮಾಡಲು ತಳ್ಳಲಾಗುತ್ತದೆ, ಮತ್ತು ಜನರೇಟರ್ಗೆ ಸೂಕ್ತವಾದ ಕಾರ್ಯತಂತ್ರವು ನ್ಯಾಯಯುತವಾಗಿದೆ, ಅದು ಇರಬೇಕು. ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ GAN ಆಟದಲ್ಲಿ, ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ GAN ಆಟಕ್ಕಿಂತ ಉತ್ತಮ ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ ನೈಜ ರೇಖೆಯಲ್ಲಿರುವ ಒಂದು ಆಟವನ್ನು ಪರಿಗಣಿಸಿ, ಅಲ್ಲಿ ಎರಡೂ ಮತ್ತು ಗೌಸಿಯನ್ ಆಗಿವೆ. ನಂತರ ಅತ್ಯುತ್ತಮವಾದ ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ ವಿಮರ್ಶಕ ಮತ್ತು ಅತ್ಯುತ್ತಮವಾದ ಜಿಎಎನ್ ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಅನ್ನು ಈ ಕೆಳಗಿನಂತೆ ಚಿತ್ರಿಸಲಾಗಿದೆಃ ಸ್ಥಿರವಾದ ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ಗೆ, ಜನರೇಟರ್ ಈ ಕೆಳಗಿನ ಉದ್ದೇಶಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಬೇಕಾಗುತ್ತದೆಃ ಜಿಎಎನ್ಗೆ,. ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ GAN ಗಾಗಿ,. ಇದನ್ನು ನಿಯತಾಂಕಗೊಳಿಸೋಣ, ನಂತರ ನಾವು ಗ್ರೇಡಿಯಂಟ್ನ ಎರಡು ಪಕ್ಷಪಾತವಿಲ್ಲದ ಅಂದಾಜುದಾರರನ್ನು ಬಳಸುವ ಮೂಲಕ ಸಂಭವನೀಯ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಅನ್ನು ಮಾಡಬಹುದುಃ ಅಲ್ಲಿ ನಾವು ರಿಪರಾಮೆಟ್ರಿಜೇಷನ್ ಟ್ರಿಕ್ ಅನ್ನು ಬಳಸಿದ್ದೇವೆ. ತೋರಿಸಿರುವಂತೆ, ಜಿಎಎನ್ನಲ್ಲಿನ ಜನರೇಟರ್ ಅದರ "ಗರಿಷ್ಠ ಮಟ್ಟದಿಂದ ಕೆಳಕ್ಕೆ ಇಳಿಯಲು" ಪ್ರೇರೇಪಿಸಲ್ಪಟ್ಟಿದೆ. ಅದೇ ರೀತಿ ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ ಜಿಎಎನ್ನಲ್ಲಿನ ಜನರೇಟರ್ಗೆ. ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ ಜಿಎಎನ್ಗೆ, ಬಹುತೇಕ ಎಲ್ಲೆಡೆ ಗ್ರೇಡಿಯಂಟ್ 1 ಇದೆ, ಆದರೆ ಜಿಎಎನ್ಗೆ, ಮಧ್ಯದಲ್ಲಿ ಸಮತಟ್ಟಾದ ಗ್ರೇಡಿಯಂಟ್ ಮತ್ತು ಬೇರೆಡೆ ಕಡಿದಾದ ಗ್ರೇಡಿಯಂಟ್ ಇದೆ. ಇದರ ಪರಿಣಾಮವಾಗಿ, ಜಿಎಎನ್ನಲ್ಲಿನ ಅಂದಾಜುಗಾರನ ವ್ಯತ್ಯಾಸವು ಸಾಮಾನ್ಯವಾಗಿ ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ ಜಿಎಎನ್ಗಿಂತ ತುಂಬಾ ದೊಡ್ಡದಾಗಿದೆ. ಚಿತ್ರ 3ನ್ನು ಸಹ ನೋಡಿ. ನಿಜವಾದ ಯಂತ್ರ ಕಲಿಕೆಯ ಸಂದರ್ಭಗಳಲ್ಲಿ ಈ ಸಮಸ್ಯೆಯು ಹೆಚ್ಚು ತೀವ್ರವಾಗಿರುತ್ತದೆ. 256-x-256 ಗಾತ್ರದ ಛಾಯಾಚಿತ್ರಗಳ ಸಂಗ್ರಹವಾದ ಇಮೇಜ್ನೆಟ್ ಅನ್ನು ರಚಿಸಲು GAN ಅನ್ನು ತರಬೇತಿ ಮಾಡುವುದನ್ನು ಪರಿಗಣಿಸಿ. ಅಂತಹ ಎಲ್ಲಾ ಫೋಟೋಗಳ ಸ್ಥಳವು, ಮತ್ತು ಇಮೇಜ್ನೆಟ್ ಚಿತ್ರಗಳ ವಿತರಣೆಯು, ಅದರಲ್ಲಿ ಬಹಳ ಕಡಿಮೆ ಆಯಾಮದ ಬಹುಗುಣದ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ. ಪರಿಣಾಮವಾಗಿ, ಯಾವುದೇ ಜನರೇಟರ್ ಕಾರ್ಯತಂತ್ರವು ಖಂಡಿತವಾಗಿಯೂ ತಯಾರಿಕೆಯಿಂದ ಸಂಪೂರ್ಣವಾಗಿ ಭಿನ್ನವಾಗಿರುತ್ತದೆ. ಹೀಗಾಗಿ, ಒಬ್ಬ ಒಳ್ಳೆಯ ತಾರತಮ್ಯ ಮಾಡುವವನು ಬಹುತೇಕ ಸಂಪೂರ್ಣವಾಗಿ ಬೇರೆ ಬೇರೆಯಾಗಬಲ್ಲನು, ಹಾಗೆಯೇ ಯಾವುದೇ ಹತ್ತಿರದ ವ್ಯಕ್ತಿಯಿಂದಲೂ. ಹೀಗಾಗಿ, ಗ್ರೇಡಿಯಂಟ್, ಜನರೇಟರ್ಗೆ ಯಾವುದೇ ಕಲಿಕೆಯ ಸಂಕೇತವನ್ನು ಸೃಷ್ಟಿಸುವುದಿಲ್ಲ. ವಿವರವಾದ ಪ್ರಮೇಯಗಳನ್ನು ಇಲ್ಲಿ ಕಾಣಬಹುದು. ವಾಸ್ಸೆರ್ಸ್ಟೈನ್ ಜಿಎಎನ್ಗಳಲ್ಲಿ ಜನರೇಟರ್ಗೆ ತರಬೇತಿ ನೀಡುವುದು ಕೇವಲ ಗ್ರೇಡಿಯಂಟ್ ಡಿಸೆಂಟ್ ಆಗಿದೆ, ಇದು ಜಿಎಎನ್ (ಅಥವಾ ಅತ್ಯಂತ ಆಳವಾದ ಕಲಿಕೆಯ ವಿಧಾನಗಳು) ನಲ್ಲಿರುವಂತೆಯೇ ಇರುತ್ತದೆ, ಆದರೆ ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ಗೆ ತರಬೇತಿ ನೀಡುವುದು ವಿಭಿನ್ನವಾಗಿದೆ, ಏಕೆಂದರೆ ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಈಗ ಲಿಪ್ಸ್ಚಿಟ್ಜ್ ಮಾನದಂಡಕ್ಕೆ ಸೀಮಿತವಾಗಿದೆ. ಇದಕ್ಕಾಗಿ ಹಲವಾರು ವಿಧಾನಗಳಿವೆ. ಲಿಪ್ಸಿಟ್ಜ್ ಮಾನದಂಡದ ಮೇಲಿನ ಮಿತಿಯು ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಕಾರ್ಯವನ್ನು ಬಹು ಪದರದ ಪೆರ್ಸೆಪ್ಟ್ರಾನ್ನಿಂದ ಕಾರ್ಯಗತಗೊಳಿಸಲು ಅವಕಾಶ ಮಾಡಿಕೊಡಿಃ ಎಲ್ಲಿ, ಮತ್ತು ಇದು ಸ್ಥಿರ ಸಕ್ರಿಯಗೊಳಿಸುವ ಕಾರ್ಯವಾಗಿದೆ. ಉದಾಹರಣೆಗೆ, ಹೈಪರ್ಬೋಲಿಕ್ ಸ್ಪರ್ಶಕ ಕಾರ್ಯವು ಅಗತ್ಯವನ್ನು ಪೂರೈಸುತ್ತದೆ. ನಂತರ, ಯಾವುದಕ್ಕೂ, ನಾವು ಸರಪಳಿ ನಿಯಮವನ್ನು ಹೊಂದಿದ್ದೇವೆಃ ಹೀಗಾಗಿ, ಲಿಪ್ಸಿಟ್ಜ್ ಮಾನದಂಡವು ಮ್ಯಾಟ್ರಿಕ್ಸ್ನ ಆಪರೇಟರ್ ಮಾನದಂಡವಾಗಿದೆ, ಅಂದರೆ, ಮ್ಯಾಟ್ರಿಕ್ಸ್ನ ಅತಿದೊಡ್ಡ ಏಕವಚನ ಮೌಲ್ಯ, ಅಂದರೆ, ಮ್ಯಾಟ್ರಿಕ್ಸ್ನ ಸ್ಪೆಕ್ಟ್ರಲ್ ತ್ರಿಜ್ಯ (ಈ ಪರಿಕಲ್ಪನೆಗಳು ಮ್ಯಾಟ್ರಿಕ್ಸ್ಗಳಿಗೆ ಒಂದೇ ಆಗಿರುತ್ತವೆ, ಆದರೆ ಸಾಮಾನ್ಯ ರೇಖೀಯ ಆಪರೇಟರ್ಗಳಿಗೆ ಭಿನ್ನವಾಗಿರುತ್ತವೆ). ಏಕೆಂದರೆ, ನಾವು ಹೊಂದಿದ್ದೇವೆ, ಮತ್ತು ಅದರ ಪರಿಣಾಮವಾಗಿ ಮೇಲಿನ ಬೌಂಡ್ಃ ಹೀಗಾಗಿ, ನಾವು ಪ್ರತಿ ಮ್ಯಾಟ್ರಿಕ್ಸ್ನ ಮೇಲಿನ-ಬೌಂಡ್ ಆಪರೇಟರ್ ಮಾನದಂಡಗಳನ್ನು ಮಾಡಲು ಸಾಧ್ಯವಾದರೆ, ನಾವು ಲಿಪ್ಸಿಟ್ಜ್ ಮಾನದಂಡವನ್ನು ಮೇಲಿನ-ಬೌಂಡ್ ಮಾಡಬಹುದು. ಯಾವುದೇ ಮ್ಯಾಟ್ರಿಕ್ಸ್ಗಾಗಿ, ನಾವು ಕೆಲವು ಮಧ್ಯಂತರದೊಳಗೆ ಎಲ್ಲಾ ನಮೂದುಗಳನ್ನು ಕ್ಲಿಪ್ ಮಾಡೋಣ, ನಾವು ಬಂಧಿಸಬಹುದು. ಇದು ಮೂಲ ಕಾಗದವು ಪ್ರಸ್ತಾಪಿಸಿದ ತೂಕದ ಕ್ಲಿಪ್ಪಿಂಗ್ ವಿಧಾನವಾಗಿದೆ. ಸ್ಪೆಕ್ಟ್ರಲ್ ನಾರ್ಮಲೈಸೇಶನ್ ಸ್ಪೆಕ್ಟ್ರಲ್ ತ್ರಿಜ್ಯವನ್ನು ಈ ಕೆಳಗಿನ ಅಲ್ಗಾರಿದಮ್ನಿಂದ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಲೆಕ್ಕ ಹಾಕಬಹುದುಃ ಡಿಸ್ಕ್ರಿಮಿನೆಟರ್ನ ಪ್ರತಿ ನವೀಕರಣದ ನಂತರ ಮರುಹೊಂದಿಸುವ ಮೂಲಕ, ನಾವು ಅಪ್ಪರ್ ಬೌಂಡ್ ಮಾಡಬಹುದು ಮತ್ತು ಹೀಗಾಗಿ ಅಪ್ಪರ್ ಬೌಂಡ್ ಮಾಡಬಹುದು. ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಜ್ಞಾಪಕದ ಮೂಲಕ ಮತ್ತಷ್ಟು ವೇಗಗೊಳಿಸಬಹುದುಃ ಹಂತ ಹಂತವಾಗಿ, ಸಂಗ್ರಹಿಸಿ. ನಂತರ ಹಂತ ಹಂತವಾಗಿ, ಅಲ್ಗಾರಿದಮ್ಗೆ ಆರಂಭಿಕ ಊಹೆಯಾಗಿ ಬಳಸಿ. ಇದು ತುಂಬಾ ಹತ್ತಿರದಲ್ಲಿರುವುದರಿಂದ, ಅದು ಹತ್ತಿರದಲ್ಲಿದೆ, ಆದ್ದರಿಂದ ಇದು ತ್ವರಿತ ಒಮ್ಮುಖವನ್ನು ಅನುಮತಿಸುತ್ತದೆ. ಇದು ಸ್ಪೆಕ್ಟ್ರಲ್ ನಾರ್ಮಲೈಸೇಶನ್ ವಿಧಾನವಾಗಿದೆ. ಗ್ರೇಡಿಯಂಟ್ ಪೆನಾಲ್ಟಿ ಅನ್ನು ಕಟ್ಟುನಿಟ್ಟಾಗಿ ಬಂಧಿಸುವ ಬದಲು, ನಾವು ಸರಳವಾಗಿ ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ಗೆ "ಗ್ರೇಡಿಯಂಟ್ ಪೆನಾಲ್ಟಿ" ಎಂಬ ಪದವನ್ನು ಸೇರಿಸಬಹುದು, ಅಲ್ಲಿ ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಲಿಪ್ಸಿಟ್ಜ್ ಮಾನದಂಡದ ಅಗತ್ಯವನ್ನು ಎಷ್ಟು ಉಲ್ಲಂಘಿಸಿದ್ದಾರೆ ಎಂಬುದನ್ನು ಅಂದಾಜು ಮಾಡಲು ಬಳಸುವ ಸ್ಥಿರ ವಿತರಣೆಯಾಗಿದೆ. ತಾರತಮ್ಯ ಮಾಡುವವರು, ಹೊಸ ನಷ್ಟದ ಕಾರ್ಯವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಪ್ರಯತ್ನಿಸುವಾಗ, ಸ್ವಾಭಾವಿಕವಾಗಿ ಎಲ್ಲೆಡೆಗೆ ಹತ್ತಿರವಾಗುತ್ತಾರೆ, ಹೀಗೆ ಮಾಡುತ್ತಾರೆ. ಇದು ಗ್ರೇಡಿಯಂಟ್ ಪೆನಾಲ್ಟಿ ವಿಧಾನವಾಗಿದೆ. GAN ನಿಂದ WGAN ವರೆಗಿನ ಹೆಚ್ಚಿನ ಓದುವಿಕೆ ವಾಸೆರ್ಸ್ಟೈನ್ GAN ಮತ್ತು ಕಾಂಟೊರೊವಿಚ್-ರುಬಿನ್ಸ್ಟೈನ್ ಡ್ಯುಯಾಲಿಟಿ ಡೆಪ್ತ್ ಫಸ್ಟ್ ಲರ್ನಿಂಗ್ಃ ವಾಸೆರ್ಸ್ಟೈನ್ GAN ಜನರೇಟಿವ್ ಅಡ್ವರ್ಸರಿ ನೆಟ್ವರ್ಕ್ ವಾಸೆರ್ಸ್ಟೈನ್ ಮೆಟ್ರಿಕ್ ಅರ್ಥ್ ಮೂವರ್ಸ್ ಡಿಸ್ಟೆನ್ಸ್ ಟ್ರಾನ್ಸ್ಪೋರ್ಟೇಶನ್ ಥಿಯರಿ ಉಲ್ಲೇಖಗಳು ಟಿಪ್ಪಣಿಗಳು ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ ಆರ್ಕಿಟೆಕ್ಚರ್ಗಳು ಕಾಗ್ನಿಟಿವ್ ಸೈನ್ಸ್ ಅನ್ ಸೂಪರ್ವೈಸ್ಡ್ ಲರ್ನಿಂಗ್