The main observation here is that the size of these 50 tokens is almost half of the size of the brown corpus; these tokens cover almost half of the brown corpus finally, in the end of the analysis part, we ask very important question that is how the frequency of token count varies and does it follows power law that is what we wanted to ask is what is the number of tokens with frequency 1? What is the number of tokens with frequency 2 and so on?
यहां मुख्य अवलोकन यह है कि इन 50 टोकन का आकार ब्राउन के कॉर्पस के आकार का लगभग आधा है; ये टोकन ब्राउन कॉर्पस के लगभग आधे हिस्से को कवर करते हैं। अंत में, विश्लेषण भाग में, हम बहुत महत्वपूर्ण प्रश्न पूछते हैं कि टोकन गणना की फ्रीक्वेंसी कैसे भिन्न होती है और क्या यह पावर लौ का पालन करता है जो हम पूछना चाहते थे कि फ्रीक्वेंसी 1 के साथ टोकन की संख्या क्या है? फ्रीक्वेंसी 2 और इतने पर टोकन की संख्या क्या है?