NextGenC commited on
Commit
4abf400
·
verified ·
1 Parent(s): 7136ab0

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +404 -0
README.md ADDED
@@ -0,0 +1,404 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ language:
4
+ - en
5
+ - tr
6
+ tags:
7
+ - argumentation-analysis
8
+ - fallacy-detection
9
+ - rhetoric-analysis
10
+ - nlp
11
+ - spacy
12
+ - bert
13
+ - argument-structure
14
+ - logical-reasoning
15
+ - discourse-analysis
16
+ - text-analysis
17
+ - python
18
+ datasets:
19
+ - text
20
+ ---
21
+
22
+ # ETHOS - The AI Arbiter of Rational Discourse
23
+
24
+ ![ETHOS Logo](https://img.shields.io/badge/ETHOS-v2.2-blue?style=for-the-badge)
25
+ ![Status](https://img.shields.io/badge/Status-Production-success?style=for-the-badge)
26
+ ![License](https://img.shields.io/badge/License-MIT-green?style=for-the-badge)
27
+
28
+ ## 🔍 Model Description
29
+
30
+ **ETHOS (Evaluative Text Heuristic for Objective Scrutiny)** is a pioneering argument analysis system that evaluates the logical structure, validity, and rhetorical quality of text. Designed to serve as an AI arbiter of rational discourse, ETHOS provides comprehensive analysis of argumentation quality through sophisticated NLP techniques.
31
+
32
+ Using a combination of rule-based analysis and neural language models (BERT), ETHOS dissects texts to identify claims, premises, logical fallacies, and rhetorical devices—creating a complete picture of argument structure and quality. The system then visualizes these relationships and provides detailed assessments of logical soundness and rhetorical clarity.
33
+
34
+ ### 🌟 Key Features
35
+
36
+ - **🧩 Advanced Argument Structure Analysis**: Extracts claims and premises from text with high accuracy using dependency parsing and linguistic markers
37
+
38
+ - **🔗 Semantic Argument Linking**: Uses BERT embeddings to establish relationships between premises and claims based on semantic similarity
39
+
40
+ - **⚠️ Sophisticated Fallacy Detection**: Identifies common logical fallacies (Ad Populum, Hasty Generalization, False Dichotomy) through both rule-based and ML-based approaches
41
+
42
+ - **🎭 Rhetoric Device Recognition**: Detects rhetorical questions, strong sentiment expressions, and superlatives that may influence argument perception
43
+
44
+ - **📊 Logical Soundness Scoring**: Evaluates the overall logical quality of arguments with nuanced ratings
45
+
46
+ - **📈 Comprehensive Visualization**: Generates clear argument graphs showing support relationships between premises and claims
47
+
48
+ - **💬 Natural Language Explanations**: Provides human-readable analysis of logical structure and potential issues
49
+
50
+ ## 🚀 Why ETHOS is Revolutionary
51
+
52
+ ETHOS represents a significant advancement in automated argument analysis:
53
+
54
+ 1. **Deeper than Syntax**: Goes beyond simple keyword matching by using semantic understanding to link arguments
55
+
56
+ 2. **Multi-dimensional Analysis**: Examines both structural (argumentation form) and rhetorical (persuasive techniques) aspects simultaneously
57
+
58
+ 3. **Visual Representation**: Transforms complex argumentative structures into intuitive graphs
59
+
60
+ 4. **Balanced Assessment**: Provides nuanced evaluation rather than binary judgments about argument quality
61
+
62
+ 5. **Transparency**: Clearly highlights the evidence for each assessment, allowing users to understand the system's reasoning
63
+
64
+ ## 💡 Intended Uses
65
+
66
+ ETHOS is designed for applications requiring sophisticated argument analysis:
67
+
68
+ - **📝 Academic Research**: Analyze argument structures in papers, essays, and scholarly works
69
+
70
+ - **🎓 Educational Assessment**: Evaluate student essays and argumentation skills
71
+
72
+ - **📰 Media Analysis**: Assess the logical quality of news articles, editorials, and opinion pieces
73
+
74
+ - **💼 Professional Writing**: Improve the logical coherence and persuasiveness of business communications
75
+
76
+ - **🗣️ Debate Preparation**: Analyze strengths and weaknesses in argumentative positions
77
+
78
+ - **📊 Policy Evaluation**: Examine the logical structure of policy proposals and position papers
79
+
80
+ ## 🛠️ System Architecture
81
+
82
+ ETHOS consists of several modular components that work together seamlessly:
83
+
84
+ 1. **argument_analyzer**: Extracts argument components (claims and premises) using dependency parsing and linguistic indicators
85
+
86
+ 2. **logic_analyzer**: Identifies logical fallacies through rule-based patterns and machine learning
87
+
88
+ 3. **rhetoric_analyzer**: Detects rhetorical devices using sentiment analysis and linguistic patterns
89
+
90
+ 4. **argument_visualizer**: Creates graph-based visualizations of argument structure using semantic similarity
91
+
92
+ 5. **synthesis_engine**: Combines all analyses to produce overall evaluations of argument quality
93
+
94
+ 6. **nlp_utils**: Provides NLP infrastructure including spaCy and BERT embedding functionality
95
+
96
+ ## 📊 Performance Highlights
97
+
98
+ ETHOS demonstrates strong capabilities in:
99
+
100
+ - **Argument Component Identification**: Accurately extracts claims and premises with confidence scores
101
+ - **Semantic Relationship Detection**: Successfully links related premises and claims based on meaning
102
+ - **Fallacy Recognition**: Identifies common fallacies with explanatory context
103
+ - **Rhetorical Pattern Detection**: Effectively flags potential rhetorical techniques
104
+ - **Intuitive Visualization**: Generates clear argument graphs showing support relationships
105
+
106
+ ## 📦 Installation and Usage
107
+
108
+ ```bash
109
+ # Install required packages
110
+ pip install spacy transformers torch networkx typer rich vaderSentiment pydantic
111
+
112
+ # Download required model
113
+ python -m spacy download en_core_web_lg
114
+
115
+ # Clone the repository
116
+ git clone https://github.com/yourusername/ethos.git
117
+ cd ethos
118
+
119
+ # Run the CLI interface
120
+ python cli.py --text "Your text to analyze"
121
+ # Or analyze from file
122
+ python cli.py --file path/to/your/document.txt
123
+ ```
124
+
125
+ ## 💻 Example Usage
126
+
127
+ ```python
128
+ import spacy
129
+ import nlp_utils
130
+ import argument_analyzer
131
+ import logic_analyzer
132
+ import rhetoric_analyzer
133
+ import argument_visualizer
134
+ import synthesis_engine
135
+
136
+ # Load models
137
+ nlp_utils.load_spacy_model()
138
+ nlp_utils.load_bert()
139
+
140
+ # Process text
141
+ text = "Climate change is definitely happening because global temperatures have risen significantly over the past century. Everyone knows this is a serious problem that requires immediate action."
142
+ doc = nlp_utils.process_text_spacy(text)
143
+
144
+ # Get sentence embeddings for semantic linking
145
+ sentence_embeddings = nlp_utils.get_all_sentence_embeddings(doc)
146
+
147
+ # Analyze arguments
148
+ argument_components = argument_analyzer.enhanced_component_analyzer(doc)
149
+
150
+ # Detect fallacies
151
+ fallacy_findings = logic_analyzer.enhanced_fallacy_analyzer(doc)
152
+
153
+ # Analyze rhetoric
154
+ rhetoric_findings = rhetoric_analyzer.simple_rhetoric_analyzer(doc)
155
+
156
+ # Combine findings
157
+ all_findings = fallacy_findings + rhetoric_findings
158
+
159
+ # Generate summary ratings
160
+ analysis_summary = synthesis_engine.generate_summary_ratings(argument_components, all_findings)
161
+
162
+ # Create argument graph
163
+ argument_graph = argument_visualizer.build_argument_graph(argument_components, sentence_embeddings)
164
+
165
+ # Print results
166
+ print("Argument Components:")
167
+ for comp in argument_components:
168
+ print(f"{comp.component_type}: {comp.text} (Confidence: {comp.confidence:.2f})")
169
+
170
+ print("\nFindings:")
171
+ for finding in all_findings:
172
+ print(f"{finding.finding_type}: {finding.description}")
173
+
174
+ print("\nSummary Ratings:")
175
+ for category, rating in analysis_summary.items():
176
+ print(f"{category}: {rating}")
177
+ ```
178
+
179
+ ## 🔧 Customization Options
180
+
181
+ ETHOS can be customized in several ways:
182
+
183
+ - **Fallacy Detection Rules**: Extend or modify rules for identifying additional fallacy types
184
+ - **Linguistic Indicators**: Add new claim/premise indicators for different domains or languages
185
+ - **Similarity Threshold**: Adjust the semantic similarity threshold for argument linking
186
+ - **Visualization Format**: Customize the representation of argument structures
187
+
188
+ ## 📈 Future Development
189
+
190
+ The ETHOS project is continuously evolving, with planned enhancements including:
191
+
192
+ - **Expanded Fallacy Detection**: Additional fallacy types and improved ML-based detection
193
+ - **Cross-Document Analysis**: Analyze arguments spanning multiple documents
194
+ - **Multi-language Support**: Extend capabilities to additional languages
195
+ - **Interactive Visualizations**: Enhanced visual representations with interactive elements
196
+ - **API Implementation**: RESTful API for seamless integration with other applications
197
+
198
+ ## 📋 Citation
199
+
200
+ If you use ETHOS in your research, please cite:
201
+
202
+ ```
203
+ @software{ethos_2025,
204
+ author = {Abdullah Kocaman},
205
+ title = {ETHOS: The AI Arbiter of Rational Discourse},
206
+ year = {2025},
207
+ url = {https://huggingface.co/NextGenC/ETHOS},
208
+ version = {2.2},
209
+ description = {A comprehensive system for argument analysis, fallacy detection, and rhetorical evaluation}
210
+ }
211
+ ```
212
+
213
+ ---
214
+
215
+ # ETHOS - Rasyonel Söylem için Yapay Zeka Hakemi
216
+
217
+ ![ETHOS Logo](https://img.shields.io/badge/ETHOS-v2.2-blue?style=for-the-badge)
218
+ ![Durum](https://img.shields.io/badge/Durum-Üretim-success?style=for-the-badge)
219
+ ![Lisans](https://img.shields.io/badge/Lisans-MIT-green?style=for-the-badge)
220
+
221
+ ## 🔍 Model Açıklaması
222
+
223
+ **ETHOS (Değerlendirici Metin Buluşsal Objektif İnceleme Sistemi)**, metinlerin mantıksal yapısını, geçerliliğini ve retorik kalitesini değerlendiren öncü bir argüman analiz sistemidir. Rasyonel söylemin yapay zeka hakemi olarak hizmet etmek üzere tasarlanan ETHOS, sofistike NLP teknikleri aracılığıyla kapsamlı argümantasyon kalitesi analizi sağlar.
224
+
225
+ Kural tabanlı analiz ve sinir dili modellerinin (BERT) bir kombinasyonunu kullanan ETHOS, iddiaları, gerekçeleri, mantık safsatalarını ve retorik araçları tanımlamak için metinleri detaylı bir şekilde inceler—böylece argüman yapısı ve kalitesinin tam bir resmini oluşturur. Sistem daha sonra bu ilişkileri görselleştirir ve mantıksal sağlamlık ve retorik netlik hakkında ayrıntılı değerlendirmeler sunar.
226
+
227
+ ### 🌟 Temel Özellikler
228
+
229
+ - **🧩 Gelişmiş Argüman Yapısı Analizi**: Bağımlılık ayrıştırma ve dilbilimsel belirteçleri kullanarak metinden iddiaları ve gerekçeleri yüksek doğrulukla çıkarır
230
+
231
+ - **🔗 Anlamsal Argüman Bağlama**: Anlamsal benzerliğe dayalı olarak gerekçeler ve iddialar arasında ilişkiler kurmak için BERT gömüleri kullanır
232
+
233
+ - **⚠️ Sofistike Safsata Tespiti**: Hem kural tabanlı hem de ML tabanlı yaklaşımlarla yaygın mantık safsatalarını (Ad Populum, Aceleci Genelleme, Yanlış İkilem) tespit eder
234
+
235
+ - **🎭 Retorik Araç Tanıma**: Argüman algısını etkileyebilecek retorik soruları, güçlü duygu ifadelerini ve üstünlük belirteçlerini tespit eder
236
+
237
+ - **📊 Mantıksal Sağlamlık Puanlaması**: Argümanların genel mantıksal kalitesini nüanslı derecelendirmelerle değerlendirir
238
+
239
+ - **📈 Kapsamlı Görselleştirme**: Gerekçeler ve iddialar arasındaki destek ilişkilerini gösteren net argüman grafikleri oluşturur
240
+
241
+ - **💬 Doğal Dil Açıklamaları**: Mantıksal yapı ve potansiyel sorunlar hakkında insan tarafından okunabilir analizler sunar
242
+
243
+ ## 🚀 ETHOS Neden Devrim Niteliğinde
244
+
245
+ ETHOS, otomatik argüman analizinde önemli bir ilerlemeyi temsil eder:
246
+
247
+ 1. **Sözdiziminden Daha Derin**: Argümanları bağlamak için anlamsal anlayış kullanarak basit anahtar kelime eşleştirmesinin ötesine geçer
248
+
249
+ 2. **Çok Boyutlu Analiz**: Hem yapısal (argümantasyon formu) hem de retorik (ikna teknikleri) yönleri eş zamanlı olarak inceler
250
+
251
+ 3. **Görsel Temsil**: Karmaşık argümantatif yapıları sezgisel grafiklere dönüştürür
252
+
253
+ 4. **Dengeli Değerlendirme**: Argüman kalitesi hakkında ikili yargılar yerine nüanslı bir değerlendirme sunar
254
+
255
+ 5. **Şeffaflık**: Her değerlendirme için kanıtları açıkça vurgular, kullanıcıların sistemin mantığını anlamasına olanak tanır
256
+
257
+ ## 💡 Amaçlanan Kullanımlar
258
+
259
+ ETHOS, sofistike argüman analizi gerektiren uygulamalar için tasarlanmıştır:
260
+
261
+ - **📝 Akademik Araştırma**: Makalelerde, denemelerde ve bilimsel çalışmalarda argüman yapılarını analiz etme
262
+
263
+ - **🎓 Eğitim Değerlendirmesi**: Öğrenci denemelerini ve argümantasyon becerilerini değerlendirme
264
+
265
+ - **📰 Medya Analizi**: Haber makalelerinin, editöryel yazıların ve görüş yazılarının mantıksal kalitesini değerlendirme
266
+
267
+ - **💼 Profesyonel Yazım**: İş iletişimlerinin mantıksal tutarlılığını ve ikna ediciliğini iyileştirme
268
+
269
+ - **🗣️ Tartışma Hazırlığı**: Argümantatif pozisyonlardaki güçlü ve zayıf yönleri analiz etme
270
+
271
+ - **📊 Politika Değerlendirmesi**: Politika önerilerinin ve pozisyon belgelerinin mantıksal yapısını inceleme
272
+
273
+ ## 🛠️ Sistem Mimarisi
274
+
275
+ ETHOS, sorunsuz bir şekilde birlikte çalışan çeşitli modüler bileşenlerden oluşur:
276
+
277
+ 1. **argument_analyzer**: Bağımlılık ayrıştırma ve dilbilimsel belirteçleri kullanarak argüman bileşenlerini (iddialar ve gerekçeler) çıkarır
278
+
279
+ 2. **logic_analyzer**: Kural tabanlı kalıplar ve makine öğrenimi yoluyla mantıksal safsataları tanımlar
280
+
281
+ 3. **rhetoric_analyzer**: Duygu analizi ve dilbilimsel kalıpları kullanarak retorik araçları tespit eder
282
+
283
+ 4. **argument_visualizer**: Anlamsal benzerliği kullanarak argüman yapısının grafik tabanlı görselleştirmelerini oluşturur
284
+
285
+ 5. **synthesis_engine**: Argüman kalitesinin genel değerlendirmelerini üretmek için tüm analizleri birleştirir
286
+
287
+ 6. **nlp_utils**: spaCy ve BERT gömme işlevselliği dahil olmak üzere NLP altyapısı sağlar
288
+
289
+ ## 📊 Performans Öne Çıkanları
290
+
291
+ ETHOS, şu alanlarda güçlü yetenekler göstermektedir:
292
+
293
+ - **Argüman Bileşeni Tanımlama**: İddiaları ve gerekçeleri güven skorlarıyla doğru bir şekilde çıkarır
294
+ - **Anlamsal İlişki Tespiti**: İlgili gerekçeleri ve iddiaları anlamlarına dayalı olarak başarıyla birbirine bağlar
295
+ - **Safsata Tanıma**: Açıklayıcı bağlamla yaygın safsataları tanımlar
296
+ - **Retorik Kalıp Tespiti**: Potansiyel retorik teknikleri etkili bir şekilde işaretler
297
+ - **Sezgisel Görselleştirme**: Destek ilişkilerini gösteren net argüman grafikleri oluşturur
298
+
299
+ ## 📦 Kurulum ve Kullanım
300
+
301
+ ```bash
302
+ # Gerekli paketleri yükleyin
303
+ pip install spacy transformers torch networkx typer rich vaderSentiment pydantic
304
+
305
+ # Gerekli modeli indirin
306
+ python -m spacy download en_core_web_lg
307
+
308
+ # Depoyu klonlayın
309
+ git clone https://github.com/kullaniciadi/ethos.git
310
+ cd ethos
311
+
312
+ # CLI arayüzünü çalıştırın
313
+ python cli.py --text "Analiz edilecek metniniz"
314
+ # Veya dosyadan analiz edin
315
+ python cli.py --file path/to/your/document.txt
316
+ ```
317
+
318
+ ## 💻 Örnek Kullanım
319
+
320
+ ```python
321
+ import spacy
322
+ import nlp_utils
323
+ import argument_analyzer
324
+ import logic_analyzer
325
+ import rhetoric_analyzer
326
+ import argument_visualizer
327
+ import synthesis_engine
328
+
329
+ # Modelleri yükleyin
330
+ nlp_utils.load_spacy_model()
331
+ nlp_utils.load_bert()
332
+
333
+ # Metni işleyin
334
+ text = "İklim değişikliği kesinlikle gerçekleşiyor çünkü küresel sıcaklıklar son yüzyılda önemli ölçüde yükseldi. Herkes bunun acil eylem gerektiren ciddi bir sorun olduğunu biliyor."
335
+ doc = nlp_utils.process_text_spacy(text)
336
+
337
+ # Anlamsal bağlantı için cümle gömüleri alın
338
+ sentence_embeddings = nlp_utils.get_all_sentence_embeddings(doc)
339
+
340
+ # Argümanları analiz edin
341
+ argument_components = argument_analyzer.enhanced_component_analyzer(doc)
342
+
343
+ # Safsataları tespit edin
344
+ fallacy_findings = logic_analyzer.enhanced_fallacy_analyzer(doc)
345
+
346
+ # Retoriği analiz edin
347
+ rhetoric_findings = rhetoric_analyzer.simple_rhetoric_analyzer(doc)
348
+
349
+ # Bulguları birleştirin
350
+ all_findings = fallacy_findings + rhetoric_findings
351
+
352
+ # Özet derecelendirmeleri oluşturun
353
+ analysis_summary = synthesis_engine.generate_summary_ratings(argument_components, all_findings)
354
+
355
+ # Argüman grafiği oluşturun
356
+ argument_graph = argument_visualizer.build_argument_graph(argument_components, sentence_embeddings)
357
+
358
+ # Sonuçları yazdırın
359
+ print("Argüman Bileşenleri:")
360
+ for comp in argument_components:
361
+ print(f"{comp.component_type}: {comp.text} (Güven: {comp.confidence:.2f})")
362
+
363
+ print("\nBulgular:")
364
+ for finding in all_findings:
365
+ print(f"{finding.finding_type}: {finding.description}")
366
+
367
+ print("\nÖzet Derecelendirmeleri:")
368
+ for category, rating in analysis_summary.items():
369
+ print(f"{category}: {rating}")
370
+ ```
371
+
372
+ ## 🔧 Özelleştirme Seçenekleri
373
+
374
+ ETHOS birkaç şekilde özelleştirilebilir:
375
+
376
+ - **Safsata Tespit Kuralları**: Ek safsata türlerini tanımlamak için kuralları genişletin veya değiştirin
377
+ - **Dilbilimsel Göstergeler**: Farklı alanlar veya diller için yeni iddia/gerekçe göstergeleri ekleyin
378
+ - **Benzerlik Eşiği**: Argüman bağlantısı için anlamsal benzerlik eşiğini ayarlayın
379
+ - **Görselleştirme Formatı**: Argüman yapılarının temsilini özelleştirin
380
+
381
+ ## 📈 Gelecek Geliştirmeler
382
+
383
+ ETHOS projesi sürekli gelişmekte olup, planlanan iyileştirmeler şunları içerir:
384
+
385
+ - **Genişletilmiş Safsata Tespiti**: Ek safsata türleri ve geliştirilmiş ML tabanlı tespit
386
+ - **Çapraz Belge Analizi**: Birden fazla belgeye yayılan argümanları analiz etme
387
+ - **Çoklu Dil Desteği**: Yetenekleri ek dillere genişletme
388
+ - **Etkileşimli Görselleştirmeler**: Etkileşimli öğelerle geliştirilmiş görsel temsiller
389
+ - **API Uygulaması**: Diğer uygulamalarla sorunsuz entegrasyon için RESTful API
390
+
391
+ ## 📋 Alıntı
392
+
393
+ Araştırmanızda ETHOS'u kullanıyorsanız, lütfen şu şekilde alıntı yapın:
394
+
395
+ ```
396
+ @software{ethos_2025,
397
+ author = {Abdullah Kocaman},
398
+ title = {ETHOS: Rasyonel Söylem için Yapay Zeka Hakemi},
399
+ year = {2025},
400
+ url = {https://huggingface.co/NextGenC/ETHOS},
401
+ version = {2.2},
402
+ description = {Argüman analizi, safsata tespiti ve retorik değerlendirme için kapsamlı bir sistem}
403
+ }
404
+ ```