Create g_1.py

g_1.py

@@ -0,0 +1,115 @@
+import groq
+import time
+import os
+import json
+
+client = groq.groq()
+
+def make_api_call(messages, max_tokens, is_final_answer=False, custom_client=None):
+    global client
+    if custom_client is not None:
+        client = custom_client
+
+    for attempt in range(3):
+        try:
+            if is_final_answer:
+                response = client.chat.completions.create(
+                    model="llama3-8b-8192",
+                    messages=messages,
+                    max_tokens=max_tokens,
+                    temperature=0.2,
+                ) 
+                return response.choices[0].message.content
+            else:
+                response = client.chat.completions.create(
+                    model="llama3-8b-8192",
+                    messages=messages,
+                    max_tokens=max_tokens,
+                    temperature=0.2,
+                    response_format={"type": "json_object"}
+                )
+                return json.loads(response.choices[0].message.content)
+        except Exception as e:
+            if attempt == 2:
+                if is_final_answer:
+                    return {"title": "error", "content": f"Failed to generate final answer after 3 attempts. Error: {str(e)}"}
+                else:
+                    return {"title": "error", "content": f"Failed to generate step after 3 attempts. Error: {str(e)}", "next_action": "final_answer"}
+            time.sleep(1)  # wait for 1 second before retrying
+
+def generate_response(prompt, custom_client=None):
+    messages = [
+        {"role": "system", "content": """
+вы – интеллектуальный помощник, который анализирует и объясняет свои рассуждения на русском языке шаг за шагом.  
+
+### 🔹 формат ответа  
+ваш ответ должен быть в **json-формате** с ключами:  
+- **"title"** – краткое название текущего шага.  
+- **"content"** – объяснение выполняемых действий и выводов на этом этапе.  
+- **"next_action"** – указывает, что делать дальше:  
+  - "continue" – если требуется следующий шаг.  
+  - "final_answer" – если можно дать окончательный ответ.  
+
+**пример json-ответа:**
+```json
+{
+    "title": "определение ключевых элементов задачи",
+    "content": "анализируем запрос, выделяем основные понятия и разбиваем его на логические подзадачи...",
+    "next_action": "continue"
+}
+
+🔹 ключевые принципы размышлений 
+
+1️⃣ автоматическое определение количества шагов
+
+используйте оптимальное число шагов в зависимости от сложности задачи и текущих ограничений (токены, контекст). если шагов недостаточно – добавьте новые, чтобы достичь корректного результата. 
+
+2️⃣ глубокий анализ задачи
+
+разбейте вопрос на более простые подзадачи. проверяйте альтернативные пути решения. учитывайте ограничения модели (llm).
+
+3️⃣ критическое мышление и самооценка
+
+допускайте возможность ошибки и проверяйте гипотезы. формируйте несколько вариантов решения и анализируйте их обоснованность. 
+
+4️⃣ гибкость в методах размышлений
+
+контекстуальный анализ: определите, какие данные необходимы. логическое разбиение: разделите проблему на последовательные шаги. переформулирование: пересматривайте постановку вопроса для лучшего понимания. сравнение альтернатив: исследуйте разные варианты решения. 5️⃣ построение логической цепочки
+
+выбирайте наиболее значимые мысли. упорядочивайте их в логической последовательности. оценивайте ясность, связность и полноту рассуждений. """}, {"role": "user", "content": prompt}, {"role": "assistant", "content": "спасибо! начинаю анализ, выделяя ключевые моменты и разрабатывая логическую структуру ответа."} ]
+
+steps = []
+step_count = 1
+total_thinking_time = 0
+
+while True:
+    start_time = time.time()
+    step_data = make_api_call(messages, 300, custom_client=custom_client)
+    end_time = time.time()
+    thinking_time = end_time - start_time
+    total_thinking_time += thinking_time
+
+    steps.append((f"step {step_count}: {step_data['title']}", step_data['content'], thinking_time))
+
+    messages.append({"role": "assistant", "content": json.dumps(step_data)})
+
+    if step_data['next_action'] == 'final_answer' or step_count > 25:  # maximum of 25 steps to prevent infinite thinking time. can be adjusted.
+        break
+
+    step_count += 1
+
+    # yield after each step for streamlit to update
+    yield steps, None  # we're not yielding the total time until the end
+
+# generate final answer
+messages.append({"role": "user", "content": "пожалуйста, предоставьте окончательный ответ, основанный исключительно на ваших рассуждениях выше. не используйте форматирование json. предоставьте текстовый ответ только без каких -либо названий или преамблей. сохранить любое форматирование, как указано в исходной подсказке, например, точное форматирование для бесплатного ответа или множественный выбор."})
+
+start_time = time.time()
+final_data = make_api_call(messages, 1200, is_final_answer=True, custom_client=custom_client)
+end_time = time.time()
+thinking_time = end_time - start_time
+total_thinking_time += thinking_time
+
+steps.append(("final answer", final_data, thinking_time))
+
+yield steps, total_thinking_time