KuangDW commited on
Commit
eb490a1
·
1 Parent(s): 10beb7e

session_id deletion

Browse files
.gradio/cached_examples/21/log.csv ADDED
@@ -0,0 +1,55 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ Original Translation,Plan2Align Translation,Best-of-N Translation,MPC Translation,timestamp
2
+ "assistant
3
+
4
+ ### Night markets in Taiwan are rich and vibrant, ranging from Shilin Night Market to Raohe Street Night Market, offering a variety of food, games, and shopping experiences that have attracted countless tourists.
5
+
6
+ Score: 0.78","assistant
7
+
8
+ Taiwan's night market culture is rich and diverse, encompassing a wide range of experiences found in night markets such as Shilin Night Market and Raohe Street Night Market, where visitors can enjoy various cuisines, games, and shopping opportunities that draw in large numbers of tourists.
9
+
10
+ Score: 0.84",,,2025-04-16 02:06:35.329087
11
+ "assistant
12
+
13
+ ### Перевод на русский:
14
+ Тайбэй-101เคย був найвищою будівлею світу, він не тільки є символом Тайваня, але також символізує економічний успіх і дух інновацій.
15
+
16
+ Score: 0.72","assistant
17
+
18
+ Тайбэй 101 когда-то был самым высоким зданием в мире, и это не только символ Тайваня, но также его визитная карточка экономического успеха и инновационного духа.
19
+
20
+ Score: 0.83",,,2025-04-16 02:07:40.543349
21
+ "assistant
22
+
23
+ ### Die Sonnenaufgang und die Waldbahn von Ali Shan sind eines der bekanntesten Naturwunder Taiwans, die jedes Jahr Zehntausende von Touristen anziehen, um den Wolkenmeeres und der prächtigen Sonnenaufgang zu bewundern.
24
+
25
+ Score: 0.69","assistant
26
+
27
+ Der Sonnenaufgang auf dem Arischan-Gebirge und die Waldbahn sind eines der bekanntesten Naturwunder Taiwans, sie locken jedes Jahr Hundertausende von Touristen an, um das Wolkenmeer und den atemberaubenden Sonnenaufgang zu bewundern.
28
+
29
+ Score: 0.81",,,2025-04-16 02:08:47.696442
30
+ "assistant
31
+
32
+ ### 珍珠奶茶の原文
33
+ 珍珠奶茶、これは台湾で生まれた一品物、台湾の地元ではとても人気があり、独特な味と口調で世界中に人気を集め、文化を超えた世界的な流行飲料になりました。
34
+
35
+ Score: 0.69","assistant
36
+
37
+ 珍珠奶茶は、台湾で生まれた独特な飲み物。 台湾では莫大な人気を得ており、独特な風味と口調で、世界中で大きなブームを起こし、文化を超えた流行のファッション飲み物となった。
38
+
39
+ Score: 0.82",,,2025-04-16 02:10:56.258534
40
+ "assistant
41
+
42
+ ### 원주민 문화는 깊은 밤의 하늘처럼閃爍하는 무수한 전통과 예술의 빛을 보유하고 있습니다. 그들의 노래와 춤은 조상과 대화하는 리듬, 자연과 공감하는 비트로, 각 한 발자국, 각 한 곡성 모두는 오래된 전설과 지혜를 담고 있습니다.
43
+
44
+ ### 직물은 그들의巧手의 시조로서, 한끈 한끈, 인생의 무늬도 만들고, 땅을 사랑하고 공경하는 것도 만들어 냈습니다.
45
+
46
+ ### 목조 조각은 그들과 자연의 대화의 조각으로, 한 칼질, 한 박수마다, 모든 것에 대한 관찰과 공경을 새겨내며, 조상에게 대한 추억과 전통을 조각하고 있습니다.
47
+
48
+ Score: 0.57","assistant
49
+
50
+ 원주민 문화는 깊고 넓은 하늘과 같은 것처럼, 번쩍이는 전통과 예술의 빛을 지니고 있다.
51
+ 그들의 노래와 춤은祖조와의 대화의 멜로디이자 자연과의 조화의 리듬이었다. 각 한 걸음, 각 한 소리가 오래 전의 전설과 지혜를 담고 있었다.
52
+ 그들의 세심한 손길로編織된 작품은 삶의 패턴과 땅에 대한 사랑과敬意를 담고 있었다.
53
+ 또한 그들의 손길로 만들어진 나무 조각은 자연과의 대화의 조각으로 보였다. 각 한 칼날, 각 한 도구가 만든 각 한 선이 만물에 대한 관찰과 존경을 담고 있었다. 또한 그들의 손길로 만들어진 나무 조각은 조상에 대한 추억과 전통을 담고 있었다.
54
+
55
+ Score: 0.78",,,2025-04-16 02:16:44.125089
vecalign/plan2align.py CHANGED
@@ -30,12 +30,21 @@ lang_map = {
30
 
31
  ################################# folder / file processing #################################
32
 
33
- def clear_folder(folder_path):
34
- if os.path.exists(folder_path):
35
- shutil.rmtree(folder_path)
36
- os.makedirs(folder_path)
37
- else:
38
  os.makedirs(folder_path)
 
 
 
 
 
 
 
 
 
 
 
 
39
 
40
  def delete_files_with_mt(folder_path):
41
  if not os.path.exists(folder_path):
@@ -92,7 +101,7 @@ class metricx_RewardModel:
92
  entry = json.loads(line)
93
  score = entry.get('prediction', None)
94
  scores.append(score)
95
- clear_folder(self.json_path)
96
  return scores
97
 
98
  def reward_fn_batch(self, language, src_list, mts, session_id):
@@ -554,7 +563,7 @@ def generate_windows(source, translations):
554
  adjusted_mt_list.append(adjusted_mt.copy())
555
  mt_index += 1
556
 
557
- clear_folder(temp_folder)
558
  return adjusted_src, adjusted_mt_list
559
 
560
  ################################# main function #################################
@@ -609,7 +618,7 @@ def translate_text(text, session_id, model, tokenizer, device,
609
  else:
610
  translations = translate_with_deepinfra(model, tokenizer, device, source_sentence, buffer, good_ref_contexts_num + iteration, SRC_LANGUAGE, TASK_LANGUAGE)
611
 
612
- src_windows, mt_windows_list = generate_windows(source_sentence, translations)
613
  # print("Evaluate translations and update buffer ..............")
614
 
615
  src_context_list = list(src_windows)
 
30
 
31
  ################################# folder / file processing #################################
32
 
33
+ def clear_folder(folder_path, session_id):
34
+ if not os.path.exists(folder_path):
 
 
 
35
  os.makedirs(folder_path)
36
+ return
37
+
38
+ for filename in os.listdir(folder_path):
39
+ if filename.startswith(session_id):
40
+ file_path = os.path.join(folder_path, filename)
41
+ try:
42
+ if os.path.isfile(file_path) or os.path.islink(file_path):
43
+ os.remove(file_path)
44
+ elif os.path.isdir(file_path):
45
+ shutil.rmtree(file_path)
46
+ except Exception as e:
47
+ print(f"Failed to delete {file_path}. Reason: {e}")
48
 
49
  def delete_files_with_mt(folder_path):
50
  if not os.path.exists(folder_path):
 
101
  entry = json.loads(line)
102
  score = entry.get('prediction', None)
103
  scores.append(score)
104
+ clear_folder(self.json_path, session_id)
105
  return scores
106
 
107
  def reward_fn_batch(self, language, src_list, mts, session_id):
 
563
  adjusted_mt_list.append(adjusted_mt.copy())
564
  mt_index += 1
565
 
566
+ clear_folder(temp_folder, session_id)
567
  return adjusted_src, adjusted_mt_list
568
 
569
  ################################# main function #################################
 
618
  else:
619
  translations = translate_with_deepinfra(model, tokenizer, device, source_sentence, buffer, good_ref_contexts_num + iteration, SRC_LANGUAGE, TASK_LANGUAGE)
620
 
621
+ src_windows, mt_windows_list = generate_windows(source_sentence, translations, SESSION_ID)
622
  # print("Evaluate translations and update buffer ..............")
623
 
624
  src_context_list = list(src_windows)
vecalign/temp/65502efad46a4837abe2e688201972fd_src.txt DELETED
@@ -1 +0,0 @@
1
- 珍珠奶茶,這款源自台灣的獨特飲品,不僅在台灣本地深受喜愛,更以其獨特的風味和口感,在全球掀起了一股熱潮,成為了一種跨越文化、風靡全球的時尚飲品。