antimoda1 commited on
Commit
8318c41
·
1 Parent(s): daaa8b9
Files changed (1) hide show
  1. app.py +30 -118
app.py CHANGED
@@ -75,67 +75,47 @@ def perform_search(query, top_k, year_from, year_to):
75
  def format_selected_chunks(selected_indices):
76
  """Форматирует выбранные чанки в единый текст для вывода и LLM
77
 
78
- Возвращает текст в формате:
79
  Документ {название}:
80
- Предложение1 Предложение2 ... Предложение5 Предложение6
81
  """
82
  if not selected_indices:
83
  return ""
84
 
85
- # Форматируем результаты для вывода
86
- chunks_with_info = []
 
87
  for idx in selected_indices:
88
- if idx >= len(retrieval.docs_metadata) or idx >= len(retrieval.chunks):
89
  continue
90
 
 
91
  doc_id = retrieval.docs_metadata[idx]
92
- doc_name = retrieval.docs_names[doc_id] if doc_id < len(retrieval.docs_names) else "Неизвестный документ"
93
-
94
- chunks_with_info.append({
95
- 'index': idx,
96
- 'doc_name': doc_name,
97
- 'doc_id': doc_id,
98
- 'chunk_text': retrieval.chunks[idx]
99
- })
100
-
101
- if not chunks_with_info:
102
- return "Нет валидных чанков"
103
-
104
- # Группируем чанки по документам
105
- docs_chunks = {}
106
- for chunk_info in chunks_with_info:
107
- doc_name = chunk_info['doc_name']
108
- if doc_name not in docs_chunks:
109
- docs_chunks[doc_name] = []
110
- docs_chunks[doc_name].append(chunk_info['index'])
111
 
112
  # Форматируем вывод
113
  result_lines = []
114
- for doc_name in sorted(docs_chunks.keys()):
115
- chunk_indices = sorted(docs_chunks[doc_name])
 
116
 
117
- # Группируем подряд идущие индексы
118
- groups = []
119
- current_group = [chunk_indices[0]]
120
-
121
- for i in range(1, len(chunk_indices)):
122
- if chunk_indices[i] == chunk_indices[i-1] + 1:
123
- current_group.append(chunk_indices[i])
124
- else:
125
- groups.append(current_group)
126
- current_group = [chunk_indices[i]]
127
- groups.append(current_group)
128
 
129
- # Собираем текст для каждой группы БЕЗ запятых
130
- group_texts = []
131
- for group in groups:
132
- sentences = [retrieval.chunks[idx] for idx in group]
133
- group_texts.append(" ".join(sentences))
134
 
135
- # Выводим документ с многоточием между группами
136
- doc_output = f"Документ {doc_name}:\n" + " ... ".join(group_texts)
137
- result_lines.append(doc_output)
138
- result_lines.append("") # Пустая строка между документами
139
 
140
  return "\n".join(result_lines)
141
 
@@ -143,85 +123,17 @@ def format_selected_chunks(selected_indices):
143
  def format_retrieval_results(filtered_indices, top_k_results):
144
  """Форматирует результаты retrieval для отображения в текстовом поле
145
 
146
- Алгоритм:
147
- 1. Добавляет предложения по скорам (по убыванию релевантности)
148
- 2. Для каждого добавляемого предложения добавляет предыдущее из того же абзаца (контекст)
149
- 3. После каждой итерации заполняет гапы в один чанк между группами
150
  """
151
  if len(filtered_indices) == 0:
152
  return "Нет результатов"
153
 
154
  top_k_results = min(top_k_results, len(filtered_indices))
155
 
156
- # Множество для отслеживания выбранных индексов
157
- selected = set()
158
- added_count = 0
159
- max_iterations = len(filtered_indices)
160
- iteration = 0
161
-
162
- while iteration < max_iterations:
163
- iteration += 1
164
- iteration_added = 0
165
-
166
- # Проход по чанкам в порядке релевантности
167
- for idx in filtered_indices:
168
- if added_count >= top_k_results:
169
- break
170
- if idx >= len(retrieval.docs_metadata) or idx >= len(retrieval.paragraph_metadata):
171
- continue
172
- if idx in selected:
173
- continue
174
-
175
- # Добавляем текущий чанк
176
- selected.add(idx)
177
- added_count += 1
178
- iteration_added += 1
179
-
180
- # Добавляем предыдущий чанк из того же абзаца (для контекста)
181
- paragraph_id = retrieval.paragraph_metadata[idx]
182
- prev_idx = None
183
-
184
- # Ищем предыдущий чанк в том же абзаце
185
- for i in range(idx - 1, -1, -1):
186
- if i >= len(retrieval.paragraph_metadata):
187
- break
188
- if retrieval.paragraph_metadata[i] == paragraph_id:
189
- prev_idx = i
190
- break
191
-
192
- # Добавляем предыдущий чанк если он найден и не добавлен
193
- if prev_idx is not None and prev_idx not in selected and added_count < top_k_results:
194
- selected.add(prev_idx)
195
- added_count += 1
196
- iteration_added += 1
197
-
198
- # Проверяем гапы в абзацах и заполняем их
199
- if iteration_added > 0:
200
- paragraph_chunks = {}
201
- for idx in selected:
202
- if idx >= len(retrieval.paragraph_metadata):
203
- continue
204
- para_id = retrieval.paragraph_metadata[idx]
205
- if para_id not in paragraph_chunks:
206
- paragraph_chunks[para_id] = []
207
- paragraph_chunks[para_id].append(idx)
208
-
209
- # Ищем гапы размером в 1 чанк и заполняем их (без ограничения лимита)
210
- for para_id in paragraph_chunks:
211
- para_chunks_sorted = sorted(paragraph_chunks[para_id])
212
- for i in range(len(para_chunks_sorted) - 1):
213
- gap = para_chunks_sorted[i + 1] - para_chunks_sorted[i]
214
- if gap == 2: # Ровно один чанк между двумя группами
215
- missing_idx = para_chunks_sorted[i] + 1
216
- if missing_idx not in selected:
217
- selected.add(missing_idx)
218
- added_count += 1
219
-
220
- # Если превысили лимит или ничего не добавилось - выходим
221
- if added_count > top_k_results or iteration_added == 0:
222
- break
223
 
224
- return format_selected_chunks(list(selected))
225
 
226
  def ask_llm(query, filtered_indices_state):
227
  """Этап 2: Отправка отфильтрованных чанков в LLM с потоковой выдачей"""
 
75
  def format_selected_chunks(selected_indices):
76
  """Форматирует выбранные чанки в единый текст для вывода и LLM
77
 
78
+ Выводит целые абзацы по выбранным чанкам с названиями документов:
79
  Документ {название}:
80
+ {полный текст абзаца}
81
  """
82
  if not selected_indices:
83
  return ""
84
 
85
+ # Найдем все уникальные абзацы из выбранных чанков
86
+ paragraphs_to_show = {} # paragraph_id -> doc_id
87
+
88
  for idx in selected_indices:
89
+ if idx >= len(retrieval.paragraph_metadata) or idx >= len(retrieval.docs_metadata):
90
  continue
91
 
92
+ paragraph_id = retrieval.paragraph_metadata[idx]
93
  doc_id = retrieval.docs_metadata[idx]
94
+ paragraphs_to_show[paragraph_id] = doc_id
95
+
96
+ # Для каждого отмеченного абзаца найдем ВСЕ его чанки
97
+ full_paragraph_chunks = {} # paragraph_id -> [chunk_ids]
98
+ for chunk_id, paragraph_id in enumerate(retrieval.paragraph_metadata):
99
+ if paragraph_id in paragraphs_to_show:
100
+ if paragraph_id not in full_paragraph_chunks:
101
+ full_paragraph_chunks[paragraph_id] = []
102
+ full_paragraph_chunks[paragraph_id].append(chunk_id)
 
 
 
 
 
 
 
 
 
 
103
 
104
  # Форматируем вывод
105
  result_lines = []
106
+ for paragraph_id in sorted(paragraphs_to_show.keys()):
107
+ doc_id = paragraphs_to_show[paragraph_id]
108
+ chunk_indices = sorted(full_paragraph_chunks[paragraph_id])
109
 
110
+ doc_name = retrieval.docs_names[doc_id] if doc_id < len(retrieval.docs_names) else "Неизвестный документ"
 
 
 
 
 
 
 
 
 
 
111
 
112
+ # Объединяем все чанки абзаца в полный текст
113
+ paragraph_text = " ".join([retrieval.chunks[idx] for idx in chunk_indices])
 
 
 
114
 
115
+ # Форматируем вывод с названием документа
116
+ result_lines.append(f"Документ {doc_name}:")
117
+ result_lines.append(paragraph_text)
118
+ result_lines.append("") # Пустая строка между абзацами
119
 
120
  return "\n".join(result_lines)
121
 
 
123
  def format_retrieval_results(filtered_indices, top_k_results):
124
  """Форматирует результаты retrieval для отображения в текстовом поле
125
 
126
+ Берет top_k результатов и выводит целые абзацы с названиями документов
 
 
 
127
  """
128
  if len(filtered_indices) == 0:
129
  return "Нет результатов"
130
 
131
  top_k_results = min(top_k_results, len(filtered_indices))
132
 
133
+ # Берем top-k индексов (уже отсортированы по релевантности)
134
+ top_k_indices = filtered_indices[:top_k_results]
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
135
 
136
+ return format_selected_chunks(top_k_indices)
137
 
138
  def ask_llm(query, filtered_indices_state):
139
  """Этап 2: Отправка отфильтрованных чанков в LLM с потоковой выдачей"""