dedemerve commited on
Commit
d4cf39f
·
verified ·
1 Parent(s): b4572e5

Upload 3 files

Browse files
Files changed (3) hide show
  1. README.md +16 -8
  2. app.py +198 -0
  3. requirements.txt +4 -0
README.md CHANGED
@@ -1,15 +1,23 @@
1
  ---
2
  title: ILSA LLM Extractor Viewer
3
- emoji: 🏃
4
- colorFrom: indigo
5
- colorTo: yellow
6
  sdk: gradio
7
- sdk_version: 6.18.0
8
- python_version: '3.13'
9
  app_file: app.py
10
  pinned: false
11
- license: cc-by-4.0
12
- short_description: ilsa-viewer
13
  ---
14
 
15
- Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  title: ILSA LLM Extractor Viewer
3
+ emoji: 📚
4
+ colorFrom: blue
5
+ colorTo: indigo
6
  sdk: gradio
7
+ sdk_version: "5.49.1"
 
8
  app_file: app.py
9
  pinned: false
 
 
10
  ---
11
 
12
+ # ILSA-LLM-Extractor-Dataset — Tıklanabilir Kaynak Görüntüleyici
13
+
14
+ `dedemerve/ILSA-LLM-Extractor-Dataset` veri setinin tüm subset/split'lerini
15
+ gösteren küçük bir Gradio uygulaması. Standart Hugging Face Dataset
16
+ Viewer'ın aksine, her satır için bir **Kaynak** sütunu oluşturur:
17
+
18
+ - DOI mevcutsa → doğrudan `https://doi.org/<doi>` linkine gider.
19
+ - DOI yoksa → başlık (+ varsa venue) ile bir Google Scholar arama
20
+ linkine gider.
21
+
22
+ Subset/split listesi, dataset'in kendi metadata'sından otomatik çekilir;
23
+ bu yüzden ileride yeni subset eklesen bile kod değişikliği gerekmez.
app.py ADDED
@@ -0,0 +1,198 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ """
2
+ ILSA-LLM-Extractor-Dataset — Tıklanabilir Kaynak Görüntüleyici
3
+ ================================================================
4
+ Hugging Face'in standart Dataset Viewer'ı hücrelerdeki DOI/URL metinlerini
5
+ tıklanabilir link'e çevirmiyor. Bu küçük Gradio uygulaması, seçilen
6
+ subset/split'i yükler ve her satır için:
7
+ - DOI varsa -> https://doi.org/<doi> linkine,
8
+ - DOI yoksa -> başlık (+ varsa venue) ile Google Scholar arama linkine
9
+ çıkan tıklanabilir bir "Kaynak" sütunu oluşturur.
10
+
11
+ Bu dosyayı bir Hugging Face Space'e (SDK: Gradio) app.py olarak koyup
12
+ requirements.txt ile birlikte yüklemen yeterli.
13
+ """
14
+
15
+ import urllib.parse
16
+
17
+ import gradio as gr
18
+ import pandas as pd
19
+ from datasets import get_dataset_config_names, get_dataset_split_names, load_dataset
20
+
21
+ REPO_ID = "dedemerve/ILSA-LLM-Extractor-Dataset"
22
+ MAX_CELL_CHARS = 300 # çok uzun metin alanlarını tabloda kısaltmak için
23
+
24
+ # Basit bellek içi cache: (subset, split) -> ham DataFrame
25
+ _CACHE = {}
26
+
27
+
28
+ # ---------------------------------------------------------------------
29
+ # Yardımcı fonksiyonlar
30
+ # ---------------------------------------------------------------------
31
+
32
+ def _normalize(name: str) -> str:
33
+ return name.strip().lower()
34
+
35
+
36
+ def _find_col(df: pd.DataFrame, candidates):
37
+ """Büyük/küçük harf farkına bakmadan olası kolon adlarından ilk eşleşeni döndürür."""
38
+ norm_map = {_normalize(c): c for c in df.columns}
39
+ for cand in candidates:
40
+ if cand in norm_map:
41
+ return norm_map[cand]
42
+ return None
43
+
44
+
45
+ def _is_blank(val) -> bool:
46
+ if val is None:
47
+ return True
48
+ try:
49
+ if pd.isna(val):
50
+ return True
51
+ except (TypeError, ValueError):
52
+ pass
53
+ s = str(val).strip().lower()
54
+ return s in ("", "none", "null", "nan", "n/a", "<na>")
55
+
56
+
57
+ def _make_kaynak(row, doi_col, title_col, venue_col) -> str:
58
+ """DOI varsa doi.org linki, yoksa Google Scholar arama linki üretir."""
59
+ doi_val = row.get(doi_col) if doi_col else None
60
+ if not _is_blank(doi_val):
61
+ doi_clean = str(doi_val).strip()
62
+ url = doi_clean if doi_clean.lower().startswith("http") else f"https://doi.org/{doi_clean}"
63
+ return f"[🔗 DOI ile aç]({url})"
64
+
65
+ title_val = row.get(title_col) if title_col else None
66
+ venue_val = row.get(venue_col) if venue_col else None
67
+ parts = [str(v).strip() for v in (title_val, venue_val) if not _is_blank(v)]
68
+ query = " ".join(parts).strip()
69
+ if not query:
70
+ return ""
71
+ q = urllib.parse.quote_plus(query)
72
+ return f"[🔎 Google Scholar'da ara](https://scholar.google.com/scholar?q={q})"
73
+
74
+
75
+ def _truncate(val) -> str:
76
+ if _is_blank(val):
77
+ return ""
78
+ s = str(val)
79
+ return s if len(s) <= MAX_CELL_CHARS else s[:MAX_CELL_CHARS] + "…"
80
+
81
+
82
+ def get_subsets():
83
+ try:
84
+ return sorted(get_dataset_config_names(REPO_ID))
85
+ except Exception as e: # noqa: BLE001
86
+ return [f"HATA: subset listesi alınamadı ({e})"]
87
+
88
+
89
+ def get_splits(subset: str):
90
+ try:
91
+ return get_dataset_split_names(REPO_ID, subset)
92
+ except Exception:
93
+ return ["train"]
94
+
95
+
96
+ def _load_raw(subset: str, split: str) -> pd.DataFrame:
97
+ key = (subset, split)
98
+ if key not in _CACHE:
99
+ ds = load_dataset(REPO_ID, name=subset, split=split)
100
+ _CACHE[key] = ds.to_pandas()
101
+ return _CACHE[key]
102
+
103
+
104
+ def build_table(subset: str, split: str, search_text: str, max_rows: int):
105
+ if not subset or not split:
106
+ return pd.DataFrame(), gr.update(datatype="str"), "Lütfen bir subset ve split seç."
107
+
108
+ try:
109
+ df = _load_raw(subset, split).copy()
110
+ except Exception as e: # noqa: BLE001
111
+ return pd.DataFrame(), gr.update(datatype="str"), f"⚠️ Veri yüklenemedi: {e}"
112
+
113
+ total_rows = len(df)
114
+
115
+ title_col = _find_col(df, ["title", "başlık", "baslik"])
116
+ doi_col = _find_col(df, ["doi"])
117
+ venue_col = _find_col(df, ["venue", "journal", "source"])
118
+
119
+ # Başlığa göre arama filtresi (varsa)
120
+ if search_text and title_col:
121
+ df = df[df[title_col].astype(str).str.contains(search_text, case=False, na=False)]
122
+
123
+ filtered_rows = len(df)
124
+ df = df.head(max_rows)
125
+
126
+ has_link_info = bool(doi_col or title_col)
127
+
128
+ if has_link_info:
129
+ df.insert(
130
+ 0,
131
+ "Kaynak",
132
+ df.apply(lambda r: _make_kaynak(r, doi_col, title_col, venue_col), axis=1),
133
+ )
134
+
135
+ # Geri kalan tüm sütunları görüntüleme için metne çevir + kısalt
136
+ for col in df.columns:
137
+ if col == "Kaynak":
138
+ continue
139
+ df[col] = df[col].apply(_truncate)
140
+
141
+ datatype = ["markdown" if col == "Kaynak" else "str" for col in df.columns]
142
+
143
+ if has_link_info:
144
+ info = (
145
+ f"**{subset}/{split}** — toplam {total_rows} satır, "
146
+ f"filtre sonrası {filtered_rows} satır, ekranda {len(df)} satır gösteriliyor. "
147
+ f"DOI'si olan satırlar doğrudan kaynağa, olmayanlar Google Scholar aramasına gider."
148
+ )
149
+ else:
150
+ info = (
151
+ f"**{subset}/{split}** — toplam {total_rows} satır, ekranda {len(df)} satır gösteriliyor. "
152
+ f"Bu subset'te 'title'/'doi' alanı bulunmadığından tıklanabilir kaynak sütunu eklenmedi; "
153
+ f"tablo olduğu gibi gösteriliyor."
154
+ )
155
+
156
+ return df, gr.update(value=df, datatype=datatype), info
157
+
158
+
159
+ def on_subset_change(subset: str):
160
+ splits = get_splits(subset)
161
+ default_split = splits[0] if splits else None
162
+ return gr.update(choices=splits, value=default_split)
163
+
164
+
165
+ # ---------------------------------------------------------------------
166
+ # Arayüz
167
+ # ---------------------------------------------------------------------
168
+
169
+ with gr.Blocks(title="ILSA-LLM-Extractor — Tıklanabilir Kaynaklar") as demo:
170
+ gr.Markdown(
171
+ f"""
172
+ # 📚 ILSA-LLM-Extractor-Dataset — Tıklanabilir Kaynak Görüntüleyici
173
+ Hugging Face standart viewer'da DOI hücreleri tıklanabilir değil. Burada her satır için
174
+ DOI varsa **doi.org** linki, yoksa başlığa göre **Google Scholar arama** linki üretiliyor.
175
+
176
+ Veri seti: [`{REPO_ID}`](https://huggingface.co/datasets/{REPO_ID})
177
+ """
178
+ )
179
+
180
+ with gr.Row():
181
+ subset_dd = gr.Dropdown(choices=get_subsets(), label="Subset", value=None)
182
+ split_dd = gr.Dropdown(choices=[], label="Split", value=None)
183
+
184
+ with gr.Row():
185
+ search_box = gr.Textbox(label="Başlıkta ara (opsiyonel)", placeholder="örn: PISA, civic, ICCS...")
186
+ max_rows_box = gr.Slider(minimum=20, maximum=2000, value=200, step=20, label="Ekranda gösterilecek maks. satır")
187
+ load_btn = gr.Button("Yükle / Filtrele", variant="primary")
188
+
189
+ status_md = gr.Markdown("Başlamak için bir subset seç.")
190
+ table = gr.Dataframe(label="Sonuçlar", wrap=True, datatype="str", max_height=650)
191
+
192
+ subset_dd.change(on_subset_change, inputs=subset_dd, outputs=split_dd)
193
+ split_dd.change(build_table, inputs=[subset_dd, split_dd, search_box, max_rows_box], outputs=[table, table, status_md])
194
+ load_btn.click(build_table, inputs=[subset_dd, split_dd, search_box, max_rows_box], outputs=[table, table, status_md])
195
+ search_box.submit(build_table, inputs=[subset_dd, split_dd, search_box, max_rows_box], outputs=[table, table, status_md])
196
+
197
+ if __name__ == "__main__":
198
+ demo.launch()
requirements.txt ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ gradio>=5.0
2
+ datasets>=2.19
3
+ pandas>=2.0
4
+ huggingface_hub>=0.23