{"tol": 1e-06, "cases": [{"name": "TR · kütüphane (yanıtlanabilir)", "input": {"question": "Kütüphanede kaç kitap var?", "document": "Kasaba kütüphanesi 1962 yılında açıldı. Binanın mimarı Selma Arı'dır. Kütüphanede bugün yaklaşık 40 bin kitap bulunuyor. Her yıl haziran ayında bir kitap şenliği düzenleniyor."}, "expected": {"spans": [[0, 39], [40, 69], [70, 120], [121, 175]], "probs": [0.2566700706421586, 0.011049804690258812, 0.7985120249293477, 0.057147024195103084], "answerable": 0.6524745300529133, "abstain": false, "evidence": [2], "bm25_abstain": true, "bm25_evidence": []}}, {"name": "TR · kütüphane (belgede yok, yanıltıcı isim)", "input": {"question": "Kütüphanenin ilk müdürü kimdi?", "document": "Kasaba kütüphanesi 1962 yılında açıldı. Binanın mimarı Selma Arı'dır. Kütüphanede bugün yaklaşık 40 bin kitap bulunuyor. Her yıl haziran ayında bir kitap şenliği düzenleniyor."}, "expected": {"spans": [[0, 39], [40, 69], [70, 120], [121, 175]], "probs": [0.39956163093304226, 0.04105134074939768, 0.22020908787535282, 0.031653588894207385], "answerable": 0.27141084178818015, "abstain": true, "evidence": [], "bm25_abstain": true, "bm25_evidence": []}}, {"name": "TR · şirket (yanıltıcı yıl)", "input": {"question": "Şirketin 2020 yılındaki geliri ne kadardı?", "document": "Şirketin 2019 yılındaki geliri 4 milyon liraydı. 2020 yılında çalışan sayısı 120 kişiye çıktı. Merkez ofis 2021'de İzmir'e taşındı."}, "expected": {"spans": [[0, 48], [49, 94], [95, 131]], "probs": [0.4564306278239845, 0.31888943762740635, 0.013067418873463497], "answerable": 0.28409286741619816, "abstain": true, "evidence": [], "bm25_abstain": true, "bm25_evidence": []}}, {"name": "TR · Ay (yanıtlanabilir)", "input": {"question": "Ay'a ilk insanlı iniş ne zaman yapıldı?", "document": "Ay, Dünya'nın tek doğal uydusudur. Ay'ın Dünya'ya ortalama uzaklığı yaklaşık 384 bin kilometredir. Ay'ın yüzeyinde atmosfer neredeyse yoktur. Ay'a ilk insanlı iniş 1969 yılında gerçekleşti."}, "expected": {"spans": [[0, 34], [35, 98], [99, 141], [142, 189]], "probs": [0.0016932091875170264, 0.009253651448440165, 0.00418795073525174, 0.8713078765198486], "answerable": 0.6624891481709587, "abstain": false, "evidence": [3], "bm25_abstain": false, "bm25_evidence": [3]}}, {"name": "EN · bridge (answerable)", "input": {"question": "How long is the main span?", "document": "The river crossing opened to traffic in 1932. Its main span is 503 metres long. The bridge was repainted in 2008 using a grey anti-corrosion coating. About 160,000 vehicles cross it every day."}, "expected": {"spans": [[0, 45], [46, 79], [80, 149], [150, 192]], "probs": [0.05997950763214863, 0.8802141450863382, 0.017954486432607074, 0.0014277780143912744], "answerable": 0.756120137796548, "abstain": false, "evidence": [1], "bm25_abstain": false, "bm25_evidence": [1]}}, {"name": "EN · bridge (not in the document)", "input": {"question": "How much did the 2008 repainting cost?", "document": "The river crossing opened to traffic in 1932. Its main span is 503 metres long. The bridge was repainted in 2008 using a grey anti-corrosion coating. About 160,000 vehicles cross it every day."}, "expected": {"spans": [[0, 45], [46, 79], [80, 149], [150, 192]], "probs": [0.0255551200999423, 0.055079598427895914, 0.8414629889618448, 0.036461816877568484], "answerable": 0.5633153393855327, "abstain": true, "evidence": [], "bm25_abstain": true, "bm25_evidence": []}}, {"name": "XQuAD-tr örneği", "input": {"question": "Panthers savunması kaç sayı bırakmıştır?", "document": "Panthers savunması ligdeki derecesi altıncı sırada olarak sadece 308 sayı bıraktı, aynı zamanda NFL'de 24 topu kapma ile ligin başını çekmesi ve dört Pro Bowl seçmeleri ile övünç duydu. Pro Bowl orta çizgi savunmacısı Kawann Short, takımı 11'le birlikte sack ederken, aynı zamanda üç oyuncuyu düşürme ve iki yeniden savunmaya zorladı. Yan hakem Mario Addison, 6½ sack ekledi. Panthers hattında ayrıca, sadece 9 başlangıçta 5 sack eden uç çizgi savunmacısı Kony Ealy ile birlikte 136 kez ile NFL'nin aktif kariyer sack lideri ve 5 kez profesyonel bir top atıcısı olan Jared Allen öne çıkmaktadır. Arkalarında, Panthers'lerin üç adet ikinci hat savunma oyuncusundan ikisi de Pro Bowl'da oynamak için seçildi: Thomas Davis ve Luke Kuechly. Davis, dördünde mecburi oyuncuyu düşürme ve dört topu kapma olmak üzere 5½ sack etmeyi bir araya getirirken, Kuechly top çalmalarda (118) iki mecburi oyuncuyu düşürme ve kendi başına dört pasını kesme ile takıma öncülük etti. Carolina’nın ikincisi olarak gösterilen Pro Bowl güvenliği için kariyerinin en yükseği olarak 7 top kapma ile takımı sürükleyen Kurt Coleman’a ve 88 top çalma sayısıyla ve Pro Bowl köşe savunmacısı sezon boyunca bir kapalı köşe içinde gelişen ikisi kale çizgisini geçişten dönen dört top kapma geliştiren Josh Norman'a rol verdi."}, "expected": {"spans": [[0, 185], [186, 334], [335, 375], [376, 595], [596, 736], [737, 962], [963, 1292]], "probs": [0.9517184797981059, 0.02769000293632277, 0.010626398780669465, 0.010779909956745772, 0.002902160539948373, 0.0026929331031505755, 0.0016535220987547348], "answerable": 0.7965940107656674, "abstain": false, "evidence": [0], "bm25_abstain": false, "bm25_evidence": [0]}}, {"name": "XQuAD-tr · başka paragrafa sorulmuş soru", "input": {"question": "Panthers savunması kaç sayı bırakmıştır?", "document": "Broncos, 23–16 arasındaki bölge turunda Pittsburgh Steelers'ı, maçın son üç dakikasında 11 sayı alarak mağlup etti. Daha sonra, New England'ın 2 puanlık dönüşüm girişimini saat üzerinde 17 saniye kala bir pası keserek, AFC Şampiyonluk Oyununda Super Bowl'u savunan XLIX şampiyonu New England Patriots'u 20–18 yendi. Manning''in sezon boyunca topu kapmalarla ilgili sorunlarına rağmen, iki rövanş maçında hiç atmadı."}, "expected": {"spans": [[0, 115], [116, 315], [316, 415]], "probs": [0.42594753613939734, 0.5448627041677241, 0.006219471489626283], "answerable": 0.521832748704309, "abstain": true, "evidence": [], "bm25_abstain": true, "bm25_evidence": []}}, {"name": "SQuAD 2.0 dev · unanswerable", "input": {"question": "Who gave their name to Normandy in the 1000's and 1100's", "document": "The Normans (Norman: Nourmands; French: Normands; Latin: Normanni) were the people who in the 10th and 11th centuries gave their name to Normandy, a region in France. They were descended from Norse (\"Norman\" comes from \"Norseman\") raiders and pirates from Denmark, Iceland and Norway who, under their leader Rollo, agreed to swear fealty to King Charles III of West Francia. Through generations of assimilation and mixing with the native Frankish and Roman-Gaulish populations, their descendants would gradually merge with the Carolingian-based cultures of West Francia. The distinct cultural and ethnic identity of the Normans emerged initially in the first half of the 10th century, and it continued to evolve over the succeeding centuries."}, "expected": {"spans": [[0, 166], [167, 374], [375, 570], [571, 742]], "probs": [0.43339849125455665, 0.055537425857606224, 0.010991327906988676, 0.014505228061116832], "answerable": 0.18313970364344162, "abstain": true, "evidence": [], "bm25_abstain": false, "bm25_evidence": [0]}}]}