YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
BartaaT5 - Bangla News Summarization Model
BartaaT5 is a fine-tuned Bangla T5 model from BUET NLP for news summarization. This model is trained to generate concise and meaningful summaries from Bangla news articles. The model utilizes the T5 architecture, optimized for summarizing long-form content into brief and informative summaries.
Model Details
- Base Model: BUET NLP's Bangla T5
- Dataset: Custom Bangla news dataset
- Training Objective: Summarization of Bangla news articles
- Training Epochs: 10
- Optimizer: AdamW
- Evaluation Metric: ROUGE Score
How to Use
You can easily use this model for summarizing Bangla news articles by using the transformers library. Here is a code snippet:
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
# Load the fine-tuned model and tokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("Pronoy14744/BartaaT5")
tokenizer = AutoTokenizer.from_pretrained("Pronoy14744/BartaaT5")
# Example input text (Bangla news article)
input_text = """
সাতক্ষীরার পাটকেলঘাটা থানার শুকতিয়া এলাকায় মদ পান করে কামাল গাজী (২৭) নামে এক যুবকের মৃত্যু হয়েছে। রোববার ভোর ৪টার দিকে তিনি মারা যান। নিহত কামাল গাজী শুকতিয়া গ্রামের আব্দুল গাজীর ছেলে। স্থানীয়রা জানান, শনিবার রাত ৯টার দিকে পার্শ্ববর্তী মৃত ফকর সরদারের ছেলে খলিল সরদার ও জামাল গোলদারের ছেলে সালাম গোলদার কামালকে মাছের ঘেরে ডেকে নিয়ে যান। সেখানে তারা বিদেশি মদ পান করেন। অতিরিক্ত মদ পান করার কারণে কামাল গাজী গুরুতর অসুস্থ হয়ে পড়লে রাত ৩টার দিকে খলিল সরদার তাকে বাড়িতে দিয়ে যান। এরপর পরিবারের সদস্যরা তাকে সাতক্ষীরা সদর হাসপাতালে নিয়ে গেলে চিকিৎসক মৃত ঘোষণা করেন। এ বিষয়ে পাটকেলঘাটা থানার ভারপ্রাপ্ত কর্মকর্তা (ওসি) রেজাউল ইসলাম জাগো নিউজকে বলেন, সদর হাসপাতাল থেকে মৃতের মেডিকেল সার্টিফিকেটে উল্লেখ করা হয়েছে তিনি স্ট্রোক করে মারা গেছেন। অতিরিক্ত মদ পানের ফলে স্ট্রোক হতে পারে এটা অস্বাভাবিক নয়। পুরো ঘটনাটি তদন্ত করা হচ্ছে। আকরামুল ইসলাম/এফএ/এমএস
"""
# Tokenize the input text
input_ids = tokenizer.encode(input_text, return_tensors='pt').to('cuda')
# Generate the summary
summary_ids = model.generate(input_ids, max_length=100, num_beams=4, length_penalty=2.0, early_stopping=True)
# Decode and print the summary
summary_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print(summary_text)
Sample Output
For the provided input text, the model generates the following summary:
সাতক্ষীরায় মদ পান করে যুবকের মৃত্যু
Model Performance
The model is evaluated using ROUGE score on a custom (20000) Bangla news summarization dataset and found a 54.33 ROUGE-L F1. This model is optimized for short-form summary generation.
Installation & Dependencies
Install the required dependencies using the following:
pip install transformers
Usage Notes
- Maximum Input Length: The model is trained on text sequences up to 1024 tokens. Longer inputs will be truncated.
- Summary Length: You can adjust the
max_lengthandnum_beamsfor varying summary lengths and generation strategies.
Model Link
You can access and download the model from Hugging Face Model Page.
Cite This?
@INPROCEEDINGS{11013501, author={Mondal, Pronoy Kumar and Masud Rana, Md and Roy Shuvo, Bibakananda and Ahmed Ornob, Kawshik and Sattar, Abdus and Rahman, Md Sadekur}, booktitle={2025 International Conference on Electrical, Computer and Communication Engineering (ECCE)}, title={Low-Resource Language Summarization: A Study of Bangla Using T5 architecture}, year={2025}, volume={}, number={}, pages={1-7}, keywords={Measurement;Training;Computational modeling;Refining;Computer architecture;Coherence;Linguistics;Market research;Natural language processing;Convergence;mT5;bengali-T5-base;LLMs;Summarization Tasks;Low-resource Languages}, doi={10.1109/ECCE64574.2025.11013501}}
Author
Pronoy Kumar Mondal
[Pronoy]
License
This model is licensed under the MIT License.
- Downloads last month
- 3