YAML Metadata Warning:empty or missing yaml metadata in repo card

Check out the documentation for more information.

BartaaT5 - Bangla News Summarization Model

BartaaT5 is a fine-tuned Bangla T5 model from BUET NLP for news summarization. This model is trained to generate concise and meaningful summaries from Bangla news articles. The model utilizes the T5 architecture, optimized for summarizing long-form content into brief and informative summaries.

Model Details

  • Base Model: BUET NLP's Bangla T5
  • Dataset: Custom Bangla news dataset
  • Training Objective: Summarization of Bangla news articles
  • Training Epochs: 10
  • Optimizer: AdamW
  • Evaluation Metric: ROUGE Score

How to Use

You can easily use this model for summarizing Bangla news articles by using the transformers library. Here is a code snippet:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# Load the fine-tuned model and tokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("Pronoy14744/BartaaT5")
tokenizer = AutoTokenizer.from_pretrained("Pronoy14744/BartaaT5")

# Example input text (Bangla news article)
input_text = """
সাতক্ষীরার পাটকেলঘাটা থানার শুকতিয়া এলাকায় মদ পান করে কামাল গাজী (২৭) নামে এক যুবকের মৃত্যু হয়েছে। রোববার ভোর ৪টার দিকে তিনি মারা যান। নিহত কামাল গাজী শুকতিয়া গ্রামের আব্দুল গাজীর ছেলে। স্থানীয়রা জানান, শনিবার রাত ৯টার দিকে পার্শ্ববর্তী মৃত ফকর সরদারের ছেলে খলিল সরদার ও জামাল গোলদারের ছেলে সালাম গোলদার কামালকে মাছের ঘেরে ডেকে নিয়ে যান। সেখানে তারা বিদেশি মদ পান করেন। অতিরিক্ত মদ পান করার কারণে কামাল গাজী গুরুতর অসুস্থ হয়ে পড়লে রাত ৩টার দিকে খলিল সরদার তাকে বাড়িতে দিয়ে যান। এরপর পরিবারের সদস্যরা তাকে সাতক্ষীরা সদর হাসপাতালে নিয়ে গেলে চিকিৎসক মৃত ঘোষণা করেন। এ বিষয়ে পাটকেলঘাটা থানার ভারপ্রাপ্ত কর্মকর্তা (ওসি) রেজাউল ইসলাম জাগো নিউজকে বলেন, সদর হাসপাতাল থেকে মৃতের মেডিকেল সার্টিফিকেটে উল্লেখ করা হয়েছে তিনি স্ট্রোক করে মারা গেছেন। অতিরিক্ত মদ পানের ফলে স্ট্রোক হতে পারে এটা অস্বাভাবিক নয়। পুরো ঘটনাটি তদন্ত করা হচ্ছে। আকরামুল ইসলাম/এফএ/এমএস
"""

# Tokenize the input text
input_ids = tokenizer.encode(input_text, return_tensors='pt').to('cuda')

# Generate the summary
summary_ids = model.generate(input_ids, max_length=100, num_beams=4, length_penalty=2.0, early_stopping=True)

# Decode and print the summary
summary_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print(summary_text)

Sample Output

For the provided input text, the model generates the following summary:

সাতক্ষীরায় মদ পান করে যুবকের মৃত্যু

Model Performance

The model is evaluated using ROUGE score on a custom (20000) Bangla news summarization dataset and found a 54.33 ROUGE-L F1. This model is optimized for short-form summary generation.

Installation & Dependencies

Install the required dependencies using the following:

pip install transformers

Usage Notes

  • Maximum Input Length: The model is trained on text sequences up to 1024 tokens. Longer inputs will be truncated.
  • Summary Length: You can adjust the max_length and num_beams for varying summary lengths and generation strategies.

Model Link

You can access and download the model from Hugging Face Model Page.

Cite This?

@INPROCEEDINGS{11013501, author={Mondal, Pronoy Kumar and Masud Rana, Md and Roy Shuvo, Bibakananda and Ahmed Ornob, Kawshik and Sattar, Abdus and Rahman, Md Sadekur}, booktitle={2025 International Conference on Electrical, Computer and Communication Engineering (ECCE)}, title={Low-Resource Language Summarization: A Study of Bangla Using T5 architecture}, year={2025}, volume={}, number={}, pages={1-7}, keywords={Measurement;Training;Computational modeling;Refining;Computer architecture;Coherence;Linguistics;Market research;Natural language processing;Convergence;mT5;bengali-T5-base;LLMs;Summarization Tasks;Low-resource Languages}, doi={10.1109/ECCE64574.2025.11013501}}

Author

Pronoy Kumar Mondal
[Pronoy]

License

This model is licensed under the MIT License.

Downloads last month
3
Safetensors
Model size
0.2B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support