task_categories:text-generation task_categories:summarization task_categories:sentence-similarity task_categories:text2text-generation size_categories:100K<n<1M language:bn license:cc-by-nc-sa-4.0 headline-generation low-resource information-extraction news-clustering keyword-identification document-categorization region:us
---
license: cc-by-nc-sa-4.0
task_categories:
- text-generation
- summarization
- sentence-similarity
- text2text-generation
language:
- bn
tags:
- headline-generation
- low-resource
- information-extraction
- news-clustering
- keyword-identification
- document-categorization
size_categories:
- 100K<n<1M
---
# Dataset Card for Shironaam Corpus

## Dataset Description

- **Homepage:** 
- **Repository:** https://github.com/dialect-ai/BenHeadGen
- **Paper:** https://aclanthology.org/2023.eacl-main.4/
- **Leaderboard:** 
- **Point of Contact:** [Abu Ubaida Akash](mailto:akash.ubaida@gmail.com)

### Dataset Summary

Automatic headline generation systems have the potential to assist editors in finding interesting headlines to attract visitors or readers.
However, the performance of headline generation systems remains challenging due to the unavailability of sufficient parallel data for
low-resource languages like Bengali. We provide **Shironaam**, a large-scale news headline generation dataset of a low-resource language
_i.e._, Bengali containing over 240K news headline-article pairings with auxiliary information such as image captions, topic words, 
and category information. Also, this dataset can potentially be used for other tasks such as document categorization, news clustering, 
keyword identification, _etc._ [(read more)](https://aclanthology.org/2023.eacl-main.4.pdf).

<!---
### Supported Tasks and Leaderboards

[More Information Needed]
-->

### Language(s)

Bengali

## Dataset Structure

### Data Instances

One example from the test split of the dataset is given below in JSON format.
```
{
    "news_link": https://www.ajkerpatrika.com/169885/%E0%A6%AA%E0%A6%B0%E0%A6%BF%E0%A6%AC%E0%A7%87%E0%A6%B6%E0%A6%A6%E0%A7%82%E0%A6%B7%E0%A6%A3%E0%A7%87-%E0%A6%AC%E0%A7%8D%E0%A6%AF%E0%A6%BE%E0%A6%A7%E0%A6%BF-%E0%A6%AC%E0%A6%BE%E0%A7%9C%E0%A6%9B%E0%A7%87-%E0%A6%B8%E0%A7%8D%E0%A6%AC%E0%A6%BE%E0%A6%B8%E0%A7%8D%E0%A6%A5%E0%A7%8D%E0%A6%AF%E0%A6%AE%E0%A6%A8%E0%A7%8D%E0%A6%A4%E0%A7%8D%E0%A6%B0%E0%A7%80,
    "head_lines": পরিবেশদূষণে ব্যাধি বাড়ছে: স্বাস্থ্যমন্ত্রী,
    "article": স্বাস্থ্য ও পরিবারকল্যাণমন্ত্রী জাহিদ মালেক বলেছেন, প্রতিনিয়ত বিশ্বে পরিবেশ দূষিত হচ্ছে। এতে নতুন নতুন রোগের সৃষ্টি হচ্ছে। পরিবেশদূষণের কারণে ১৫-২০ শতাংশ মানসিক রোগী বাড়ছে। বিশ্ব স্বাস্থ্য দিবস উপলক্ষে আজ বৃহস্পতিবার রাজধানীর ওসমানী স্মৃতি মিলনায়তনে আয়োজিত এক অনুষ্ঠানে তিনি এসব কথা বলেন।স্বাস্থ্যমন্ত্রী বলেন, 'বর্তমানে পরিবেশ, পানি দূষিত হচ্ছে। দেশের পরিবেশ ভালো থাকলে কৃষি, পানি, স্বাস্থ্য ভালো থাকবে এবং চাপ কম থাকবে। এগুলো ভালো রাখতে হবে, তবেই আমরা ভালো থাকব।'জাহিদ মালেক বলেন, কলকারখানার গ্যাস ও যানবাহনের দূষিত ধোঁয়া পরিবেশ নষ্ট করছে। এতে ডায়রিয়া, কলেরা, চিকুনগুনিয়াসহ নানা নতুন-পুরোনো রোগ দেখা দিচ্ছে। দেশের অন্যান্য স্থানের চেয়ে ঢাকায় বায়ুদূষণ বেশি হচ্ছে। দেশে যে পরিমাণ বনাঞ্চল থাকার কথা, তা নেই।পরিবেশ ধ্বংসে বাংলাদেশের হাত না থাকলেও সবচেয়ে বেশি ক্ষতির মুখে পড়তে হয় মন্তব্য করে স্বাস্থ্যমন্ত্রী বলেন, বিশ্বে প্রতিবছর ৬০ হাজার হেক্টর বন ধ্বংস হচ্ছে। পরিবেশ ধ্বংসে যুক্তরাষ্ট্র, ব্রাজিল ও ইউরোপের দেশগুলোর বড় ভূমিকা থাকলেও বাংলাদেশের মতো দেশগুলোকে প্রভাব মোকাবিলা করতে হয়।পানি সমস্যার কারণে ডায়রিয়া বাড়ছে জানিয়ে জাহিদ মালেক বলেন, পানি সমস্যার সমাধান করতে হবে। এর কারণে ডায়রিয়া, কলেরাসহ অন্যান্য রোগ বেড়েই চলেছে। ভেজাল খাদ্যের কারণে সংক্রামক ও অসংক্রামক রোগ বাড়ছে। তবে আমাদের স্বাস্থ্য ব্যবস্থাপনাও ভালো রাখতে হবে। দেশকে ভালো রাখতে হলে দেশের সম্পদ ঠিক রাখতে হবে।দেশের অন্যান্য উন্নয়নের পাশাপাশি স্বাস্থ্যব্যবস্থারও অনেক উন্নতি হয়েছে জানিয়ে স্বাস্থ্যমন্ত্রী বলেন, 'আমাদের গড় আয়ু এখন ৭৩ বছর। ভ্যাকসিনেও আমরা অনেক ভালো করেছি, বিশ্বে অষ্টম হয়েছি। লক্ষ্যমাত্রার ৯৫ ভাগ মানুষকে টিকা দিয়েছি। ভালো কাজ করেছি বিধায় জিডিপি এখনো সাতে রয়েছে। পাশের শ্রীলঙ্কা এখন দেউলিয়া, তারা হয়তো ভালো ব্যবস্থা নিতে পারেনি। কিন্তু আমাদের খাদ্যে কোনো ঘাটতি নেই। ৪৫ বিলিয়ন ডলার আমাদের রিজার্ভ রয়েছে। মাথাপিছু ঋণ অনেক দেশের তুলনায় কম রয়েছে।',
    "tags": স্বাস্থ্যমন্ত্রী,রাজধানী,পরিবেশ দূষণ,জাহিদ মালেক,
    "image_caption": অনুষ্ঠানে বক্তব্য দেন স্বাস্থ্য ও পরিবার কল্যাণমন্ত্রী জাহিদ মালেক।,
    "category": national
}
```

### Data Fields

- `news_link`: A string representing the link of the news source
- `head_lines`: A string representing the headline of the corresponding news article
- `article`: A string representing the article body of the news
- `tags`: A string representing the tags/topic-words related to the corresponding news article
- `image_caption`: A string representing the caption(s) of the images from the corresponding news article
- `category`: A string representing the category the corresponding news belongs to 

### Data Splits

The **Shironaam** dataset distribution over 13 different domains. After preprocessing the raw corpus, we have 240,580 news samples
as a tuple of (headline, article, image caption, topic words, category). To ensure a balanced distribution, we maintain the ratio
of (92% - 220,574), (2% - 4994), and (6% - 15,012) samples from all the categories to construct the train, validation, and
test set, respectively.

|  **Category** |  **Train**  | **Valid** |  **Test**  |  **Total**  |
|:-------------:|:-----------:|:---------:|:----------:|:-----------:|
| Entertainment |      16,104 |       365 |       1095 |      17,565 |
| National      |     117,566 |     2,664 |      7,994 |     128,226 |
| Nature        |         467 |        10 |         31 |         510 |
| International |      30,558 |       692 |      2,078 |      33,329 |
| Sports        |      17,635 |       399 |      1,199 |      19,235 |
| Economy       |       6,447 |       146 |        438 |       7,032 |
| Life-Health   |       6,356 |       144 |        432 |       6,933 |
| Miscellaneous |       1,599 |        36 |        108 |       1,744 |
| Opinion       |       3,501 |        79 |        238 |       3,819 |
| Politics      |      15,018 |       340 |      1,021 |      16,380 |
| Edu-Career    |       4,008 |        90 |        272 |       4,372 |
| Science-Tech  |       1,046 |        23 |         71 |       1,141 |
| Religion      |         269 |         6 |         18 |         294 |
| **Total**     | **220,574** | **4,994** | **15,012** | **240,580** |

## Dataset Creation

We crawl around 900,000 raw data samples from seven famous Bengali newspapers concentrating on certain
criteria, such as headline, article, image caption, category, and topic words. Since each of the newspapers 
mentioned above has its own professional authors and distinct writing style, we consider multiple sources 
to prevent the bias of a particular annotation style. To ensure content diversity, we also cover various 
domains from all the news dailies. The majority of the news samples are extracted from HTML bodies of the 
corresponding publications, while some are rendered using JavaScript. However, two of them do not provide 
the archives on their websites; therefore, we collect the samples through their APIs... [details in the paper](https://aclanthology.org/2023.eacl-main.4.pdf)

<!---
### Curation Rationale

[More Information Needed]
-->

### Source Data

|    **Newspaper**    |          **URL**         |
|:-------------------:|:------------------------:|
| Prothom Alo         | www.prothomalo.com       |
| Naya Diganta        | www.dailynayadiganta.com |
| Ajker Patrika       | www.ajkerpatrika.com     |
| Bangladesh Protidin | www.bd-pratidin.com      |
| Samakal             | www.samakal.com          |
| Bhorer Kagoj        | www.bhorerkagoj.com      |
| Dhaka Tribune       | www.dhakatribune.com     |

<!---
#### Initial Data Collection and Normalization

[More Information Needed]

#### Who are the source language producers?

[More Information Needed]

### Annotations

#### Annotation process

[More Information Needed]

#### Who are the annotators?

[More Information Needed]

### Personal and Sensitive Information

[More Information Needed]

## Considerations for Using the Data

### Social Impact of Dataset

[More Information Needed]

### Discussion of Biases

[More Information Needed]
-->

### Discussion of Ethics

We considered some ethical aspects while scraping the data. We requested data at a reasonable rate 
without any intention of a DDoS attack. Moreover, for each website, we read the instructions listed in 
robots.txt to check whether we can crawl the intended content. We tried to minimize offensive texts in 
the data by explicitly crawling the sites where such contents are minimal. Further, we removed the 
Personal Identifying Information (PII) such as name, phone number, email address, _etc._ from the corpus.

### Other Known Limitations

Our dataset relies on auxiliary information such as image captions and topic words to achieve superior 
performance in generating news headlines. However, it is quite common to include images and extra information 
(e.g., topic words) to increase the article’s visibility, support, and context. On top of that **Shironaam** 
corpus supports only Bengali, a widely spoken but low-resource language. Still, this idea of using auxiliary 
information to improve headline generation performance can easily be extendable for many languages.

## Additional Information

<!---
### Dataset Curators

[More Information Needed]
-->

### Licensing Information

Contents of this repository are restricted to only non-commercial research purposes under the [Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0)](https://creativecommons.org/licenses/by-nc-sa/4.0/). 
Copyright of the dataset contents belongs to the original copyright holders.

### Citation Information
If you find this work useful for your research, please consider citing:
```
@inproceedings{akash-etal-2023-shironaam,
    title = "Shironaam: {B}engali News Headline Generation using Auxiliary Information",
    author = "Akash, Abu Ubaida  and
      Nayeem, Mir Tafseer  and
      Shohan, Faisal Tareque  and
      Islam, Tanvir",
    booktitle = "Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics",
    month = may,
    year = "2023",
    address = "Dubrovnik, Croatia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.eacl-main.4",
    pages = "52--67"
}
```

### Contributors
- Abu Ubaida Akash (akash.ubaida@gmail.com)
- Mir Tafseer Nayeem (mnayeem@ualberta.ca)
- Faisal Tareque Shohan (faisaltareque@hotmail.com)
- Tanvir Islam (tislam@hawaii.edu)

### Acknowledgements
- This work is the outcome of the ongoing research at [Dialect AI Research Group](https://github.com/dialect-ai).
- Mir Tafseer Nayeem is supported by [Huawei](https://digitalpower.huawei.com/en/) Doctoral Fellowship.