arxiv:1910.08840 region:us
\
@inproceedings{10.5555/1859664.1859668,
author = {Kim, Su Nam and Medelyan, Olena and Kan, Min-Yen and Baldwin, Timothy},
title = {SemEval-2010 Task 5: Automatic Keyphrase Extraction from Scientific Articles},
year = {2010},
publisher = {Association for Computational Linguistics},
address = {USA},
abstract = {This paper describes Task 5 of the Workshop on Semantic Evaluation 2010 (SemEval-2010). Systems are to automatically assign keyphrases or keywords to given scientific articles. The participating systems were evaluated by matching their extracted keyphrases against manually assigned ones. We present the overall ranking of the submitted systems and discuss our findings to suggest future directions for this task.},
booktitle = {Proceedings of the 5th International Workshop on Semantic Evaluation},
pages = {21–26},
numpages = {6},
location = {Los Angeles, California},
series = {SemEval '10}
}

A dataset for benchmarking keyphrase extraction and generation techniques from long document english scientific articles. For more details about the dataset please refer the original paper - [https://dl.acm.org/doi/10.5555/1859664.1859668](https://dl.acm.org/doi/10.5555/1859664.1859668)

Original source of the data - [https://github.com/boudinfl/semeval-2010-pre](https://github.com/boudinfl/semeval-2010-pre)

## Dataset Summary
The Semeval-2010 dataset was originally proposed by *Su Nam Kim et al* in the paper titled - [SemEval-2010 Task 5: Automatic Keyphrase Extraction from Scientific Articles](https://aclanthology.org/S10-1004.pdf) in the year 2010. The dataset consists of a set of 284 English scientific papers from the ACM Digital Library (conference and work-shop papers). The selected articles belong to the
following four 1998 ACM classifications: C2.4 (Distributed Systems), H3.3 (Information Search and Retrieval), I2.11 (Distributed Artificial Intelligence – Multiagent Systems) and J4 (Socialand Behavioral Sciences – Economics). Each paper has two sets of keyphrases annotated by readers and author. The original dataset was divided into trail, training and test splits, evenly distributed across four domains. The trial, training and test splits had 40, 144 and 100 articles respectively, and the trial split was a subset of training split. We provide test and train splits with 100 and 144 articles respectively.

 The dataset shared over here categorizes the keyphrases into *extractive* and *abstractive*. **Extractive keyphrases** are those that could be found in the input text and the **abstractive keyphrases** are those that are not present in the input text. In order to get all the meta-data about the documents and keyphrases please refer to the [original source](https://github.com/boudinfl/semeval-2010-pre) from which the dataset was taken from. The main motivation behind making this dataset available in the form as presented over here is to make it easy for the researchers to programmatically download it and evaluate their models for the tasks of keyphrase extraction and generation. As keyphrase extraction by treating it as a sequence tagging task and using contextual language models has become popular - [Keyphrase extraction from scholarly articles as sequence labeling using contextualized embeddings](https://arxiv.org/pdf/1910.08840.pdf), we have also made the token tags available in the BIO tagging format.   


## Dataset Structure


### Data Fields

- **id**: unique identifier of the document.
- **document**: Whitespace separated list of words in the document.
- **doc_bio_tags**: BIO tags for each word in the document. B stands for the beginning of a keyphrase and I stands for inside the keyphrase. O stands for outside the keyphrase and represents the word that isn't a part of the keyphrase at all.
- **extractive_keyphrases**: List of all the present keyphrases.
- **abstractive_keyphrase**: List of all the absent keyphrases.


### Data Splits

|Split| #datapoints  |
|--|--|
| Test | 100 |
| Train | 144 |

Train

- Percentage of keyphrases that are named entities: 63.01% (named entities detected using scispacy - en-core-sci-lg model)
- Percentage of keyphrases that are noun phrases: 82.50% (noun phrases detected using spacy en-core-web-lg after removing determiners)

Test

- Percentage of keyphrases that are named entities: 62.06% (named entities detected using scispacy - en-core-sci-lg model)
- Percentage of keyphrases that are noun phrases: 78.36% (noun phrases detected using spacy after removing determiners)


## Usage

### Full Dataset

```python
from datasets import load_dataset

# get entire dataset
dataset = load_dataset("midas/semeval2010", "raw")

# sample from the train split
print("Sample from train dataset split")
test_sample = dataset["train"][0]
print("Fields in the sample: ", [key for key in test_sample.keys()])
print("Tokenized Document: ", test_sample["document"])
print("Document BIO Tags: ", test_sample["doc_bio_tags"])
print("Extractive/present Keyphrases: ", test_sample["extractive_keyphrases"])
print("Abstractive/absent Keyphrases: ", test_sample["abstractive_keyphrases"])
print("\n-----------\n")

# sample from the test split
print("Sample from test dataset split")
test_sample = dataset["test"][0]
print("Fields in the sample: ", [key for key in test_sample.keys()])
print("Tokenized Document: ", test_sample["document"])
print("Document BIO Tags: ", test_sample["doc_bio_tags"])
print("Extractive/present Keyphrases: ", test_sample["extractive_keyphrases"])
print("Abstractive/absent Keyphrases: ", test_sample["abstractive_keyphrases"])
print("\n-----------\n")
```
**Output**

```bash
Sample from train dataset split
Fields in the sample:  ['id', 'document', 'doc_bio_tags', 'extractive_keyphrases', 'abstractive_keyphrases', 'other_metadata']
Tokenized Document:  ['HITS', 'on', 'the', 'Web:', 'How', 'does', 'it', 'Compare?', 'Marc', 'Najork', 'Microsoft', 'Research', '1065', 'La', 'Avenida', 'Mountain', 'View,', 'CA,', 'USA', 'najork@microsoft.com', 'Hugo', 'Zaragoza', '∗', 'Yahoo!', 'Research', 'Barcelona', 'Ocata', '1', 'Barcelona', '08003,', 'Spain', 'hugoz@es.yahoo-inc.com', 'Michael', 'Taylor', 'Microsoft', 'Research', '7', 'J', 'J', 'Thompson', 'Ave', 'Cambridge', 'CB3', '0FB,', 'UK', 'mitaylor@microsoft.com', 'ABSTRACT', 'This', 'paper', 'describes', 'a', 'large-scale', 'evaluation', 'of', 'the', 'effectiveness', 'of', 'HITS', 'in', 'comparison', 'with', 'other', 'link-based', 'ranking', 'algorithms,', 'when', 'used', 'in', 'combination', 'with', 'a', 'state-ofthe-art', 'text', 'retrieval', 'algorithm', 'exploiting', 'anchor', 'text.', 'We', 'quantified', 'their', 'effectiveness', 'using', 'three', 'common', 'performance', 'measures:', 'the', 'mean', 'reciprocal', 'rank,', 'the', 'mean', 'average', 'precision,', 'and', 'the', 'normalized', 'discounted', 'cumulative', 'gain', 'measurements.', 'The', 'evaluation', 'is', 'based', 'on', 'two', 'large', 'data', 'sets:', 'a', 'breadth-first', 'search', 'crawl', 'of', '463', 'million', 'web', 'pages', 'containing', '17.6', 'billion', 'hyperlinks', 'and', 'referencing', '2.9', 'billion', 'distinct', 'URLs;', 'and', 'a', 'set', 'of', '28,043', 'queries', 'sampled', 'from', 'a', 'query', 'log,', 'each', 'query', 'having', 'on', 'average', '2,383', 'results,', 'about', '17', 'of', 'which', 'were', 'labeled', 'by', 'judges.', 'We', 'found', 'that', 'HITS', 'outperforms', 'PageRank,', 'but', 'is', 'about', 'as', 'effective', 'as', 'web-page', 'in-degree.', 'The', 'same', 'holds', 'true', 'when', 'any', 'of', 'the', 'link-based', 'features', 'are', 'combined', 'with', 'the', 'text', 'retrieval', 'algorithm.', 'Finally,', 'we', 'studied', 'the', 'relationship', 'between', 'query', 'specificity', 'and', 'the', 'effectiveness', 'of', 'selected', 'features,', 'and', 'found', 'that', 'link-based', 'features', 'perform', 'better', 'for', 'general', 'queries,', 'whereas', 'BM25F', 'performs', 'better', 'for', 'specific', 'queries.', 'Categories', 'and', 'Subject', 'Descriptors', 'H.3.3', '[Information', 'Search', 'and', 'Retrieval]:', 'Information', 'Storage', 'and', 'Retrieval-search', 'process,', 'selection', 'process', 'General', 'Terms', 'Algorithms,', 'Measurement,', 'Experimentation', '1.', 'INTRODUCTION', 'Link', 'graph', 'features', 'such', 'as', 'in-degree', 'and', 'PageRank', 'have', 'been', 'shown', 'to', 'significantly', 'improve', 'the', 'performance', 'of', 'text', 'retrieval', 'algorithms', 'on', 'the', 'web.', 'The', 'HITS', 'algorithm', 'is', 'also', 'believed', 'to', 'be', 'of', 'interest', 'for', 'web', 'search;', 'to', 'some', 'degree,', 'one', 'may', 'expect', 'HITS', 'to', 'be', 'more', 'informative', 'that', 'other', 'link-based', 'features', 'because', 'it', 'is', 'query-dependent:', 'it', 'tries', 'to', 'measure', 'the', 'interest', 'of', 'pages', 'with', 'respect', 'to', 'a', 'given', 'query.', 'However,', 'it', 'remains', 'unclear', 'today', 'whether', 'there', 'are', 'practical', 'benefits', 'of', 'HITS', 'over', 'other', 'link', 'graph', 'measures.', 'This', 'is', 'even', 'more', 'true', 'when', 'we', 'consider', 'that', 'modern', 'retrieval', 'algorithms', 'used', 'on', 'the', 'web', 'use', 'a', 'document', 'representation', 'which', 'incorporates', 'the', 'document"s', 'anchor', 'text,', 'i.e.', 'the', 'text', 'of', 'incoming', 'links.', 'This,', 'at', 'least', 'to', 'some', 'degree,', 'takes', 'the', 'link', 'graph', 'into', 'account,', 'in', 'a', 'query-dependent', 'manner.', 'Comparing', 'HITS', 'to', 'PageRank', 'or', 'in-degree', 'empirically', 'is', 'no', 'easy', 'task.', 'There', 'are', 'two', 'main', 'difficulties:', 'scale', 'and', 'relevance.', 'Scale', 'is', 'important', 'because', 'link-based', 'features', 'are', 'known', 'to', 'improve', 'in', 'quality', 'as', 'the', 'document', 'graph', 'grows.', 'If', 'we', 'carry', 'out', 'a', 'small', 'experiment,', 'our', 'conclusions', 'won"t', 'carry', 'over', 'to', 'large', 'graphs', 'such', 'as', 'the', 'web.', 'However,', 'computing', 'HITS', 'efficiently', 'on', 'a', 'graph', 'the', 'size', 'of', 'a', 'realistic', 'web', 'crawl', 'is', 'extraordinarily', 'difficult.', 'Relevance', 'is', 'also', 'crucial', 'because', 'we', 'cannot', 'measure', 'the', 'performance', 'of', 'a', 'feature', 'in', 'the', 'absence', 'of', 'human', 'judgments:', 'what', 'is', 'crucial', 'is', 'ranking', 'at', 'the', 'top', 'of', 'the', 'ten', 'or', 'so', 'documents', 'that', 'a', 'user', 'will', 'peruse.', 'To', 'our', 'knowledge,', 'this', 'paper', 'is', 'the', 'first', 'attempt', 'to', 'evaluate', 'HITS', 'at', 'a', 'large', 'scale', 'and', 'compare', 'it', 'to', 'other', 'link-based', 'features', 'with', 'respect', 'to', 'human', 'evaluated', 'judgment.', 'Our', 'results', 'confirm', 'many', 'of', 'the', 'intuitions', 'we', 'have', 'about', 'link-based', 'features', 'and', 'their', 'relationship', 'to', 'text', 'retrieval', 'methods', 'exploiting', 'anchor', 'text.', 'This', 'is', 'reassuring:', 'in', 'the', 'absence', 'of', 'a', 'theoretical', 'model', 'capable', 'of', 'tying', 'these', 'measures', 'with', 'relevance,', 'the', 'only', 'way', 'to', 'validate', 'our', 'intuitions', 'is', 'to', 'carry', 'out', 'realistic', 'experiments.', 'However,', 'we', 'were', 'quite', 'surprised', 'to', 'find', 'that', 'HITS,', 'a', 'query-dependent', 'feature,', 'is', 'about', 'as', 'effective', 'as', 'web', 'page', 'in-degree,', 'the', 'most', 'simpleminded', 'query-independent', 'link-based', 'feature.', 'This', 'continues', 'to', 'be', 'true', 'when', 'the', 'link-based', 'features', 'are', 'combined', 'with', 'a', 'text', 'retrieval', 'algorithm', 'exploiting', 'anchor', 'text.', 'The', 'remainder', 'of', 'this', 'paper', 'is', 'structured', 'as', 'follows:', 'Section', '2', 'surveys', 'related', 'work.', 'Section', '3', 'describes', 'the', 'data', 'sets', 'we', 'used', 'in', 'our', 'study.', 'Section', '4', 'reviews', 'the', 'performance', 'measures', 'we', 'used.', 'Sections', '5', 'and', '6', 'describe', 'the', 'PageRank', 'and', 'HITS', 'algorithms', 'in', 'more', 'detail,', 'and', 'sketch', 'the', 'computational', 'infrastructure', 'we', 'employed', 'to', 'carry', 'out', 'large', 'scale', 'experiments.', 'Section', '7', 'presents', 'the', 'results', 'of', 'our', 'evaluations,', 'and', 'Section', '8', 'offers', 'concluding', 'remarks.', '2.', 'RELATED', 'WORK', 'The', 'idea', 'of', 'using', 'hyperlink', 'analysis', 'for', 'ranking', 'web', 'search', 'results', 'arose', 'around', '1997,', 'and', 'manifested', 'itself', 'in', 'the', 'HITS', '[16,', '17]', 'and', 'PageRank', '[5,', '21]', 'algorithms.', 'The', 'popularity', 'of', 'these', 'two', 'algorithms', 'and', 'the', 'phenomenal', 'success', 'of', 'the', 'Google', 'search', 'engine,', 'which', 'uses', 'PageRank,', 'have', 'spawned', 'a', 'large', 'amount', 'of', 'subsequent', 'research.', 'There', 'are', 'numerous', 'attempts', 'at', 'improving', 'the', 'effectiveness', 'of', 'HITS', 'and', 'PageRank.', 'Query-dependent', 'link-based', 'ranking', 'algorithms', 'inspired', 'by', 'HITS', 'include', 'SALSA', '[19],', 'Randomized', 'HITS', '[20],', 'and', 'PHITS', '[7],', 'to', 'name', 'a', 'few.', 'Query-independent', 'link-based', 'ranking', 'algorithms', 'inspired', 'by', 'PageRank', 'include', 'TrafficRank', '[22],', 'BlockRank', '[14],', 'and', 'TrustRank', '[11],', 'and', 'many', 'others.', 'Another', 'line', 'of', 'research', 'is', 'concerned', 'with', 'analyzing', 'the', 'mathematical', 'properties', 'of', 'HITS', 'and', 'PageRank.', 'For', 'example,', 'Borodin', 'et', 'al.', '[3]', 'investigated', 'various', 'theoretical', 'properties', 'of', 'PageRank,', 'HITS,', 'SALSA,', 'and', 'PHITS,', 'including', 'their', 'similarity', 'and', 'stability,', 'while', 'Bianchini', 'et', 'al.', '[2]', 'studied', 'the', 'relationship', 'between', 'the', 'structure', 'of', 'the', 'web', 'graph', 'and', 'the', 'distribution', 'of', 'PageRank', 'scores,', 'and', 'Langville', 'and', 'Meyer', 'examined', 'basic', 'properties', 'of', 'PageRank', 'such', 'as', 'existence', 'and', 'uniqueness', 'of', 'an', 'eigenvector', 'and', 'convergence', 'of', 'power', 'iteration', '[18].', 'Given', 'the', 'attention', 'that', 'has', 'been', 'paid', 'to', 'improving', 'the', 'effectiveness', 'of', 'PageRank', 'and', 'HITS,', 'and', 'the', 'thorough', 'studies', 'of', 'the', 'mathematical', 'properties', 'of', 'these', 'algorithms,', 'it', 'is', 'somewhat', 'surprising', 'that', 'very', 'few', 'evaluations', 'of', 'their', 'effectiveness', 'have', 'been', 'published.', 'We', 'are', 'aware', 'of', 'two', 'studies', 'that', 'have', 'attempted', 'to', 'formally', 'evaluate', 'the', 'effectiveness', 'of', 'HITS', 'and', 'of', 'PageRank.', 'Amento', 'et', 'al.', '[1]', 'employed', 'quantitative', 'measures,', 'but', 'based', 'their', 'experiments', 'on', 'the', 'result', 'sets', 'of', 'just', '5', 'queries', 'and', 'the', 'web-graph', 'induced', 'by', 'topical', 'crawls', 'around', 'the', 'result', 'set', 'of', 'each', 'query.', 'A', 'more', 'recent', 'study', 'by', 'Borodin', 'et', 'al.', '[4]', 'is', 'based', 'on', '34', 'queries,', 'result', 'sets', 'of', '200', 'pages', 'per', 'query', 'obtained', 'from', 'Google,', 'and', 'a', 'neighborhood', 'graph', 'derived', 'by', 'retrieving', '50', 'in-links', 'per', 'result', 'from', 'Google.', 'By']
Document BIO Tags:  ['O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'I', 'O', 'B', 'I', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O']
Extractive/present Keyphrases:  ['ranking', 'pagerank', 'mean reciprocal rank', 'mean average precision', 'query specificity', 'link graph', 'scale and relevance', 'hyperlink analysis', 'rank', 'bm25f', 'mrr', 'map', 'ndcg']
Abstractive/absent Keyphrases:  ['normalized discounted cumulative gain measurement', 'breadth-first search crawl', 'feature selection', 'link-based feature', 'quantitative measure', 'crawled web page', 'hit']

-----------

Sample from test dataset split
Fields in the sample:  ['id', 'document', 'doc_bio_tags', 'extractive_keyphrases', 'abstractive_keyphrases', 'other_metadata']
Tokenized Document:  ['Live', 'Data', 'Center', 'Migration', 'across', 'WANs:', 'A', 'Robust', 'Cooperative', 'Context', 'Aware', 'Approach', 'K.K.', 'Ramakrishnan,', 'Prashant', 'Shenoy', ',', 'Jacobus', 'Van', 'der', 'Merwe', 'AT&T', 'Labs-Research', '/', 'University', 'of', 'Massachusetts', 'ABSTRACT', 'A', 'significant', 'concern', 'for', 'Internet-based', 'service', 'providers', 'is', 'the', 'continued', 'operation', 'and', 'availability', 'of', 'services', 'in', 'the', 'face', 'of', 'outages,', 'whether', 'planned', 'or', 'unplanned.', 'In', 'this', 'paper', 'we', 'advocate', 'a', 'cooperative,', 'context-aware', 'approach', 'to', 'data', 'center', 'migration', 'across', 'WANs', 'to', 'deal', 'with', 'outages', 'in', 'a', 'non-disruptive', 'manner.', 'We', 'specifically', 'seek', 'to', 'achieve', 'high', 'availability', 'of', 'data', 'center', 'services', 'in', 'the', 'face', 'of', 'both', 'planned', 'and', 'unanticipated', 'outages', 'of', 'data', 'center', 'facilities.', 'We', 'make', 'use', 'of', 'server', 'virtualization', 'technologies', 'to', 'enable', 'the', 'replication', 'and', 'migration', 'of', 'server', 'functions.', 'We', 'propose', 'new', 'network', 'functions', 'to', 'enable', 'server', 'migration', 'and', 'replication', 'across', 'wide', 'area', 'networks', '(e.g.,', 'the', 'Internet),', 'and', 'finally', 'show', 'the', 'utility', 'of', 'intelligent', 'and', 'dynamic', 'storage', 'replication', 'technology', 'to', 'ensure', 'applications', 'have', 'access', 'to', 'data', 'in', 'the', 'face', 'of', 'outages', 'with', 'very', 'tight', 'recovery', 'point', 'objectives.', 'Categories', 'and', 'Subject', 'Descriptors', 'C.2.4', '[Computer-Communication', 'Networks]:', 'Distributed', 'Systems', 'General', 'Terms', 'Design,', 'Reliability', '1.', 'INTRODUCTION', 'A', 'significant', 'concern', 'for', 'Internet-based', 'service', 'providers', 'is', 'the', 'continued', 'operation', 'and', 'availability', 'of', 'services', 'in', 'the', 'face', 'of', 'outages,', 'whether', 'planned', 'or', 'unplanned.', 'These', 'concerns', 'are', 'exacerbated', 'by', 'the', 'increased', 'use', 'of', 'the', 'Internet', 'for', 'mission', 'critical', 'business', 'and', 'real-time', 'entertainment', 'applications.', 'A', 'relatively', 'minor', 'outage', 'can', 'disrupt', 'and', 'inconvenience', 'a', 'large', 'number', 'of', 'users.', 'Today', 'these', 'services', 'are', 'almost', 'exclusively', 'hosted', 'in', 'data', 'centers.', 'Recent', 'advances', 'in', 'server', 'virtualization', 'technologies', '[8,', '14,', '22]', 'allow', 'for', 'the', 'live', 'migration', 'of', 'services', 'within', 'a', 'local', 'area', 'network', '(LAN)', 'environment.', 'In', 'the', 'LAN', 'environment,', 'these', 'technologies', 'have', 'proven', 'to', 'be', 'a', 'very', 'effective', 'tool', 'to', 'enable', 'data', 'center', 'management', 'in', 'a', 'non-disruptive', 'fashion.', 'Not', 'only', 'can', 'it', 'support', 'planned', 'maintenance', 'events', '[8],', 'but', 'it', 'can', 'also', 'be', 'used', 'in', 'a', 'more', 'dynamic', 'fashion', 'to', 'automatically', 'balance', 'load', 'between', 'the', 'physical', 'servers', 'in', 'a', 'data', 'center', '[22].', 'When', 'using', 'these', 'technologies', 'in', 'a', 'LAN', 'environment,', 'services', 'execute', 'in', 'a', 'virtual', 'server,', 'and', 'the', 'migration', 'services', 'provided', 'by', 'the', 'underlying', 'virtualization', 'framework', 'allows', 'for', 'a', 'virtual', 'server', 'to', 'be', 'migrated', 'from', 'one', 'physical', 'server', 'to', 'another,', 'without', 'any', 'significant', 'downtime', 'for', 'the', 'service', 'or', 'application.', 'In', 'particular,', 'since', 'the', 'virtual', 'server', 'retains', 'the', 'same', 'network', 'address', 'as', 'before,', 'any', 'ongoing', 'network', 'level', 'interactions', 'are', 'not', 'disrupted.', 'Similarly,', 'in', 'a', 'LAN', 'environment,', 'storage', 'requirements', 'are', 'normally', 'met', 'via', 'either', 'network', 'attached', 'storage', '(NAS)', 'or', 'via', 'a', 'storage', 'area', 'network', '(SAN)', 'which', 'is', 'still', 'reachable', 'from', 'the', 'new', 'physical', 'server', 'location', 'to', 'allow', 'for', 'continued', 'storage', 'access.', 'Unfortunately', 'in', 'a', 'wide', 'area', 'environment', '(WAN),', 'live', 'server', 'migration', 'is', 'not', 'as', 'easily', 'achievable', 'for', 'two', 'reasons:', 'First,', 'live', 'migration', 'requires', 'the', 'virtual', 'server', 'to', 'maintain', 'the', 'same', 'network', 'address', 'so', 'that', 'from', 'a', 'network', 'connectivity', 'viewpoint', 'the', 'migrated', 'server', 'is', 'indistinguishable', 'from', 'the', 'original.', 'While', 'this', 'is', 'fairly', 'easily', 'achieved', 'in', 'a', 'shared', 'LAN', 'environment,', 'no', 'current', 'mechanisms', 'are', 'available', 'to', 'efficiently', 'achieve', 'the', 'same', 'feat', 'in', 'a', 'WAN', 'environment.', 'Second,', 'while', 'fairly', 'sophisticated', 'remote', 'replication', 'mechanisms', 'have', 'been', 'developed', 'in', 'the', 'context', 'of', 'disaster', 'recovery', '[20,', '7,', '11],', 'these', 'mechanisms', 'are', 'ill', 'suited', 'to', 'live', 'data', 'center', 'migration,', 'because', 'in', 'general', 'the', 'available', 'technologies', 'are', 'unaware', 'of', 'application/service', 'level', 'semantics.', 'In', 'this', 'paper', 'we', 'outline', 'a', 'design', 'for', 'live', 'service', 'migration', 'across', 'WANs.', 'Our', 'design', 'makes', 'use', 'of', 'existing', 'server', 'virtualization', 'technologies', 'and', 'propose', 'network', 'and', 'storage', 'mechanisms', 'to', 'facilitate', 'migration', 'across', 'a', 'WAN.', 'The', 'essence', 'of', 'our', 'approach', 'is', 'cooperative,', 'context', 'aware', 'migration,', 'where', 'a', 'migration', 'management', 'system', 'orchestrates', 'the', 'data', 'center', 'migration', 'across', 'all', 'three', 'subsystems', 'involved,', 'namely', 'the', 'server', 'platforms,', 'the', 'wide', 'area', 'network', 'and', 'the', 'disk', 'storage', 'system.', 'While', 'conceptually', 'similar', 'in', 'nature', 'to', 'the', 'LAN', 'based', 'work', 'described', 'above,', 'using', 'migration', 'technologies', 'across', 'a', 'wide', 'area', 'network', 'presents', 'unique', 'challenges', 'and', 'has', 'to', 'our', 'knowledge', 'not', 'been', 'achieved.', 'Our', 'main', 'contribution', 'is', 'the', 'design', 'of', 'a', 'framework', 'that', 'will', 'allow', 'the', 'migration', 'across', 'a', 'WAN', 'of', 'all', 'subsystems', 'involved', 'with', 'enabling', 'data', 'center', 'services.', 'We', 'describe', 'new', 'mechanisms', 'as', 'well', 'as', 'extensions', 'to', 'existing', 'technologies', 'to', 'enable', 'this', 'and', 'outline', 'the', 'cooperative,', 'context', 'aware', 'functionality', 'needed', 'across', 'the', 'different', 'subsystems', 'to', 'enable', 'this.', '262', '2.', 'LIVE', 'DATA', 'CENTER', 'MIGRATION', 'ACROSS', 'WANS', 'Three', 'essential', 'subsystems', 'are', 'involved', 'with', 'hosting', 'services', 'in', 'a', 'data', 'center:', 'First,', 'the', 'servers', 'host', 'the', 'application', 'or', 'service', 'logic.', 'Second,', 'services', 'are', 'normally', 'hosted', 'in', 'a', 'data', 'center', 'to', 'provide', 'shared', 'access', 'through', 'a', 'network,', 'either', 'the', 'Internet', 'or', 'virtual', 'private', 'networks', '(VPNs).', 'Finally,', 'most', 'applications', 'require', 'disk', 'storage', 'for', 'storing', 'data', 'and', 'the', 'amount', 'of', 'disk', 'space', 'and', 'the', 'frequency', 'of', 'access', 'varies', 'greatly', 'between', 'different', 'services/applications.', 'Disruptions,', 'failures,', 'or', 'in', 'general,', 'outages', 'of', 'any', 'kind', 'of', 'any', 'of', 'these', 'components', 'will', 'cause', 'service', 'disruption.', 'For', 'this', 'reason,', 'prior', 'work', 'and', 'current', 'practices', 'have', 'addressed', 'the', 'robustness', 'of', 'individual', 'components.', 'For', 'example,', 'data', 'centers', 'typically', 'have', 'multiple', 'network', 'connections', 'and', 'redundant', 'LAN', 'devices', 'to', 'ensure', 'redundancy', 'at', 'the', 'networking', 'level.', 'Similarly,', 'physical', 'servers', 'are', 'being', 'designed', 'with', 'redundant', 'hot-swappable', 'components', '(disks,', 'processor', 'blades,', 'power', 'supplies', 'etc).', 'Finally,', 'redundancy', 'at', 'the', 'storage', 'level', 'can', 'be', 'provided', 'through', 'sophisticated', 'data', 'mirroring', 'technologies.', 'The', 'focus', 'of', 'our', 'work,', 'however,', 'is', 'on', 'the', 'case', 'where', 'such', 'local', 'redundancy', 'mechanisms', 'are', 'not', 'sufficient.', 'Specifically,', 'we', 'are', 'interested', 'in', 'providing', 'service', 'availability', 'when', 'the', 'data', 'center', 'as', 'a', 'whole', 'becomes', 'unavailable,', 'for', 'example', 'because', 'of', 'data', 'center', 'wide', 'maintenance', 'operations,', 'or', 'because', 'of', 'catastrophic', 'events.', 'As', 'such,', 'our', 'basic', 'approach', 'is', 'to', 'migrate', 'services', 'between', 'data', 'centers', 'across', 'the', 'wide', 'are', 'network', '(WAN).', 'By', 'necessity,', 'moving', 'or', 'migrating', 'services', 'from', 'one', 'data', 'center', 'to', 'another', 'needs', 'to', 'consider', 'all', 'three', 'of', 'these', 'components.', 'Historically,', 'such', 'migration', 'has', 'been', 'disruptive', 'in', 'nature,', 'requiring', 'downtime', 'of', 'the', 'actual', 'services', 'involved,', 'or', 'requiring', 'heavy', 'weight', 'replication', 'techniques.', 'In', 'the', 'latter', 'case', 'concurrently', 'running', 'replicas', 'of', 'a', 'service', 'can', 'be', 'made', 'available', 'thus', 'allowing', 'a', 'subset', 'of', 'the', 'service', 'to', 'be', 'migrated', 'or', 'maintained', 'without', 'impacting', 'the', 'service']
Document BIO Tags:  ['O', 'B', 'I', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'I', 'I', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O']
Extractive/present Keyphrases:  ['data center migration', 'wan', 'lan', 'virtual server', 'storage replication', 'synchronous replication', 'asynchronous replication', 'network support', 'storage', 'voip']
Abstractive/absent Keyphrases:  ['internet-based service', 'voice-over-ip', 'database']

-----------
```

### Keyphrase Extraction
```python
from datasets import load_dataset

# get the dataset only for keyphrase extraction
dataset = load_dataset("midas/semeval2010", "extraction")

print("Samples for Keyphrase Extraction")

# sample from the train split
print("Sample from train data split")
test_sample = dataset["train"][0]
print("Fields in the sample: ", [key for key in test_sample.keys()])
print("Tokenized Document: ", test_sample["document"])
print("Document BIO Tags: ", test_sample["doc_bio_tags"])
print("\n-----------\n")

# sample from the test split
print("Sample from test data split")
test_sample = dataset["test"][0]
print("Fields in the sample: ", [key for key in test_sample.keys()])
print("Tokenized Document: ", test_sample["document"])
print("Document BIO Tags: ", test_sample["doc_bio_tags"])
print("\n-----------\n")
```

### Keyphrase Generation
```python
# get the dataset only for keyphrase generation
dataset = load_dataset("midas/semeval2010", "generation")

print("Samples for Keyphrase Generation")

# sample from the train split
print("Sample from train data split")
test_sample = dataset["train"][0]
print("Fields in the sample: ", [key for key in test_sample.keys()])
print("Tokenized Document: ", test_sample["document"])
print("Extractive/present Keyphrases: ", test_sample["extractive_keyphrases"])
print("Abstractive/absent Keyphrases: ", test_sample["abstractive_keyphrases"])
print("\n-----------\n")

# sample from the test split
print("Sample from test data split")
test_sample = dataset["test"][0]
print("Fields in the sample: ", [key for key in test_sample.keys()])
print("Tokenized Document: ", test_sample["document"])
print("Extractive/present Keyphrases: ", test_sample["extractive_keyphrases"])
print("Abstractive/absent Keyphrases: ", test_sample["abstractive_keyphrases"])
print("\n-----------\n")
```

## Citation Information
```
@inproceedings{10.5555/1859664.1859668,
author = {Kim, Su Nam and Medelyan, Olena and Kan, Min-Yen and Baldwin, Timothy},
title = {SemEval-2010 Task 5: Automatic Keyphrase Extraction from Scientific Articles},
year = {2010},
publisher = {Association for Computational Linguistics},
address = {USA},
abstract = {This paper describes Task 5 of the Workshop on Semantic Evaluation 2010 (SemEval-2010). Systems are to automatically assign keyphrases or keywords to given scientific articles. The participating systems were evaluated by matching their extracted keyphrases against manually assigned ones. We present the overall ranking of the submitted systems and discuss our findings to suggest future directions for this task.},
booktitle = {Proceedings of the 5th International Workshop on Semantic Evaluation},
pages = {21–26},
numpages = {6},
location = {Los Angeles, California},
series = {SemEval '10}
}
```

## Contributions
Thanks to [@debanjanbhucs](https://github.com/debanjanbhucs), [@dibyaaaaax](https://github.com/dibyaaaaax) and [@ad6398](https://github.com/ad6398) for adding this dataset
