<commit_before>import os
import sys
sys.path.append(os.path.dirname(os.path.realpath(__file__)) + '/../')

import argparse
from tests.common import run_benchmark


_REALIZABLE = [
    "parameterized/full_arbiter.ltl --cutoff 2 --size 3 --opt strength",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --opt strength",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 3 --opt strength",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 3 --opt strength",

    #
    "parameterized/full_arbiter.ltl --cutoff 2 --size 3 --opt async_hub",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --opt async_hub",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 3 --opt async_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 3 --opt async_hub",

    #
    "parameterized/full_arbiter.ltl --cutoff 2 --size 3 --opt sync_hub",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --opt sync_hub",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 3 --opt sync_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 3 --opt sync_hub",

    # some subset to test --incr
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 3 --opt strength --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 3 --opt async_hub --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 3 --opt sync_hub --incr",

    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 3 --opt strength --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 3 --opt async_hub --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 3 --opt sync_hub --incr",

    # some subset to test --cincr --incr
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt strength --cincr --incr",
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt async_hub --cincr --incr",
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt sync_hub --cincr --incr",

    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt strength --cincr --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt async_hub --cincr --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt sync_hub --cincr --incr",
]

_UNREALIZABLE = [
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt strength",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 2 --opt strength",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt strength",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt strength",

    #
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt async_hub",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 2 --opt async_hub",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt async_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt async_hub",

    #
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt sync_hub",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 2 --opt sync_hub",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt sync_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt sync_hub",

    # some subset to test --incr
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 2 --opt strength --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 2 --opt async_hub --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 2 --opt sync_hub --incr",

    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 2 --opt strength --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 2 --opt async_hub --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 2 --opt sync_hub --incr",
]


_REALIZABLE_SUBSET = [
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --opt strength",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 3 --opt strength",

    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --opt async_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 3 --opt sync_hub",

    # some subset to test --incr
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 3 --opt strength --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 3 --opt async_hub --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 3 --opt sync_hub --incr",

    # some subset to test --cincr --incr
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt strength --cincr --incr",
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt async_hub --cincr --incr",
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt sync_hub --cincr --incr",

    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt strength --cincr --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt async_hub --cincr --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt sync_hub --cincr --incr",
]


_UNREALIZABLE_SUBSET = [
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt strength",
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt async_hub",
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt sync_hub",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt strength",
    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt async_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt sync_hub",

    # some subset to test --incr
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 2 --opt strength --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 2 --opt async_hub --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 2 --opt sync_hub --incr",
]


if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='Parametrized Synthesis Tool for token rings architecture')
    parser.add_argument('--nonstop', action='store_true', required=False, default=False,
                        help="don't stop on error")
    parser.add_argument('--extensive', action='store_true', required=False, default=False,
                        help="extensive testing (consider more sizes and more cutoffs)")

    args = parser.parse_args(sys.argv[1:])
    print(args)

    realizable = _REALIZABLE_SUBSET
    unrealizable = _UNREALIZABLE_SUBSET

    if args.extensive:
        realizable = _REALIZABLE
        unrealizable = _UNREALIZABLE

    all_passed = True
    for benchmark in realizable + unrealizable:
        result = run_benchmark('src/p_bosy.py', benchmark, benchmark in realizable)
        all_passed &= result

        if not args.nonstop and result is False:
            exit(1)

    print('-'*80)
    print(['SOME TESTS FAILED', 'ALL TESTS PASSED'][all_passed])<commit_msg>better tests set for parameterized case<commit_after>import os
import sys
sys.path.append(os.path.dirname(os.path.realpath(__file__)) + '/../')

import argparse
from tests.common import run_benchmark


_REALIZABLE = [
    "parameterized/full_arbiter.ltl --cutoff 2 --size 3 --opt strength",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --opt strength",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 3 --opt strength",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 3 --opt strength",

    #
    "parameterized/full_arbiter.ltl --cutoff 2 --size 3 --opt async_hub",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --opt async_hub",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 3 --opt async_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 3 --opt async_hub",

    #
    "parameterized/full_arbiter.ltl --cutoff 2 --size 3 --opt sync_hub",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --opt sync_hub",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 3 --opt sync_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 3 --opt sync_hub",

    # some subset to test --incr
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 3 --opt strength --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 3 --opt async_hub --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 3 --opt sync_hub --incr",

    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 3 --opt strength --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 3 --opt async_hub --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 3 --opt sync_hub --incr",

    # some subset to test --cincr --incr
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt strength --cincr --incr",
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt async_hub --cincr --incr",
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt sync_hub --cincr --incr",

    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt strength --cincr --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt async_hub --cincr --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt sync_hub --cincr --incr",
]

_UNREALIZABLE = [
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt strength",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 2 --opt strength",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt strength",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt strength",

    #
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt async_hub",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 2 --opt async_hub",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt async_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt async_hub",

    #
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt sync_hub",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 2 --opt sync_hub",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt sync_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt sync_hub",

    # some subset to test --incr
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 2 --opt strength --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 2 --opt async_hub --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 2 --opt sync_hub --incr",

    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --moore --opt strength --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --moore --opt async_hub --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --moore --opt sync_hub --incr",

    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt strength --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt async_hub --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt sync_hub --incr",
]


_REALIZABLE_SUBSET = [
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --opt strength",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 3 --opt strength",

    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --opt async_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 3 --opt sync_hub",

    # some subset to test --incr
    "parameterized/full_arbiter.ltl --cutoff 3 --bound 3 --opt strength --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 3 --opt async_hub --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --bound 3 --opt sync_hub --incr",

    # some subset to test --cincr --incr
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt strength --cincr --incr",
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt async_hub --cincr --incr",
    "parameterized/full_arbiter.ltl --cutoff 4 --bound 3 --opt sync_hub --cincr --incr",

    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt strength --cincr --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt async_hub --cincr --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 4 --bound 3 --opt sync_hub --cincr --incr",
]


_UNREALIZABLE_SUBSET = [
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt strength",
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt async_hub",
    "parameterized/full_arbiter.ltl --cutoff 2 --size 2 --opt sync_hub",

    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt strength",
    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt async_hub",
    "parameterized/pnueli_arbiter.ltl --cutoff 2 --size 2 --opt sync_hub",

    # some subset to test --incr
    "parameterized/full_arbiter.ltl --cutoff 3 --size 2 --opt strength --incr",
    "parameterized/full_arbiter.ltl --cutoff 3 --size 3 --moore --opt strength --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt async_hub --incr",
    "parameterized/pnueli_arbiter.ltl --cutoff 3 --size 2 --opt sync_hub --incr",
]


if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='Parametrized Synthesis Tool for token rings architecture')
    parser.add_argument('--nonstop', action='store_true', required=False, default=False,
                        help="don't stop on error")
    parser.add_argument('--extensive', action='store_true', required=False, default=False,
                        help="extensive testing (consider more sizes and more cutoffs)")

    args = parser.parse_args(sys.argv[1:])
    print(args)

    realizable = _REALIZABLE_SUBSET
    unrealizable = _UNREALIZABLE_SUBSET

    if args.extensive:
        realizable = _REALIZABLE
        unrealizable = _UNREALIZABLE

    all_passed = True
    for benchmark in realizable + unrealizable:
        result = run_benchmark('src/p_bosy.py', benchmark, benchmark in realizable)
        all_passed &= result

        if not args.nonstop and result is False:
            exit(1)

    print('-'*80)
    print(['SOME TESTS FAILED', 'ALL TESTS PASSED'][all_passed])
{'fraction_non_alphanumeric': 0.14371345029239765, 'fraction_numerical': 0.019883040935672516, 'mean_word_length': 2.7636863823933977, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3494877', 'n_tokens_mistral': 5103, 'n_tokens_neox': 4750, 'n_words': 1262}