<commit_before>package content

import "github.com/jinzhu/gorm"

func createTables(db *gorm.DB, values ...interface{}) error {
	for _, value := range values {
		if !db.HasTable(value) {
			err := db.CreateTable(value).Error
			if err != nil {
				db.Close()
				return err
			}
		}
	}
	return nil
}

// GetDB - create/open content.db
func GetDB() (*gorm.DB, error) {
	db, err := gorm.Open("sqlite3", "content.db")
	if err != nil {
		return nil, err
	}

	err = db.DB().Ping()
	if err != nil {
		db.Close()
		return nil, err
	}

	db.SingularTable(true)
	db.SetLogger(defaultLogger)
	db.LogMode(false)

	err = createTables(&db, Host{}, Content{}, Meta{}, URL{})
	if err != nil {
		db.Close()
		return nil, err
	}

	return &db, nil
}<commit_msg>очередное изменение структуры БД<commit_after>package content

import "github.com/jinzhu/gorm"

func createTables(db *gorm.DB, values ...interface{}) error {
	for _, value := range values {
		if !db.HasTable(value) {
			err := db.CreateTable(value).Error
			if err != nil {
				db.Close()
				return err
			}
		}
	}
	return nil
}

// GetDB - create/open content.db
func GetDB() (*gorm.DB, error) {
	db, err := gorm.Open("sqlite3", "content.db")
	if err != nil {
		return nil, err
	}

	err = db.DB().Ping()
	if err != nil {
		db.Close()
		return nil, err
	}

	db.SingularTable(true)
	db.SetLogger(defaultLogger)
	db.LogMode(true)

	err = createTables(&db, Host{}, Content{}, Meta{}, URL{})
	if err != nil {
		db.Close()
		return nil, err
	}

	return &db, nil
}
{'fraction_non_alphanumeric': 0.16666666666666666, 'fraction_numerical': 0.0013333333333333333, 'mean_word_length': 3.1694444444444443, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '4779256', 'n_tokens_mistral': 620, 'n_tokens_neox': 576, 'n_words': 145}