<commit_before>package main

import (
	"bytes"
	"database/sql"
	"encoding/json"
	"io/ioutil"
	"log"
	"net/http"
	"strings"
)

type Streams struct {
	// {{{
	Stream []struct {
		// Id   int64  `json:"_id"`
		Game    string `json:"game"`
		Viewers int    `json:"viewers"`
		// CreatedAt string `json:"created_at"`
		// Links     struct {
		// Self string `json:"self"`
		// } `json:"_links"`
		// Preview struct {
		// Small    string `json:"small"`
		// Medium   string `json:"medium"`
		// Large    string `json:"large"`
		// Template string `json:"template"`
		// } `json:"preview"`
		Channel struct {
			// Links struct {
			// Self          string `json:"self"`
			// Follows       string `json:"follows"`
			// Commercial    string `json:"commercial"`
			// StreamKey     string `json:"stream_key"`
			// Chat          string `json:"chat"`
			// Features      string `json:"features"`
			// Subscriptions string `json:"subscriptions"`
			// Editors       string `json:"editors"`
			// Videos        string `json:"videos"`
			// Teams         string `json:"teams"`
			// } `json:"_links"`
			// Background                   interface{} `json:"background"`
			// Banner                       interface{} `json:"banner"`
			// BroadcasterLanguage          string      `json:"broadcaster_language"`
			DisplayName string `json:"display_name"`
			// Game        string `json:"game"`
			Logo string `json:"logo"`
			// Mature                       bool        `json:"mature"`
			Status string `json:"status"`
			// Partner                      bool        `json:"partner"`
			Url string `json:"url"`
			// VideoBanner                  string      `json:"video_banner"`
			// Id                           int         `json:"_id"`
			// Name                         string      `json:"name"`
			// CreatedAt                    string      `json:"created_at"`<commit_msg>remove unsed api data<commit_after>package main

import (
	"bytes"
	"database/sql"
	"encoding/json"
	"io/ioutil"
	"log"
	"net/http"
	"strings"
)

type Streams struct {
	// {{{
	Stream []struct {
		// Id   int64  `json:"_id"`
		Game    string `json:"game"`
		Viewers int    `json:"viewers"`
		// CreatedAt string `json:"created_at"`
		// Links     struct {
		// Self string `json:"self"`
		// } `json:"_links"`
		// Preview struct {
		// Small    string `json:"small"`
		// Medium   string `json:"medium"`
		// Large    string `json:"large"`
		// Template string `json:"template"`
		// } `json:"preview"`
		Channel struct {
			// Links struct {
			// Self          string `json:"self"`
			// Follows       string `json:"follows"`
			// Commercial    string `json:"commercial"`
			// StreamKey     string `json:"stream_key"`
			// Chat          string `json:"chat"`
			// Features      string `json:"features"`
			// Subscriptions string `json:"subscriptions"`
			// Editors       string `json:"editors"`
			// Videos        string `json:"videos"`
			// Teams         string `json:"teams"`
			// } `json:"_links"`
			// Background                   interface{} `json:"background"`
			// Banner                       interface{} `json:"banner"`
			// BroadcasterLanguage          string      `json:"broadcaster_language"`
			DisplayName string `json:"display_name"`
			// Game        string `json:"game"`
			Logo string `json:"logo"`
			// Mature                       bool        `json:"mature"`
			// Status string `json:"status"`
			// Partner                      bool        `json:"partner"`
			// Url string `json:"url"`
			// VideoBanner                  string      `json:"video_banner"`
			// Id                           int         `json:"_id"`
			// Name                         string      `json:"name"`
			// CreatedAt                    string      `json:"created_at"`
{'fraction_non_alphanumeric': 0.1553657234383342, 'fraction_numerical': 0.0010678056593699946, 'mean_word_length': 1.8004484304932735, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 2, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3332750', 'n_tokens_mistral': 1244, 'n_tokens_neox': 1075, 'n_words': 252}