<commit_before>package orc

import (
	"io"
	"testing"
)

func TestReader(t *testing.T) {

	r, err := Open("./examples/billing2.orc")
	if err != nil {
		t.Fatal(err)
	}
	defer r.Close()
	c := r.Select("_col15")
	row := 0
	for c.Stripes() {
		for c.Next() {
			c.Row()
			row++
		}
	}
	t.Log(row)

	if err := c.Err(); err != nil && err != io.EOF {
		t.Fatal(err)
	}

}

// func TestReader2(t *testing.T) {

// 	r, err := Open("./examples/performanceanalyticshistorical.orc")
// 	if err != nil {
// 		t.Fatal(err)
// 	}
// 	defer r.Close()

// 	t.Log(r.schema.String())

// 	c := r.Select("_col42")

// 	rows := 0

// 	tacticImps := make(map[interface{}]int64)
// 	for c.Stripes() {

// 		for c.Next() {

// 			t.Log(rows, c.Row())
// 			// row := c.Row()
// 			// imps := row[1].(int64)
// 			// if v, ok := tacticImps[row[0]]; ok {
// 			// 	tacticImps[row[0]] = v + imps
// 			// } else {
// 			// 	tacticImps[row[0]] = imps
// 			// }
// 			rows++

// 		}

// 	}

// 	for k, v := range tacticImps {
// 		t.Log(k, v)
// 	}
// 	t.Log("records:", rows)

// 	if err := c.Err(); err != nil && err != io.EOF {
// 		t.Fatal(err)
// 	}

// }

// func TestReader3(t *testing.T) {

// 	r, err := Open("./examples/impressions.orc")
// 	if err != nil {
// 		t.Fatal(err)
// 	}
// 	defer r.Close()

// 	t.Log(r.schema.String())

// 	c := r.Select("uuid")

// 	for c.Stripes() {

// 		for c.Next() {

// 			t.Log(c.Row())

// 		}

// 	}

// 	if err := c.Err(); err != nil && err != io.EOF {
// 		t.Fatal(err)
// 	}

// }
<commit_msg>update reader test to use demo file<commit_after>package orc

import (
	"io"
	"testing"
)

func TestReader(t *testing.T) {

	r, err := Open("./examples/orc-file-11-format.orc")
	if err != nil {
		t.Fatal(err)
	}
	defer r.Close()
	c := r.Select("boolean1")
	row := 0
	for c.Stripes() {
		for c.Next() {
			c.Row()
			row++
		}
	}
	t.Log(row)

	if err := c.Err(); err != nil && err != io.EOF {
		t.Fatal(err)
	}

}

// func TestReader2(t *testing.T) {

// 	r, err := Open("./examples/performanceanalyticshistorical.orc")
// 	if err != nil {
// 		t.Fatal(err)
// 	}
// 	defer r.Close()

// 	t.Log(r.schema.String())

// 	c := r.Select("_col42")

// 	rows := 0

// 	tacticImps := make(map[interface{}]int64)
// 	for c.Stripes() {

// 		for c.Next() {

// 			t.Log(rows, c.Row())
// 			// row := c.Row()
// 			// imps := row[1].(int64)
// 			// if v, ok := tacticImps[row[0]]; ok {
// 			// 	tacticImps[row[0]] = v + imps
// 			// } else {
// 			// 	tacticImps[row[0]] = imps
// 			// }
// 			rows++

// 		}

// 	}

// 	for k, v := range tacticImps {
// 		t.Log(k, v)
// 	}
// 	t.Log("records:", rows)

// 	if err := c.Err(); err != nil && err != io.EOF {
// 		t.Fatal(err)
// 	}

// }

// func TestReader3(t *testing.T) {

// 	r, err := Open("./examples/impressions.orc")
// 	if err != nil {
// 		t.Fatal(err)
// 	}
// 	defer r.Close()

// 	t.Log(r.schema.String())

// 	c := r.Select("uuid")

// 	for c.Stripes() {

// 		for c.Next() {

// 			t.Log(c.Row())

// 		}

// 	}

// 	if err := c.Err(); err != nil && err != io.EOF {
// 		t.Fatal(err)
// 	}

// }

{'fraction_non_alphanumeric': 0.2644762524398178, 'fraction_numerical': 0.011060507482108002, 'mean_word_length': 1.8107861060329067, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1147349', 'n_tokens_mistral': 1601, 'n_tokens_neox': 1491, 'n_words': 250}