<commit_before>################################### Cluster ###################################

# cluster name identifies your cluster for auto-discovery
cluster.name: <%= @cluster %>


#################################### Node #####################################

# node name provides a unique identifier for a node within a cluster
node.name: <%= @name %>

# allow node to be master
node.master: <%= @type == 'data' ? false : true %>

# allow node to store data
node.data: <%= @type == 'client' ? false : true %>


############################## HTTP ###########################################

# expose APIs over HTTP
http.enabled: true

# HTTP bind port range
http.port: <%= @http_port %>


#################################### Memory ###################################

# lock process address space in memory (no swapping)
bootstrap.mlockall: true


#################################### Network ##################################

# Network address to bind to
network.host: <%= @address %>


#################################### Transport ################################
transport.tcp.port: <%= @t_port %>


#################################### Discovery ################################

# enable/disable multicast
discovery.zen.ping.multicast.enabled: <%= @multicast %>

# unicast targets
discovery.zen.ping.unicast.hosts: <%= @members[:active] %>


<% if @marvel %>
#################################### Marvel ###################################
<% if @type == 'monitor' %>
marvel.agent.enabled: false
<% elsif @type.match(/(all|client|data|master)/) %>
marvel.agent.exporter.es.hosts: <%= @members[:marvel] %>
<% end -%>
<% end -%>


#################################### User Defined Modules ####################
<% @modules.each do |name, value| -%>
<%= name %>: <%= value %>
<% end -%>

<commit_msg>consider additional member types, utilise attribute feature attributes, update marvel support<commit_after>################################### Cluster ###################################

# cluster name identifies your cluster for auto-discovery
cluster.name: <%= @cluster %>


#################################### Node #####################################

# node name provides a unique identifier for a node within a cluster
node.name: <%= @name %>

# allow node to be master
node.master: <%= @type.match(/(data|marvel|master)/) ? true : false %>

# allow node to store data
node.data: <%= @type.match(/(data|marvel|master)/) ? true : false %>


############################## HTTP ###########################################

# expose APIs over HTTP
http.enabled: <%= @http %>

# HTTP bind port range
http.port: <%= @http_port %>


#################################### Memory ###################################

# lock process address space in memory (no swapping)
bootstrap.mlockall: <%= @mlockall %>


#################################### Network ##################################

# Network address to bind to
network.host: <%= @host %>


#################################### Transport ################################
transport.tcp.port: <%= @transport_port %>


#################################### Discovery ################################

# enable/disable multicast
discovery.zen.ping.multicast.enabled: <%= @multicast %>

# unicast targets
discovery.zen.ping.unicast.hosts: <%= @members[:data] %>


<% if @marvel %>
#################################### Marvel ###################################
<% if @type == 'monitor' %>
marvel.agent.enabled: false
<% elsif @type.match(/(all|client|data|master)/) && ! @members[:marvel].empty? %>
marvel.agent.exporter.es.hosts: <%= @members[:marvel] %>
<% end -%>
<% end -%>


#################################### User Defined Modules ####################
<% @modules.each do |name, value| -%>
<%= name %>: <%= value %>
<% end -%>


{'fraction_non_alphanumeric': 0.43856879768481977, 'fraction_numerical': 0.0, 'mean_word_length': 6.38252427184466, 'pattern_counts': {'":': 0, '<': 43, '<?xml version=': 0, '>': 43, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3855963', 'n_tokens_mistral': 1063, 'n_tokens_neox': 902, 'n_words': 237}