# Create a list from the sorted set of tokens 
# where the tokens include the reserved tokens,
# tokens with a frequency greater than or equal to the minimum frequency, and <unk>
self.idx_to_token = list(sorted(set(
  # Add <unk> to the set of tokens
  ['<unk>'] + 
  # Add the reserved tokens to the set of tokens
  reserved_tokens + 
  # Map each token and frequency to just the token 
  # where the frequency is greater than or equal to the minimum frequency
  map(
    lambda token, _: token,
    # Filter the token and frequency pairs where the frequency is greater than or equal to the minimum frequency
    filter(
	  lambda _, freq: freq >= min_freq,
	  self.token_freqs
	)
  )
)))
 สร้างรายการจากชุดโทเค็นที่เรียงลำดับ # โดยที่โทเค็นรวมโทเค็นที่สงวนไว้ # โทเค็นที่มีความถี่มากกว่าหรือเท่ากับความถี่ขั้นต่ำ และ self.idx_to_token = list(sorted(set( # Add < unk> to the set of tokens ['<unk>'] + # Add the reserved tokens to the set of tokens reserved_tokens + # Map each token and frequency to just the token # where the frequency is greater than or equal to the minimum frequency map( lambda token, _: token, # กรองโทเค็นและคู่ความถี่โดยที่ความถี่มากกว่าหรือเท่ากับตัวกรองความถี่ขั้นต่ำ ( lambda _, freq: freq >= min_freq, self.token_freqs ) ) )))
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence