---
language: 
  - bo
tags:
- tibetan
- pretrained causal language model
- roberta
widget:
- text: "རིན་"
- text: "རྫོགས་པའི་"
- text: "ཆོས་ཀྱི་"
- text: "གངས་རིའི་"
- text: "བོད་ཀྱི་སྨན་"
license: "mit"
---

# A demo for generating text using `Tibetan Roberta Causal Language Model`

```
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name = 'sangjeedondrub/tibetan-roberta-causal-base'
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

text_gen_pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer
)

init_text = 'རིན་'

outputs = text_gen_pipe(init_text,
              do_sample=True,
              max_new_tokens=200,
              temperature=.9,
              top_k=10,
              top_p=0.92,
              num_return_sequences=10,
              truncate=True)
for idx, output in enumerate(outputs, start=1):
  print(idx)
  print(output['generated_text'])
```

# Output

```
1

རིན་ཆེན་མཚོས་བསྒྱུར།" མི་འགྱུར་རིན་ཆེན་མཚོས་བསྒྱུར་བའི 《 བོད་ཡིག་རིག་མཛོད་ཆེན་མོ 》 ལས། “ ལོ་རྒྱུས་ནི་ཤིན་ཏུ་རྒྱ་ཆེ་བའི་རིན་ཆེན་མཚོན་བྱེད་ཡིན། འདི་ནི་མི་འགྱུར་རིན་ཆེན་མཚོས་ར་གླིང་ཡིན་ད་ད་གྱི་མཚན་པར་གྱི་བོདེ་བོདེན་མ་དེ་ཡིནི་ལས་ར་ལས། ཁོད་ད་དུ་མིན་དེ། དུངས་ད་ལས། ” ཞེདེ། “ མ

2

རིན་ཐང་གཞལ་དུ་མེད་པའི་སེམས་ཀྱི་གཏིང་མཐའ་རུ། ལུས་པོའི་བདེ་ཐང་དང་འབྲེལ་བའི་སེམས་ཀྱི་བདེ་ཐང་ནི་ཁྱོད་དང་འབྲེལ་བ་དམ་པོ་ཡོད། གལ་ཏེ་སེམས་ཀྱི་བདེ་ཐང་ལ་གནོད་པ་མེད་ན་ཁྱོད་ཀྱིས་འཚོ་བ་དང་འབྲེལེགས་དེ་འབྲེལ་པ་ཁྱོརྒྱུ་མཚན་ཉེན་བ་མི་གླེང་དོང་འབྲེལོངས་པ་ལོསོངས་འབྲེལོསོང་འབྲེལ། འབྲེལ་མོགོགོང་པོ་ས། ཁྱོ

3

རིན་ཆེན་ནི་བོད་ལྗོངས་ལྷ་ས་གྲོང་ཁྱེར་ཆུ་ཤུར་རྫོང་ཆུ་ཤུར་གྲོང་ཚོའི་ཡིག་ཚགས་དང་གཱ་བཟོས་པའི་དུད་ཚང་དབུལ་པོ་ཡིན་པ་དང་གྲོང་མི་ཚོས་ལོ་ལྟར་ཁྱིམ་དུ་མི་ཁྲིད་པ་མ་ཟད། གླ་པ་ཁྱིམིགླ་གླ་བྱར་ཁོའོའོའི་གླ་ཕོར་ཡོའོའང་ས་ཡོས་ཡོའོས་ས་ས་ཡོས་ཡོས་ཁུར་ས་འོས་ཁྱིས་མིགེར་

4

རིན་ཆེན་ནོར་བུ་རིན་ཆེན་གྱི་གསུང་འབུམ་པར་སྐྲུན་དང་འབྲེལ་ཏེ་རྔ་བའི་པར་ཁང་ཆེན་མོ་བཞི་དང་རྔ་བའི་པར་ཁང་ཆེན་མོ་གཅིག། རྔ་བའི་པར་ཁང་ཆེན་མོ་དྲུག་བཅས་ཀྱི་པར་ཤིང་ལྡེབ་རེ་རེ་བཞིན་པར་ཁང་གྲངས་རྒྱལྔ་སྔརྒྱལྔ་བའི་ཕྱགྱགྱི་དཔར་དུ་བསྒྲིགྱང་དང་བཞི་དཔར་བཞེངས་གྲུབ་སྒྲིག་བཞི་ཕུང་ཕྱགྲགས་སྒྲིགུ་ཕེངས་སྒྲིག་སྒྲིགི་

5

རིན་པོ་ཆེ། དེས་ན་ང་ལ་ང་སྐྱེས་དུས་ཀྱང་ང་སྐྱེས་ཡོད་ཅེས་བཤད་འདོད། དེ་ལྟར་བྱས་ཚེ་ང་སྐྱེས་ཚེ་ལོངས་སྤྱོད་ཀྱི་རྒྱུར་འགྱུར་རྒྱུ་ནི་ང་རང་སྐྱེས་དུས་ཀྱི་ཉི་མ་དེ་ཡིན་ནམ། ངས་བསམས་ན། ངས་ན། ང་ན་ཀྱང་དོསྐྱིདེ་འདོངས་ནི་ང་དེ་ནི་རང་དེ་སྣང་འདི་ལོམི་སྐྱིད་སྐྱིདེ་བས་དང་སྐྱིདོམས་སྐྱིད་དང་ས་སྐྱིད་ཁོངས་

6

རིན་ཆེན་ནོར་བུའི་གསེང་དུ་བསྐྱིལ་བའི་བུ་མོ་ཞིག་ཡིན་པའི་ཆ་ནས། ད་ལོའི་ཟླ་བཅུ་བར་ཨ་མ་ཁོས་སྡེ་བའི་ཏང་ཡོན་རྒན་པ་ཞིག་ལ་ཁྱིམ་ཚང་རེར་སྒོར་སྟོང་གཅིག་ལྷག་རོགས་སྐྱོར་བྱས་ཏེ། “ ང་པ་ང་མེད། ང་ང་ང་ཚང་ང་ཚང་ལ་ཚང་ཚང་ང་ག ” གྲོང་དང་། རྫོང་ར། ” གྲོང་ས་ལ། གྲོང་བཅས་བ། “ དོལོས་བ་སོས་དང

7

རིན་ཆེན་ནོར་བུ་ཡི་བྱ་བ་སྒྲུབ་མཁན་ཚོས་རྒྱུན་དུ་མཐོང་ཐུབ་པ་ནི་སྙན་ངག་པ་རྣམས་ཀྱི་མིག་ལ་ལྟ་ཞིང་སྙན་ངག་པས་བྲིས་པའི་ཚིག་རྐང་རེ་རེར་བརྗོད་དོན་ནི་སྙན་ངག་ལ་སྤྱིར་བཏང་གི་ཚིག་རིག་ད་མོརྣམོརྩེ་བ་གྱི་ཚིགྱི་ས་ཤིང་ས་སྣ་ལྟ་ཞིགྱི་ས་དང་ད་ད་དང་། སྙན་ལ་རྩེ་ན་རྩེརྩེ་སྣ་སྙན་མ་རྩེ་

8

རིན་ཆེན་སྒྲོལ་མ། བོད་རིགས། བོད་རིགས། མཚོ་སྔོན་མི་རིགས་སློབ་ཆེན་བོད་རིག་པའི་སློབ་གླིང་གི 2012 ལོའི་ཞིབ་འཇུག་སློབ་མ། རྨ་ལྷོ་ཁུལ་མི་རིགས་དགེ་ཐོན་སློབ་གྲྭ་ཡི་སྤྱི་ལོ 2008 ལོའི་ཞིར་དངོའི་ཞིང་སྒོར་སྒོར་སྒོར་སྒོར་ས་སྟོདུག་དང་སྟོནུག་ཕྱི་ས་ག་ཕྱི་ས་སྟོད་ར་ག་ཕྱི་དུལི་ཞིས་ས་འབུལ་

9

རིན་ཆེན་རིན་ཆེན་རྒྱལ་དང་ལྷ་རྒྱལ་སོགས་ཀྱི་རིགས་རྒྱུད་སྣ་ཚོགས་པའི་རིག་རྫས་རིན་ཐང་བྲལ་བ་ཞིག་ཡིན་པར་མ་ཟད། རྒྱལ་ཁབ་རིམ་པའི་གཟུགས་འདས་ཤུལ་བཞག་རིག་གནས་རྒྱུད་འཛིན་པ་རྣམས་པར་ལ་པ་ཞིན་གསར་པ་ག་པའི་མ་གས་གསར་རུ་ཐོནུས་པ་བ་ར་ཞིགྱུང་ཞེའི་ར་ས་ཐུལ། ཀྲུང་པ་ས་ར་ས་ག་ག་ར་ག་

10

རིན་ཐང་ལྟ་བའི་སློབ་ཁྲིད་བྱེད་ཐབས་ལ་སློབ་ཁྲིད་ཀྱི་གོ་རིམ་ཁྲོད་དུ་རིག་གཞུང་གི་ཤེས་བྱ་དང་སློབ་ཁྲིད་ཀྱི་ནུས་པ་ལྡན་པ་མ་ཟད། ད་དུང་རིག་གནས་ཀྱི་ཁྱད་པར་ཡང་ལྡན། དེང་སྐབས་དགེ་ཚང་དགེ་ཚང་ཚང་དགེ་རྫོང་ཆེ་རིན་པ་ཆེརྫོང་དགེ་ཆུའི་ཡིན་ག་ས་པོ་དགོན་ཆོན་ཆོང་སེར་ས་སློབ་ཡུའི་དགོག་ས་

```

# About

This model is trained and released by Sangjee Dondrub [sangjeedondrub at live dot com], the mere purpose of conducting these experiments is to improve my familiarity with Transformers APIs.