Update README.md

README.md

@@ -71,3 +71,37 @@ pipeline_tag: text-generation
 ```19世纪和20世纪初的欧洲和美国是第一波女权主义时期，其主要目标是通过法律争取女性权利，特别是选举权。 1848年，“女权主义”一词首次出现在《美国宣言》中。该词由玛莎·李尔 (Martha Lear) 于 1968 年 3 月在《纽约时报》杂志上撰文时创造。
 综上所述，问题的答案是：19世纪和20世纪初。
 以上回答参考了文档-43。```
+
+使用方法：
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers.generation import GenerationConfig
+import os
+os.environ["CUDA_VISIBLE_DEVICES"] = "0"
+
+model_path="yuyijiong/atom-7b-chat-16k"
+tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
+
+# use auto mode, automatically select precision based on the device.
+model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", load_in_8bit=True).eval()
+
+question="中国的首都是什么？"
+input_text = "<s>Human: " + question + "\n</s><s>Assistant: "
+input_ids = tokenizer(input_text, return_tensors='pt').input_ids.to(model.device)
+
+with torch.no_grad():
+    with torch.autocast('cuda'):
+        output = model.generate(input_ids=input_ids,
+                                max_new_tokens=max_new_tokens,
+                                do_sample=True,
+                                temperature=0.85,
+                                top_k=None,
+                                top_p=0.9,
+                                use_cache=True,
+                                **kwargs)
+
+reply = tokenizer.decode(output[0], skip_special_tokens=False)
+reply_return=reply.split('Assistant:')[-1].replace('</s>', '')
+print('模型回答：', reply_return)
+
+```