szymonxai commited on
Commit
62ddeeb
β€’
1 Parent(s): 638171f

Upload RELEASE with huggingface_hub

Browse files
Files changed (1) hide show
  1. RELEASE +21 -0
RELEASE ADDED
@@ -0,0 +1,21 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ╔══════════════════════════╗
2
+ β•‘ _______ β•‘
3
+ β•‘ /\ |_ _| β•‘
4
+ β•‘ __ __ / \ | | β•‘
5
+ β•‘ \ \/ / / /\ \ | | β•‘
6
+ β•‘ > < / ____ \ _| |_ β•‘
7
+ β•‘ /_/\_\/_/ \_\_____| β•‘
8
+ β•‘ β•‘
9
+ β•‘ Understand the Universe β•‘
10
+ β•šβ•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•
11
+
12
+ ╔═══════════════════╗
13
+ β•‘ xAI Grok-1 (314B) β•‘
14
+ β•šβ•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•
15
+
16
+ ╔═════════════════════════════════════════╗
17
+ β•‘ 314B parameter Mixture of Experts model β•‘
18
+ β•‘ - Base model (not finetuned) β•‘
19
+ β•‘ - 8 experts (2 active) β•‘
20
+ β•‘ - 86B active parameters β•‘
21
+ β•šβ•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•