Let's consider LLaMA 13B (\(d=128\)) with a sequence length of 1024 (\(s=1024\)) as an example. The calculated arithmetic intensity is \(1.97\). However, the A100 80G GPU can perform \(312\) TFLOPs and transfer 2 TB of data in one second, _i.e._, its ideal arithmetic intensity is \(156\). This indicates that the bottleneck in attention calculation lies in the process of data transfer (_i.e._, excessive I/O loading).
시퀀스 길이가 1024(\(s=1024\))인 LLaMA 13B (\(d=128\))를 예로 들어 보겠습니다. 계산된 산술 강도는 \(1.97\)입니다. 그러나 A100 80G GPU는 1초에 \(312\) TFLOPs를 수행하고 2TB의 데이터를 전송할 수 있습니다, _i.e._, 이상적인 arithmetic intensity는 \(156\)입니다. 이는 attention 계산의 병목 현상이 데이터 전송 과정(_i.e._, 과도한 I/O 부하)에 있다는 것을 나타냅니다.
시퀀스 길이가 1024(\(s=1024\))인 LLaMA 13B (\(d=128\))를 예로 들어 보겠습니다. 계산된 산술 강도는 \(1.97\)입니다. 그러나 A100 80G GPU는 1초에 \(312\) TFLOPs를 수행하고 2TB의 데이터를 전송할 수 있습니다, 즉, 이상적인 산술 강도는 \(156\)입니다. 이는 주의 계산의 병목 현상이 데이터 전송 과정(즉, 과도한 I/O 부하)에 있다는 것을 나타냅니다.