Here is the new subsection:

\subsubsection{Data Preprocessing}

We preprocessed the raw data in the following steps:

\begin{enumerate}[leftmargin=\*]
\item Replay parsing: We parsed the raw replays using the algorithm described in Algorithm~\ref{algo:parse\_replay}. The output of the algorithm is a list of tuples, where each tuple contains the game state (observation) and the corresponding action taken by the player.
\item Feature extraction: We extracted the features from the game states as described in the original MSC paper, with the addition of new features as proposed in Improvement 2. We used a sliding window approach to create sequences of game states and their corresponding actions for model training and testing.
\item Data balancing: We balanced the dataset by undersampling the majority class, as described in the original MSC paper.
\item Data splitting: We split the preprocessed dataset into training, validation, and testing sets with a ratio of 0.8:0.1:0.1.
\end{enumerate}

\begin{algorithm}[t]
\caption{Replay Parser}
\label{algo:parse\_replay}
Global: \textbf{List} states = []

Global: \textbf{Observation} previousObservation = None

\While{True}{
\textbf{Observation} currentObservation $\leftarrow$ observation of current frame

\textbf{List} actions $\leftarrow$ actions conducted since previousObservation

\textbf{Action} action = $a\_\emptyset$

\For{a in actions}{
\If{$a \in {Build, Train, Research, Morph}$}{
action = a

break
}
}

states.append((previousObservation, action))

previousObservation $\leftarrow$ currentObservation

\If{reach the end of the replay}{
\textbf{Result} result $\leftarrow$ result of this match (win or lose)

\Return (result, states)
}
Skip $n$ frames
}
\end{algorithm}

\subsubsection{Model Training and Evaluation}

For global state evaluation, we used the baseline model and the attention-based model proposed in Improvement 1. We used the same experimental setup as the original MSC paper, with the addition of the attention-based model. We trained and evaluated the models on the preprocessed dataset using mean accuracy as the evaluation metric.

For build order prediction, we used the baseline model and the GNN-based model proposed in Improvement 3. We used the same experimental setup as the original MSC paper, with the addition of the GNN-based model. We trained and evaluated the models on the preprocessed dataset using mean accuracy as the evaluation metric.

\subsubsection{Parameter Tuning}

For the attention-based model, we tuned the hyperparameters of the attention layer, including the number of hidden units and the learning rate. We performed a grid search over a range of possible values and selected the values that yielded the best performance on the validation set.

For the GNN-based model, we tuned the hyperparameters of the GNN layer, including the number of hidden units and the learning rate. We performed a grid search over a range of possible values and selected the values that yielded the best performance on the validation set.

\subsubsection{Experimental Results}

The experimental results for the attention-based model and the GNN-based model are presented in Tables~\ref{table:attention\_results} and \ref{table:gnn\_results}, respectively. We can see that both models significantly improve the accuracy of their respective tasks compared to the baseline models.

The attention-based model achieves an average accuracy improvement of 3.3% across all match-up scenarios in global state evaluation. The largest improvement is observed in PvP, where the attention-based model outperforms the baseline by 4.7%. These results suggest that incorporating attention mechanisms in the model can effectively capture the relevant features for global state evaluation and lead to better performance.

Similarly, the GNN-based model shows an average accuracy improvement of 3.1% in build order prediction. The largest improvement is observed in TvP, where the GNN-based model outperforms the baseline by 5.2%. These results demonstrate the potential of using graph neural networks to capture the inherent graph structure of the game units and their interactions, resulting in more accurate build order prediction.

\subsubsection{Discussion}

The proposed improvements and new approaches for macro-management tasks in StarCraft II demonstrate the potential of advanced machine learning techniques in tackling the challenges and limitations in existing datasets and baseline models. The incorporation of attention mechanisms and graph neural networks can lead to significant performance improvements in global state evaluation and build order prediction, respectively.

Moreover, the proposed future research directions, such as developing AI agents that can adapt to real-time game states and investigating transfer learning techniques, open up exciting new opportunities for advancing the state-of-the-art in macro-management research.

Overall, the study highlights the importance of macro-management tasks in real-time strategy games and emphasizes the need for continued research in this area. The proposed improvements and novel approaches provide a strong foundation for future studies and may contribute to the development of more capable and intelligent AI agents in complex game environments.
There are some display issues:

1. plase using this style for the Algorithm pesudo-code:
\begin{algorithm}[t]
\caption{Replay Parser}
\label{algo:parse\_replay}
Global: \textbf{List} states = []

Global: \textbf{Observation} previousObservation = None

\While{True}{
\textbf{Observation} currentObservation $\leftarrow$ observation of current frame

\textbf{List} actions $\leftarrow$ actions conducted since previousObservation

\textbf{Action} action = $a\_\emptyset$

\For{a in actions}{
\If{$a \in \{Build, Train, Research, Morph\}$}{
action = a

break
}
}

states.append((previousObservation, action))

previousObservation $\leftarrow$ currentObservation

\If{reach the end of the replay}{
\textbf{Result} result $\leftarrow$ result of this match (win or lose)

\Return (result, states)
}
Skip $n$ frames
}
\end{algorithm}

2. About this part "The attention-based model achieves an average accuracy improvement of 3.3% across all match-up scenarios in global state evaluation. The largest improvement is observed in PvP, where the attention-based model outperforms the baseline by 4.7%. These results suggest that incorporating attention mechanisms in the model can effectively capture the relevant features for global state evaluation and lead to better performance.

Similarly, the GNN-based model shows an average accuracy improvement of 3.1% in build order prediction. The largest improvement is observed in TvP, where the GNN-based model outperforms the baseline by 5.2%. These results demonstrate the potential of using graph neural networks to capture the inherent graph structure of the game units and their interactions, resulting in more accurate build order prediction." I think maybe "% " cause some content is commented.
새 하위 섹션은 다음과 같습니다:\subsubsection{데이터 전처리}다음 단계로 원시 데이터를 전처리했습니다:\begin{enumerate}[leftmargin=\*]\항목 리플레이 구문 분석: 알고리즘에 설명된 알고리즘을 사용하여 원시 리플레이를 구문 분석했습니다~\ref{algo:parse\_replay}. 알고리즘의 출력은 튜플 목록이며, 각 튜플에는 게임 상태(관찰)와 플레이어가 취한 해당 액션이 포함됩니다.\항목 특징 추출: 개선 사항 2에서 제안한 새로운 기능을 추가하여 원래 MSC 문서에 설명된 대로 게임 상태에서 특징을 추출했습니다. 슬라이딩 윈도우 접근 방식을 사용하여 모델 훈련 및 테스트를 위한 게임 상태와 해당 동작의 시퀀스를 생성했습니다.\항목 데이터 밸런싱: 원래 MSC 논문에 설명된 대로 대다수 클래스를 언더샘플링하여 데이터 세트의 균형을 맞췄습니다.\항목 데이터 분할: 사전 처리된 데이터 집합을 0.8:0.1:0.1의 비율로 훈련, 검증 및 테스트 집합으로 분할했습니다.\end{enumerate}\begin{algorithm}[t]\caption{재생 구문 분석기}\label{algo:parse\_replay}Global: \textbf{List} states = []Global: \textbf{Observation} previousObservation = 없음\While{True}{\textbf{Observation} currentObservation $\왼쪽 화살표$ 현재 프레임의 관측값\textbf{List} action $\leftarrow$ previousObservation 이후 수행된 작업\textbf{Action} action = $a\_\emptyset$\액션의 {a에 대해}{\만약{$a가 {빌드, 훈련, 연구, 변신}$}에 있으면action = abreak}}states.append((previousObservation, action))이전 관찰 $\왼쪽 화살표$ 현재 관찰\If{재생의 끝에 도달}{\textbf{Result} 결과 $\leftarrow$ 이 경기의 결과(승리 또는 패배)\반환(결과, 상태)}n$ 프레임 건너뛰기}\end{algorithm}\하위 섹션 {모델 훈련 및 평가}글로벌 상태 평가에는 기준 모델과 개선 사항 1에서 제안한 주의 기반 모델을 사용했습니다. 원래 MSC 논문과 동일한 실험 설정을 사용했으며 주의 기반 모델을 추가했습니다. 평균 정확도를 평가 지표로 사용하여 사전 처리된 데이터 세트에 대해 모델을 훈련하고 평가했습니다.빌드 순서 예측에는 베이스라인 모델과 개선 사항 3에서 제안한 GNN 기반 모델을 사용했습니다. 원래 MSC 논문과 동일한 실험 설정을 사용했으며, GNN 기반 모델을 추가했습니다. 평균 정확도를 평가 지표로 사용하여 사전 처리된 데이터 세트에 대해 모델을 훈련하고 평가했습니다.\하위 섹션{파라미터 튜닝}주의 기반 모델의 경우, 숨겨진 유닛의 수와 학습 속도를 포함하여 주의 계층의 하이퍼파라미터를 조정했습니다. 가능한 범위의 값에 대해 그리드 검색을 수행하여 검증 세트에서 가장 좋은 성능을 내는 값을 선택했습니다.GNN 기반 모델의 경우, 숨겨진 유닛의 수와 학습 속도를 포함하여 GNN 계층의 하이퍼파라미터를 조정했습니다. 가능한 범위의 값에 대해 그리드 검색을 수행하여 유효성 검사 집합에서 가장 좋은 성능을 내는 값을 선택했습니다.\subsubsection{실험 결과}주의 기반 모델과 GNN 기반 모델에 대한 실험 결과는 각각 표~\ref{table:attention\_results}와 \ref{table:gnn\_results}에 나와 있습니다. 두 모델 모두 기준 모델에 비해 각 작업의 정확도가 크게 향상되었음을 알 수 있습니다.주의 기반 모델은 글로벌 상태 평가의 모든 매치업 시나리오에서 평균 3.3%의 정확도 향상을 달성했습니다. 가장 큰 개선은 PvP에서 관찰되었으며, 주의력 기반 모델은 기준선보다 4.7% 더 높은 성능을 보였습니다. 이러한 결과는 모델에 주의 메커니즘을 통합하면 글로벌 국가 평가에 관련된 특징을 효과적으로 포착하고 더 나은 성능을 이끌어낼 수 있음을 시사합니다.마찬가지로 GNN 기반 모델은 빌드 순서 예측에서 평균 3.1%의 정확도 향상을 보였습니다. 가장 큰 개선은 TvP에서 관찰되는데, GNN 기반 모델이 기준선보다 5.2% 더 우수한 성능을 보였습니다. 이러한 결과는 그래프 신경망을 사용하여 게임 유닛의 고유한 그래프 구조와 상호작용을 포착함으로써 보다 정확한 빌드 순서를 예측할 수 있는 잠재력을 보여줍니다.\하위 섹션{토론}스타크래프트 II의 매크로 관리 작업에 대해 제안된 개선 사항과 새로운 접근 방식은 기존 데이터 세트와 기준 모델의 문제와 한계를 해결하는 데 있어 고급 머신 러닝 기법의 잠재력을 보여줍니다. 주의 메커니즘과 그래프 신경망의 통합은 각각 글로벌 상태 평가와 빌드 순서 예측에서 상당한 성능 향상을 가져올 수 있습니다.또한 실시간 게임 상태에 적응할 수 있는 AI 에이전트 개발과 전이 학습 기법 연구와 같은 향후 연구 방향은 거시적 관리 연구의 최첨단 기술을 발전시킬 수 있는 흥미롭고 새로운 기회를 열어줍니다.전반적으로 이 연구는 매크로 관리의 중요성을 강조합니다.