这是我论文的第九部分

\begin{figure}[t]
\begin{center}
 \includegraphics[width=\linewidth]{images/MAP\_PLOT}
\end{center}
 \caption{\textbf{The trend of mean accuracy with time steps for global state evaluation.} The mean accuracy on test set increases as game progresses.}
 \label{fig:map}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}
\begin{center}
\begin{tabular}{|l|c|c|c|c|c|c|}
\hline
V.S. & TvT & TvP & TvZ & PvP & PvZ & ZvZ \\
\hline
Baseline(\%) & 61.1 & 59.1 & 59.8 & 51.4 & 59.7 & 59.9 \\
\hline
\end{tabular}
\end{center}
\caption{\textbf{Mean accuracy for global state evaluation of all replays.}}
\label{table:map}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}
\begin{center}
\begin{tabular}{|l|c|c|c|c|c|c|}
\hline
V.S. & TvT & TvP & TvZ & PvP & PvZ & ZvZ \\
\hline
Baseline(\%) & 74.1 & 74.8 & 73.5 & 76.3 & 75.1 & 76.1 \\
\hline
\end{tabular}
\end{center}
\caption{\textbf{Mean accuracy for build order prediction of all replays.}}
\label{table:acc}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}
\begin{center}
\begin{tabular}{|l|c|c|c|c|c|c|}
\hline
Tasks & TvT & TvP & TvZ & PvP & PvZ & ZvZ \\
\hline
GSE & 50.9 & 57.0 & 56.1 & 57.8 & 56.9 & 54.7 \\
\hline
BOP & 73.1 & 69.6 & 74.8 & 74.2 & 74.2 & 74.9 \\
\hline
\end{tabular}
\end{center}
\caption{\textbf{Results for global state evaluation (GSE) and build order prediction (BOP) with both global and spatial features.}}
\label{table:accs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[t]
\begin{center}
 \includegraphics[width=\linewidth]{images/BASELINE\_SPATIAL}
\end{center}
 \caption{\textbf{Baseline network architecture for combining global and spatial features.} $S\_t$ is the spatial feature tensor while $G\_t$ is the global feature vector. A and B are convolution layers with channel size 16 and 32. C, D and F are linear units with the number of units 128, 512 and $n\_o$, while E is a GRU with size 128.}
 \label{fig:baseline\_spatial}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Build Order Prediction}
\paragraph{Definition}
When playing StarCraft II, the most import task of macro-management is to decide what to train, build or research in the next step, given the current state from both sides. 
Such a task is named build order prediction in StarCraft community.
Formally, build order prediction is to predict the probability of a certain high-level action in the next step given current state at time step $t$, \ie predicting the value of $P(a\_i|o\_1, o\_2, ..., o\_t)$.
$a\_i$ is one of the actions in the predefined high-level action space $A \cup \{a\_\emptyset\}$.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Baseline Network}
The baseline network for build order prediction is similar to the one shown in Figure~\ref{fig:baseline}, except that the linear unit E produces $n\_a$ outputs followed by a Softmax layer to produce $P(a\_i|o\_1, o\_2, ..., o\_t)$. $n\_a$ is the number of actions in $A \cup \{a\_\emptyset\}$.
\paragraph{Objective Function}
Negative Log Likelihood Loss (NLL) serves as our objective function, which is defined as Equation~\ref{equation:ce},
 \begin{equation}\label{equation:ce}
 J(\Omega\_t, a\_{t+1}) = - log(P(a\_{t+1}|\Omega\_t))
 \end{equation}
where $a\_{t+1}$ is the action conducted in the next step in the replay file.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Experiment Results}
The baseline network is trained on our dataset using global feature vector and evaluated with Top-1 accuracy.
We report the results of all replays in Table~\ref{table:acc}, serving as the baseline results for build order prediction in MSC.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Combine Global and Spatial Features}
We also design a baseline network for combining the global and spatial features, as shown in Figure~\ref{fig:baseline\_spatial}.
The corresponding results for global state evaluation and build order prediction are reported in Table~\ref{table:accs} and serve as the baselines.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Implementation Details}
Our algorithms are implemented using PyTorch\footnote{http://pytorch.org/}.
To train our baseline model, we use ADAM~\cite{kingma2014adam} for optimization and set learning rate to $0.001$.
At the end of every epoch, the learning rate is decreased by a factor of 2.
To avoid gradient vanishing or explosion, the batch size is set to 256, while the size of time steps is set to 20.

不要回复
이 글은 제9부입니다.\begin{figure}[t]\begin{center} \포함그래픽[너비=\선폭]{이미지/MAP\_PLOT}\end{center} \caption{\textbf{전체 상태 평가를 위한 시간 단계에 따른 평균 정확도 추세입니다.} 게임이 진행됨에 따라 테스트 세트의 평균 정확도가 증가합니다.} \label{fig:map}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{table}\begin{center}\begin{표}{|l|c|c|c|c|c|c|c|}\hlineV.S. & TvT & TvP & TvZ & PvP & PvZ & ZvZ \\\hlineBaseline(\%) & 61.1 & 59.1 & 59.8 & 51.4 & 59.7 & 59.9 \\ \\\hline\end{표}\end{center}\caption{\textbf{모든 리플레이의 글로벌 상태 평가에 대한 평균 정확도입니다.}}\label{테이블:맵}\end{테이블}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{table}\begin{center}\begin{테이블}{|l|c|c|c|c|c|c|}\hlineV.S. & TvT & TvP & TvZ & PvP & PvZ & ZvZ \\\hlineBaseline(\%) & 74.1 & 74.8 & 73.5 & 76.3 & 75.1 & 76.1 \\ \\\hline\end{표}\end{center}\caption{\textbf{모든 리플레이의 빌드 순서 예측에 대한 평균 정확도입니다.}}\label{table:acc}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{table}\begin{center}\begin{테이블}{|l|c|c|c|c|c|c|}\hlineTasks & TvT & TvP & TvZ & PvP & PvZ & ZvZ \\\hlinegse & 50.9 & 57.0 & 56.1 & 57.8 & 56.9 & 54.7 \\ \\ \\.\hlinebop & 73.1 & 69.6 & 74.8 & 74.2 & 74.2 & 74.9 \\ \\ \\\hline\end{tabular}\end{center}\caption{\textbf{글로벌 상태 평가(GSE) 및 글로벌 및 공간적 특징을 모두 사용한 빌드 순서 예측(BOP)의 결과}}\label{table:accs}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{figure}[t]\begin{center} \포함그래픽[너비=\선폭]{이미지/BASELINE\_SPATIAL}\end{center} \caption{\textbf{글로벌 및 공간적 특징을 결합하기 위한 기준선 네트워크 아키텍처.} S\_t$는 공간 특징 텐서이고 $G\_t$는 전역 특징 벡터입니다. A와 B는 채널 크기가 16과 32인 컨볼루션 레이어입니다. C, D, F는 단위 수가 128, 512, $n\_o$인 선형 단위이며, E는 크기가 128인 GRU입니다.} \label{fig:baseline\_spatial}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{빌드 순서 예측}\단락{정의}스타크래프트 II를 플레이할 때 매크로 관리에서 가장 중요한 작업은 양쪽의 현재 상태를 고려하여 다음 단계에서 무엇을 훈련, 건설 또는 연구할지 결정하는 것입니다. 이러한 작업을 스타크래프트 커뮤니티에서는 빌드 순서 예측이라고 부릅니다.공식적으로 빌드 순서 예측은 시간 단계 $t$에서 현재 상태가 주어졌을 때 다음 단계에서 어떤 높은 수준의 행동이 일어날 확률을 예측하는 것, 즉 $P(a\_i|o\_1, o\_2, ..., o\_t)$의 값을 예측하는 것을 말합니다.a\_i$ 는 미리 정의된 고수준 액션 공간 $A \cup \{a\_\emptyset\}$ 의 액션 중 하나입니다.%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\단락{기준 네트워크}빌드 순서 예측을 위한 베이스라인 네트워크는 그림에 표시된 것과 유사하지만, 선형 유닛 E가 $n\_a$ 출력을 생성한 다음 Softmax 레이어가 $P(a\_i|o\_1, o\_2, ..., o\_t)$를 생성한다는 점을 제외하면 $n\_a$는 $A \cup \{a\_\emptyset\}$ 내 액션의 수입니다.\단락{목적 함수}음의 로그 가능성 손실(NLL)이 목적 함수로 사용되며, 이는 방정식~\ref{equation:ce}로 정의됩니다, \begin{방정식}\label{방정식:ce} J(\Omega\_t, a\_{t+1}) = - log(P(a\_{t+1}|\Omega\_t)) \end{방정식}여기서 $a\_{t+1}$는 리플레이 파일의 다음 단계에서 수행되는 액션입니다.%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\단락{실험 결과}기준 네트워크는 글로벌 특징 벡터를 사용하여 데이터 세트에 대해 훈련되고 상위 1퍼센트의 정확도로 평가됩니다.모든 리플레이 결과는 Table~\ref{table:acc}에 보고되며, MSC에서 빌드 순서 예측의 기준이 되는 결과입니다.%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\하위 섹션{글로벌 및 공간적 특징 결합}또한 그림과 같이 글로벌 특징과 공간 특징을 결합하기 위한 기준 네트워크를 설계합니다~\ref{fig:baseline\_spatial}.글로벌 상태 평가 및 빌드 순서 예측에 대한 해당 결과는 표~\ref{table:accs}에 보고되어 있으며 기준선 역할을 합니다.%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{구현 세부 사항}알고리즘은 PyTorch\footnote{http://pytorch.org/}를 사용하여 구현됩니다.베이스라인 모델을 훈련하기 위해 최적화를 위해 ADAM~\cite{kingma2014adam}을 사용하고 학습률을 $0.001$로 설정합니다.모든 에포크가 끝날 때마다 학습 속도가 2씩 감소합니다.기울기 소실 또는 폭발을 방지하기 위해 배치 크기는 256으로 설정하고 시간 단계의 크기는 20으로 설정합니다.회신 필요 없음