多目標學習（Multi-Task Learning）是一個在機器學習領域存在許久的課題，我們總希望能夠訓練出一個精簡優雅的模型，同時預測多個目標，而不是對於每一個目標都設計單獨一套模型。舉個例子來說：想要訓練電腦判斷一張圖片是否有包含人的同時，我們也想要電腦順便給我們更多的資訊，像是人的姿態、四肢的位置、實際的身高跟距離。在現今資訊爆炸以及AI不斷進化的時代，未來這樣的多目標學習只會越來越普及，人類的大腦很厲害一下子就能做到舉一反三，但想要設計並有效訓練機器達成多目標預測並不容易。
來自AYLIEN的研究員Sebastian Ruder寫了一篇關於多目標學習框架的文獻與概念整理（An Overview of Multi-Task Learning in Deep Neural Networks），一次把所有到目前為止相關的文獻做了整理，給了許多發人深省的見解，讀完會對Transfer Learning以及Representation Learning都有更深一層的了解！
作者Sebastian指出從以前的機器學習時代（1998），多目標學習就已經被持續關注中了，統計到目前應用Deep Learning的方法，可以將所有的學習框架分成兩大類：Hard/Soft Parameter Sharing。Hard Parameter Sharing指的是每個目標一開始共用Hidden Features；Soft Parameter Sharing不共用Features，但對於每個目標的Features之間做了一些限制。
文章前段解釋了為什麼Multi-Task Learning是可行且有效的，直覺來想，由於訓練單一個目標會容易產生Overfitting，同時訓練預測多個目標，可以讓Feature Representation朝著更容易Generalize的方向來學習（Inductive Bias）。另外還有其他觀點：Attention focusing、Implicit data augmentation、Eavesdropping等等。
最後一段則提到了另一個重點，即使我們只關心預測單一個目標，也能利用其他Auxiliary Task來輔助模型學習得更好，還可以搭配最近很紅的Adversarial Loss來限制Representation Features，但是如何找到適當的Auxiliary Task又是另一個值得好好研究的問題了。
活動於 2 時, 55 分前 前。
活動於 4 時, 51 分前 前。
活動於 5 時, 5 分前 前。