Il palazzo non venne usato per motivi religiosi, ma conteneva solo residenze, uffici, il seminario e la stamperia.
Il cortile interno tinteggiato di giallo, noto come "Deyangshar", separa gli appartamenti del Dalai Lama e dei monaci dal Palazzo Rosso, l'altro lato del sacro Potala, adibito agli usi religiosi di studio e preghiera.
Contiene il sacro stupa dorato , la sala delle assemblee dei monaci, varie cappelle e santuari, e biblioteche che contengono importanti scritture del buddhismo, il Kangyur di 108 volumi ed il Tengyur di 225.
L'edificio giallo situato a lato del Palazzo Bianco ospita le grandi bandiere ricamate con simboli sacri che vengono appese alla facciata meridionale durante il Capodanno.