The poles might have been visible if there was a slight gap between the curtain and the wall of the temple or when the high priest had to enter the Most Holy.
אפשר שהיה מרווח דק בין הפרוכת לבין כותלי המקדש או ייתכן שמרווח זה נוצר בשעה שהכהן הגדול נכנס לקודש הקודשים.