Mishkat al-Masabih 982
‘A’isha said:
I asked God’s Messenger about looking to the side during prayer and he said, “It is something which the devil snatches from a servant’s prayer.” 

(Bukhari and Muslim.)
وَعَنْ عَائِشَةَ رَضِيَ اللَّهُ عَنْهَا قَالَتْ: سَأَلَتْ رَسُولَ اللَّهِ صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ عَنِ الِالْتِفَاتِ فِي الصَّلَاةِ فَقَالَ: «هُوَ اختلاس يختلسه الشَّيْطَان من صَلَاة العَبْد»