'I fear that if I look at him he will think I am watching. If I don't look, he will imagine I am thinking of something else.
Молчать -- тоже нельзя. "Смотреть -- он подумает, что я изучаю его, боюсь; не смотреть -- он подумает, что я о другом думаю.