Mishkat al-Masabih 3981
Abu Rafi' said:
Quraish sent me to God’s Messenger and when I saw him Islam was cast into my heart, so I said, "Messenger of God, I swear by God that I shall never return to them.” He replied, "I do not break a covenant or imprison messengers; but return, and if you feel the same as you do just now, come back.” So I went away and then came to the Prophet and accepted Islam. 

Abu Dawud transmitted it.
وَعَن أبي رافعٍ قَالَ: بعثَني قُرَيْشٌ إِلَى رَسُولِ اللَّهِ صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ فَلَمَّا رَأَيْتُ رَسُولَ اللَّهِ صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ أُلْقِيَ فِي قَلْبِيَ الْإِسْلَامُ فَقُلْتُ: يَا رَسُولَ اللَّهِ إِنِّي وَاللَّهِ لَا أَرْجِعُ إِلَيْهِمْ أَبَدًا قَالَ: «إِنِّي لَا أَخِيسُ بِالْعَهْدِ وَلَا أَحْبِسُ الْبُرُدَ وَلَكِنِ ارْجِعْ فَإِنْ كَانَ فِي نَفْسِكَ الَّذِي فِي نَفْسِكَ الْآنَ فَارْجِعْ» . قَالَ: فَذَهَبْتُ ثُمَّ أَتَيْتُ النَّبِيَّ صَلَّى اللَّهُ عَلَيْهِ وَسلم فَأسْلمت. رَوَاهُ أَبُو دَاوُد