梁"高僧传・卷一・康僧会传"中说,康僧会的先祖是康居国(汉时西域古国)人.本世居住在印度.他的父亲因为经商的缘故,又移居到交趾(今两广一带).在康僧会十多岁时,他的父母双亡.在守孝期满后,他出家为僧,修习佛法.他对自己要求十分严格,笃至好学,不仅精通佛典,而且"天文图纬,多所综涉".
当时孙权控制的东吴一带,虽然曾初闻佛法,但风化未全.康僧会为了使佛法在东吴之地兴盛,便手持著锡杖来到东吴.在赤乌十年(247年)他到达建邺(今南京),营建茅庵,设立佛像,开始宏法.当时东吴人第一次见到僧人,看到其形貌衣饰奇异,便怀疑他传的法有诈.于是有司向孙权报告:"有位胡人入境,自称是佛教沙门.容貌服饰不同寻常,因此应该对他进行查验.