在佛經中，有一個著名的「魚腹兒」的故事，說的是：在印度的一個婆羅門家族裡，有個孩子叫做薄拘羅，在他很小的時候，生母就去世了。他的後母非常刻薄，經常虐待他。有一次，後母趁他的父親不在家，把他扔進了河裡，被一條大魚吞進了腹中。這條大魚被一個漁夫捕撈了上來，拿到市場中去售賣。恰好薄拘羅的父親買下了這條大魚，拿回家中，準備烹煮。正要用刀剖魚的時候，薄拘羅在魚腹中唱言：「願父安祥，勿令傷兒！」他的父親趕緊輕輕割開魚腹，把他救了出來。據說，薄拘羅後來歷盡種種磨難，終於成為了釋迦牟尼的弟子，享年一百六十歲，成為世界「長壽第一」。
這個故事傳到中國以後，被演繹成了另一種版本。故事的情節基本一樣，只不過說成是：唐代高僧玄奘大師從西域取經歸來時，途經蜀地，遇一長者，到其家化齋。長者之子被後母陷害，扔進了河裡，被一條大魚吞食。恰好那天玄奘大師偏要吃魚，長者只好出去買回了一條大魚。在剖魚的時候，從魚腹中救出了自己的孩兒。玄奘大師說：「這正是此兒夙願把持佛律中不殺戒的因果報應，所以雖被魚吞，卻得不死。」長者說：「那怎麼樣才能報答魚恩呢？」玄奘大帥告訴說：「魚為救孩而犧牲，應該用木雕成魚形，懸於佛寺之中，每逢齋飯時敲擊，以此可報大魚之德。」據說，這就是中國佛寺中使用木魚的由來。
在中國佛教中，關於木魚的來源還有一個版本。《增修教苑清規·法器門》中記載，古時有一比丘，違背師訓，毀壇戒法，所以死後不僅轉生為魚，而且在魚背上還長了一棵樹。海水中，波濤滾滾，魚背上樹搖不止，皮肉撕裂，鮮血湧流，這條魚終日痛苦不堪。後來他的師父渡海時，他興風作浪，並對師父說：「以前你不教導我，才使我得到了墮生為魚的報應，所以我今天要報此怨。」帥父問他姓名，魚答後，師傅恍然大悟，知道了此事的因果緣由，勸其懺悔，並為他設水陸追拔法會。後來師傅夢見此魚，稱依仗法會功德，已脫魚身，囑將魚身上的樹術供養僧眾，以親近三寶。師父醒後，果然在海邊看見魚屍上的樹木，隨即將其刻成魚形，懸掛於寺院之中，按時敲擊以警示眾人。
這些傳說都很有警示意義，不過木魚的真實意義，還應依據《百丈清規》中所說的那樣：「相傳雲，魚晝夜常醒，刻木像形擊之，所以警昏惰也。」也就是說，佛教僧眾在誦經時之所以要敲打木魚，原因就是因為一切魚類的眼睛都是終日睜著不閉的，所以出家人取此義以示精進，不敢稍有懈怠而已。
一種是長木魚，雕刻成魚形或龍頭魚身形。這種長木魚往往懸掛於齋堂或庫房廊下，作為集合僧眾之用。因為它與民間樂器「梆子」的形制、發音都極相似，所以稱為「魚梆」。又因為它常常是在齋飯時敲擊，所以也叫做「飯梆」。在佛教寺院中，長木魚大都是頭向山門懸掛的。
另一種是圓木魚，形狀類似於一邊塌陷的饅頭，高的一端挖空成青蛙嘴，矮的一端淺雕成二魚或二龍戲珠狀，尾部盤繞於木魚的腰身之上。圓木魚是在僧眾贊詠誦經時，敲擊拍節，以調和音調和節奏的，同時也可防止大家昏怠，以時時振奮精神。所以，木魚在敲擊時要輕重緩急平穩恒定，富有節奏感，根據需要，由緩入急，逐漸加速。
寺院中的圓木魚大小不等，有各種規格。一般大些的圓木魚都是放在案上或架上敲擊的，小些的圓木魚則是用手執持敲擊的。小圓術魚的敲擊手法是：不敲的時候，雙手捧持，魚椎在外用兩食指和兩拇指夾住，其餘六指托住魚身；敲擊的時候，左手拇指、食指、中指執魚，右手拇指、食指、中指執椎，魚椎頭和魚身頭向上相對，兩手如合掌，稱為「合掌魚子」。
首先，如前所述，木魚主要是用來在僧眾贊誦時整和聲調節奏的，類似于樂隊中的指揮。同時也取魚類目不闔睛，晝夜精進，以激勵僧眾不斷用功的意義。
關於木魚的功用，佛教中還有許多偈語發人深省。如《雪峰義存禪師語錄》中就有「木魚鼓頌」二首，其中有句說：「我暫作魚鼓，懸頭為眾苦。師僧吃茶飯，拈槌打我肚。身雖披鱗甲，心中一物無。鸕鷀橫豁望，我誓不入湖。」又說：「可憐魚鼓子，天生從地養。粥飯不能飧，空肚作聲響。時時驚僧睡，懶者煩惱長。住持鬧喧喧，不如打遊漾。」在這裡，木魚警策僧眾的用途，被古代佛教高僧以幽默趣味的形式表現了出來。