魚梆是打擊樂器的一種，中國人在古代就懂得利用木頭的質性，以濡木撞鐘擊磬，而與魚產生關聯，恐怕比運用到佛教法器上還早。
傳說古時海中有鯨魚和一種名為蒲牢的海獸，蒲牢素來怕鯨魚，鯨擊蒲牢，則蒲牢大叫，後來的人就在鐘磬上雕蒲牢之形，並將撞木雕成鯨魚的形狀，以求聲音洪亮。東漢‧班固〈東都賦〉有「於是發鯨魚，鏗華鐘」句，證明傳說的事實源由。
另外《晉書‧張華傳》記載，吳郡臨平岸崩，出一石鼓，槌之無聲，張華取四川桐材雕成魚形擊鼓，石鼓果然大鳴，聲聞數裡。所以宋‧道誠撰《釋氏要覽》更引述道：「鐘磬、石板、木板、木魚、砧槌、有聲能集眾者，皆名犍椎，今寺院木魚者，蓋古人不可以木樸擊之，故創魚象也，又必取張華相（桐）魚之名，或取鯨魚一擊?勞（蒲牢）為之大鳴也。」
這裡所說的，都只是指撞木本身做成魚形，但跟魚梆合起來想，並無不同。
由於魚梆的作用，跟鐘磬一樣，都用來做為號召的信號，所以不只寺院才使用，以前衙門就設有這樣的梆，《水滸傳》第一回即有：「梆子響時，誰敢不來？」只是「三才圖會」所畫的梆，作鼇魚狀，與現在日本長崎興福寺（明末中國黃檗宗禪僧所建）所見者一模一樣，應不屬於官衙所用者。
