何谓羊岩山，这是一般游客藏在心里的疑虑。简单的说。因为主峰南侧有羊影镶嵌在岩石上而得名。嘉定年间，《赤城志》上有关羊岩山是这样记载的：“在县北五十公里，自麓至巅十余里，南瞻海门，北望华顶，如在目前，山顶石壁有石影似羊，又有石纹隐起似蛇，下有洞，祀龙母祷雨甚验……”。据陈引爽载文：“传说古时候有位神仙赶着羊群来到现在羊岩这个地方，感到有些乏力了，便躲进一个山洞中休息，可当他睡醒的时候，东方即将发白，公鸡也开始叫了。由于神仙在天亮以后是不能在凡间的，所以他匆匆忙忙地回到天上，而把其中一头羊落在了山头。天亮了，羊变成了岩石。从此这座山就叫做羊岩山。”