南北朝の梁の時代に創建。当時の名は妙利晋明塔院といったが、唐の時代寒山と拾得が住んだとの言い伝えより寒山寺と呼ばれるようになった。
『寒山詩』という漢詩集が唐代より伝わる。天台山に隠れ棲んだ寒山、拾得、豊干の詩集である。「三隠集」ともいう。豊干禅師は、しばしば山から虎に乗って自分の庵に帰ってくるという奇行で衆僧を驚かせる。拾得は、豊干に拾われたことからその名があり、拾得が残飯を与えていたのが寒山である。
日本において寒山寺を有名にしているのは、寒山・拾得であるよりも同じく唐代の詩人・張継の「楓橋夜泊」による。
月落ち烏啼きて霜天に満つ
江楓漁火愁眠に対す
姑蘇城外の寒山寺
夜半鐘声客船に到る