西湖から西へ数キロの山中にある。開山は326年。インドの僧・慧理による。慧理がここは仙霊が隠れているところだ、と言ったことから霊隠寺と名づけられた。
禅宗のお寺である。五代十国の時代（十世紀）には三千人の僧が修行をしていたという。
寺の南側の峰は飛来峰という。開山であるインドの僧・慧理がこの地を訪れたとき、「あれは天竺の霊鷲山の小峰ではないか。どうしてここに」と感嘆したことから飛来峰の名が付き、また、霊隠寺が建立されることになったという。そのしたの岩場に五代から宋にかけて石窟が造営され、石刻像が彫られている。青林洞、玉乳洞、龍泓洞などの石窟があり、そこに彫られた石仏の数は380におよぶ。このなかで有名なのは青林洞の弥勒仏像である。