北魏の洛陽遷都（AD494年）ころから、その石灰岩の山腹に石仏が彫られるようになる。石窟は川にそって数百メートルも続き、間には僧侶が修行したという小さな石窟や、仏像を浮き彫りにした石窟もある。宋代まで、歴代の皇帝、貴族、豪商らの寄進で造営された石窟は2,354窟、仏塔40余基、仏像10万体に上り、その石窟は、敦煌石窟、大同石窟と並んで中国三大石窟の一つに数えられている。

伊水をはさんだ対岸の香山寺からは、石窟群が蜂の巣のように見え、唐の詩人、杜甫や李白もこの地を訪れて詩を詠んでおり、白居易は晩年をこの寺ですごしている。