Xưa kia, danh sỹ Trương Hán Siêu (thế kỷ XIV), một tác gia lớn thời Trần, khi đến núi này, đã làm bài thơ Dục Thúy Sơn và cho khắc bài thơ đó vào đá núi. Có lẽ, khi cho khắc bài thơ Dục Thúy Sơn vào núi đá, ông không biết rằng sau ông, có những danh sỹ, tao nhân mặc khách tiếp tục làm thơ về núi và khắc thơ vào đá núi. Việc khắc thơ vào đá núi Dục Thúy (núi Non Nước) từ đó đã thành một truyền thống văn hóa đặc sắc của vùng non nước Ninh Bình. Và ông được coi là người khai sinh ra truyền thống khắc thơ vào núi ở Ninh Bình.
Đến phía Đông Bắc phường Hoa Lư, tỉnh Ninh Bình, du khách sẽ ngẩn ngơ trước vẻ đẹp kỳ thú của hòn núi đá nghiêng bóng chênh vênh, lặng lẽ soi mình bên bờ ngã ba sông Đáy - sông Vân. Đó là núi Non Nước (núi Dục Thúy), tạo nên vẻ huyền diệu, sơn thuỷ hữu tình của nơi này.