พระเจ้าสุโธทนะ พระราชบิดาทรงสั่งให้สร้างปราสาทอันประณีต ๓ หลังสำหรับใช้เป็นที่ประทับใน ๓ ฤดู ทั้งนี้ก็เนื่องด้วยเมื่อพระองค์ทรงประสูติมาแล้วได้รับการทำนายว่าจะเสด็จออกบวช พระราชบิดาทรงปักใจเชื่อคำทำนายของโกณทัญญพราหมณ์ จึงทรงคิดหาเหตุที่จะป้องกันเจ้าชายมิให้ออกบวช โดยเอาใจใสดูแลให้ยึดติดแต่ใน กามสุข คือ ความสุขทางโลก เป็น โลกีย์สุข
ซึ่งเมื่อพระโอรสพระชนม์ ๓ พรรษา พระบิดาทรงโปรดให้สร้างสระน้ำถวายเพื่อให้เล่นสนุกเพลิดเพลิน เมื่อพระชนม์ ๑๖ พรรษา จึงทรงให้สร้างปราสาท ๓ องค์ เป็น ๓ ฤดู คือ ปราสาทองค์ที่ ๑ สำหรับฤดูร้อน ชื่อ สุรัมมะ มีทั้งหมด ๙ ชั้น ปราสาทองค์ที่ ๒ สำหรับฤดูฝน ชื่อ สุภกะ มีทั้งหมด ๗ ชั้น และปราสาทองค์ที่ ๓ สำหรับฤดูหนาว ชื่อ รมณะ มีทั้งหมด ๕ ชั้น พร้อมบำรุงบำเรออยู่ด้วยดนตรีล้วนประโคมขับกล่อมโดยเหล่าสตรีที่สวยสดงดงามแรกรุ่นดรุณีถึง ๔๐,๐๐๐ คน เพื่อให้เจ้าชายทรงหลงใหลทางโลก เลิกใฝ่ใจทางธรรม