在远古时代，花园特别是屋顶花园的历史存在的时间都不长，因而今天我们几乎看不到任何能够证实其存在的实物证据。尽管如此，由于许多古典文学作品都提到这些花园，通过这些作品我们已经能够推断，这些屋顶花园的存在是一个不争的事实。
作为一种立体绿化的形式，屋顶绿化也有它自己本身的发展历程，它并不是现代建筑发展的产物，更不是现代园林中新出现的绿化形式，它的历史可以追溯到距今4000年以前。
从现在的史料来看，历史上第一个人造屋顶花园大概当推古美索不达米亚的金字形神塔，它从公元前4000年开始建造，一直延续到公元前600年。这些金字形神塔一般坐落于大城市神庙的庭院内，建于高台之上，用石头砌成，成大型阶梯状金字塔形。从神塔外沿螺旋形上升的阶梯可以登上神塔顶部。据英国考古学家伍利.伦纳德先生发掘的证据显示，在这些阶梯状塔庙上通常会栽种一些树木和灌木丛，以缓解人们攀爬的劳累。
历史上其他比较著名的屋顶花园例子有：中世纪和文艺复兴时期的花园，如法国的蒙圣米歇湾、意大利皮恩扎的皮科洛米尼宫、意大利卢卡的橡树塔、意大利卡雷奇的美第奇屋顶花园等。公元1600年至1875年的屋顶花园，如德国的帕绍德、俄罗斯莫斯科的克里姆林宫、俄罗斯圣彼得堡的修道院、德国柏林的拉比兹屋顶花园等。
近代建筑大师勒柯布西耶于1926年就自己的住宅设计提出了“新建筑的5个特点”其中之一就是屋顶花园——把绿化和现代建筑结合起来。1959年，美国的风景建筑师在奥克兰凯瑟办公大楼的屋顶上建造了一个景色秀丽的空中花园。全园面积虽然只有1.2hm2，但为现代楼房屋顶景观绿化开创了先河，凯瑟办公大楼因此被视为建筑艺术与绿化艺术融合的具有里程碑式的伟大创新设计与实例。
中国古代建筑屋顶上大面积种植花木营造花园尚不多见，只是在一些地方的古城墙上有过树木栽种。距今500年前明代建造的山海关长城上种有成排的松柏，山西平定县的娘子关长城上亦有树木种植。另外，公元1526年明嘉靖年间建造的上海豫园中得大假山上及快楼前均有较大乔木。
纵观中外古代建筑发展史，我国古代屋顶花园的历史形成了传统的坡屋顶形式和采用木构架的结构承重，而坡屋顶上不易营造屋顶种植，木结构也难以承受较重的种植土，况且木梁板的材质对防腐不利，这可能是我们至今尚未发现“巴比伦悬园”式屋顶花园遗迹的主要原因。而古希腊、罗马在几千年前使用的建筑材料多为石料。石料建造屋顶多采用拱券式，这对要承受较大荷重的屋顶造园较为有利。这只是古代建筑形式和材料选用差别所致，而现代建筑中外各国的屋顶形式和材料对建造屋顶花园而言就相差无几了。
