压路机的发展史起源于远古欧洲和古埃及。

早在4500年前，古埃及人已经制造出用于压实地基的重型压辗器物，并应用于建造金字塔时对于地基的压实处理。在机械科技发展史上这种古老机械是现代冲击式压路机的起源。远古欧洲人也在4300年前建造的巨石阵中发明了类似器物。巨石阵座落在英国伦敦西南100多千米的索尔兹伯里平原上。

古埃及人的压辗器物是由杠杆和重型巨石等物件组成，由畜力操作重石对土壤进行冲击压踏、搓揉和捣实来处理地基。在古埃及基沙台地上兴建的金字塔底部边长230公尺，高146公尺，用了共260万块、每块重达二吨半的石头堆积而成，位于开罗西南尼罗河西古城孟菲斯吉萨南郊8公里处利比亚沙漠中，在其东面约350米出是斯芬克斯狮身人面像。该金字塔建立于古夫王（公元前2543年至公元前2520年），至今已有4500多年的历史。古阿拉伯人在后来还将其用于压实大坝和河堤。

到了19世纪，西方的道路工程以碎石子铺路为主，压实主要靠车辆自然碾压，直到1858年英国发明了轧石机后,促进了碎石路面的发展,才逐渐出现了用马拉的滚筒进行压实工作，这是最早的压路机雏形，1860年在法国出现了蒸汽压路机，进一步促进并改善了碎石路面的施工技术和质量，加快了进度。在20世纪初，世界上公认碎石路面是当时最优良的路面而推广于全球，压实的概念逐渐被人们所知，压路机也随之出现在各个道路施工工地上，19世纪中叶，内燃机的发明给压实设备的发展带来了巨大的生机。

20世纪初，美国人制出第一台内燃机驱动的压路机。随后出现的是轮胎压路机，羊足碾压路机与光轮压路机几乎是同时产生的，人们对静碾压路机的压实效果进行了研究，认为增加压路机的重量可使压路机的线压力增加，从而提高压实效果。于是，在相当长的一段时间内，人们致力于开发大吨位压路机，最大的轮胎压路机曾重达200多吨，不过这段时期内，压路机的变化还是主要体现在动力及外形的改进上。如今，压路机的设计越来越美观，功能也越来越强悍。