早在三、四千年前，我们的祖先便掌握了压气鼓风从事冶炼的技术，最早是由兽皮做成皮老虎；公元三十一年，东汉的杜诗创造了用水力鼓风的设备——水排；一直沿用到现在的木制风箱，可以说是现代活塞式压缩机的雏形。
到1757年英国人威尔肯松（wilkinson）提出的一个叫做金属风箱的，它有两个气缸，由水轮机驱动。1777年瓦特（watt）进一步设计了由蒸汽驱动的压缩机。上述的机器都是单级的，主要也是用作冶炼鼓风。
1829年和1830年在英国和法国相继提出了多级结构的压缩机，但当时的多级压缩机都无级间冷却。多级压缩机采用级间冷却是1849年由冯·雷逊（von rathen）建议的。
活塞压缩机作为一种工业设备是陆续进入各个领域的。
1834年，医生潘根（perking）发明了第一台活塞制冷机，压缩机进入人工制冷的领域，当时用的制冷剂是；而第一台工业用的氨压缩式制冷机，又经过40年后才由林德（linde）创造出来。
1877年，宋梅娄（sommeiler）发明了风钻，开始了用压缩空气作为传递力能的介质，为压缩机的应用开辟了广宽的天地。
1877年，第一次通过压缩、冷却及膨胀实现了氧的液化；1892年，实现空气的液化，从此为分离空气获得氧、氮及其他稀有气体创造了条件。
1911年，第一套合成氨装置投入生产，从此压缩机进入化学工业的领域，并且是化工厂中极其重要的设备。
1939年，第一台超高压压缩机问世，其排气压力为1500×105n/m2，用于高压聚乙烯的生产。
可是在一个相当长的时期内，活塞式压缩机的可靠性是与其重要性不相称的。特别关键的是气阀，因为它的可靠与否对机器有很大影响，为此人们对气阀的制造和研究一直非常重视。早在1894年，贺尔碧格（hoerbiger）制造了著名的贺尔碧格阀﹣﹣网状阀。1950年柯史塔格略兰（costagliola）建立了气阀运动的微分方程，尽管当时限于条件，实用尚困难，但却为以后定量研究气阀阀片运动的规律，打下了良好的基础，现在许多的研究工作，都是在此基础上发展起来的。
活塞式压缩机中另一个被关注的问题是滑动密封。滑动密封问题包括两个方面：其一是密封元件的耐久性——寿命；其二是密封元件因需用油润滑而带来的气体被污染问题。对于前者是致力于研究摩擦、磨损和润滑问题；而后者，人们却又因此创造出了许多新型的、气体不为油污染的压缩机。
1916年，柯勃林（corblin）发明了膜式压缩机，并于1922年在他自己的工厂制造成功。这种压缩机不仅气体不被油污染，而且能做到不漏气，一级压缩达25×105n /m2；但排气量很小，一般不超过100m3/h。
1934年，采用有自润滑性能的石墨作密封元件，实现了气缸不用油润滑；但石墨比较脆，石墨磨损后的粉尘也能污染气体。
1935年，苏尔寿（sulzer）公研制成了利用曲折密封原理的迷宫式压缩机，它去除了金属密封元件，也实现了气缸无油润滑；但这种结构制造要求高，并且严重的泄漏使其热效率较一般压缩机低。
1952年，具有自润滑性的塑料聚四氟乙烯开始用于压缩机作密封元件。由于聚四氟乙烯经过适当改制后的巨大优越性，因此很快得到了推广，已成为现在实现气缸无油润滑的主要手段。
活塞式压缩机在本世纪四十年代末到七十年代这几十年中，随着世界生产的发展，科学技术及工艺的进步，它也获得了很大的发展和进步。在技术方面，它所取得的成果是：
1.现代压缩机的可靠性和耐久性已大大提高，可以连续运行8000小时而中间无需修理，每年的开工率达95％以上；
2.由于采取了低的阀隙流速和大的缓冲容积，使压缩机功率消耗进一步降低；
3．在中、大型范围内，由于采用了对动式等动力平衡性能好的结构型式，使压缩机转速成倍的提高，从而使压缩机的尺寸和重量相对大大减小。
4.在一定的压力范围内，气缸能比较容易地实现无油润滑，使被压缩的气体不再为油所污染。
近年来，在中、小型范围内，压缩机普遍实现机组化，撬装化，使机器的安装和基建费用都显著降低。
随着人们对环境噪声污染的严格控制，努力使压缩机噪声限制在85db( a )以下，在这面也取得了很大成绩。
最近，优化设计理论取得了很大进展，并且已开始进入压缩机的设计领域，它必将推动压缩机向更新的水平前进。目前，150t活塞力4m型压缩机，迷宫压缩机，隔膜压缩机，低温乙烯及bog压缩机均已实现国产化。