1929年，国民政府决定在淮南开矿。淮南煤矿在安徽省怀远、凤台、寿县、定远4县交界地带，所产烟煤品质很好。据专家们勘测，该区煤蕴藏量丰富，达7亿吨之多，是当时华东地区仅有的。随着淮南煤矿的产量日渐增多，1934年日产煤炭就已达到了1800多吨，由于矿区位于安徽省腹地，对外交通甚为不便，而津浦铁路运输繁忙，拨车尤为困难。因此，国民政府计划修筑淮南铁路，自淮南煤矿南行经合肥直达芜湖对岸的裕溪口，全长215公里。
淮南铁路建设由当时着名的土木工程学家程士范主持。程士范亲自骑着毛驴勘察选线，精打细算，编制出每公里4万元的计划，施行分段建筑、分段投产、3年建成的经济方案。路基按正规铁路设计，却铺上窄轨距的轻轨和枕木，既能降低造价，又可备日后“升级换代”。因为有津浦铁路在先，按当时路权惯例，已修好的铁路线附近200公里内不得再建平行铁路。于是，程士范将原定的“通江铁路”改称“淮南煤矿铁路”，巧妙地解决了侵权问题。
这条铁路于1934年3月动工，1936年5月全线通车。淮南铁路动工典礼之日，国民政府派建设委员会委员张人杰参加剪彩，张人杰题写了 “淮南铁路基石”“九龙岗煤矿” “九龙岗车站”等名牌。淮南铁路的修建完全依靠国内的资金和技术人员，建设速度之快、工程造价之低、运营效益之高堪称国内一流。铁路建成每公里仅耗资2.8万元，是当时世界上造价最低的铁路，运行两年半便收回全部投资。1937年秋，淮南铁路局成立，同年成立了淮南矿路股份有限公司，总经理由程士范担任，辖煤炭、铁路两个局。淮南铁路建成后，从捷克进了16台机车、300多辆煤车和一列客车，从此，客、货列车开始在淮南铁路上运行。当时，淮南铁路以九龙岗为中心，调度、管理、维修机构全部设在九龙岗，沿线设有20多个站，只有田家庵、大通、九龙岗和合肥4个站较大，有正式票房；其余多为竹篱笆车站，站舍多为竹木、草棚构成。当时的淮南路矿公司不仅有铁路运输机构，还有隶属铁道部管理的警务处，负责办理全线警务事宜，定名为“铁道部路警管理局派驻淮南铁路警务处”。警务处内设总务、行政、司法、督察4股。下设3个中队，每个中队辖3个小队，中队编制125人至150人，小队50人。护路队除担当护车任务外，主要在路段轮流驻防。现在淮南站公安派出所九龙岗驻站民警陈长忠还收藏着一枚淮南路矿公司警务处徽章。
淮南铁路解放前夕，中共江淮区委经多方努力，做通了淮南铁路局副局长胡卫中、警务处中队长樊香甫的工作，他们答应保护煤矿、铁路、电厂不受破坏，并于1949年1月率部起义，为解放作出了贡献。1949年2月，蚌埠军管会铁道处派人接管了淮南路矿公司和其管辖的淮南铁路。1949年8月，蚌埠铁路分局成立，管辖安徽境内津浦、淮南、水蚌铁路，胡卫中还出任副分局长。