淮南铁路的修建是为了将淮南的煤炭运到长江边。线路的走向是程士范制订的,并由他出任淮南煤矿铁路工程处处长。1934年6月正式开工,1934年2月1日就即开通了淮南至合肥的客运班车,1935年12月12日竣工。因存在与津浦铁路侵权的问题,因此将原名“通江铁路”改称淮南煤矿铁路,路基按正规铁路设计,但铺设的是窄轨距的轻轨和相应的枕木。沿线设有20多个站,其中田家庵、大通、九龙岗和合肥这四个站比较大。
修建淮南铁路的全部资金由南京政府拨款。1937年10月26日,南京政府建设委员会将淮南铁路与淮南煤矿一起,让于隶属宋子文财团的中国建设银行公司,成为私营企业,改称淮南路矿公司,统一经营煤炭和铁路。淮南路矿公司董事会由宋子文、张静江、程士范和杜月笙等12人组成。
建成后的淮南铁路采用由捷克引进了16台改进后的机车、300多辆煤车和1列客车,以九龙岗为中心,调度、管理、维修机构都设在九龙岗。
1938年春天,日军进犯南京,南京政府下令对淮南铁路全线炸毁。1938年6月4日,日军占领淮南矿区与铁路;1939年4月21日,日本“兴亚在华联络部”合并商办大通矿与九龙岗矿,与汪精卫政府一起组合成淮南煤矿股份有限公司。该公司的总部设在上海,归日军军部控制。这时的铁路运输已被破坏,用人力或马在铁道上拉煤车将矿上生产出来的煤到田家庵码头。
1940年,由日军华东铁路株式会社修复九龙岗到裕溪口的铁路,并调用32台机车,恢复从九龙岗至田家庵、九龙岗至裕溪口的铁路运输。以后又修通水蚌铁路(水家湖至蚌埠)的铁路,与津浦铁路相接,方便将煤炭运至南京、上海。
1945年底日本投降后,淮南煤矿和铁路仍归宋子文的淮南路矿公司接管。1949年后归上海铁路局管辖。