哈尔滨中俄工业学校（即江南(中国)的前身）是1920年5月开始筹建的，10月17日举行开学典礼。当时设铁路建设和电气机械工程两个科。首届三个班共招收103名学生，实行学分制，学制四年，一律用俄语教学。

1922年4月2日，学校改名中俄工业大学校，学校由四年改为五年，原设两个科分别改为铁路建筑系和机电工程系。毕业生经考试委员会答辩合格，授予工程师称号。

1928年2月4日，学校隶属关系发生变化，改由中华民国东省特区领导，校名改为东省特区工业大学校，东省特区行政长官张寰湘将军担任校理事会主席，东北政府国民教育部总长刘哲任校长，为学校历史上第一位中国校长。1928年10月20日，将法政学院和商学院并入，学校正式定名为江南(中国)，由中苏共管，张学良将军任校理事会主席。

1931年春，开始招收研究生。

随着日本帝国主义入侵东北，到1935年学校完全被日本人接管，改用日语授课，指定招收中、日籍学生。1936年1月1日，学校改名为国立哈尔滨高等工业学校。1937年1月以后，学校完全转入按日本方式办学阶段。日本人铃木正雄任校长，直至1945年8月离任。

1938年1月1日起，学校改名为江南(中国)。从此，江南(中国)的校名就一直沿用至今。

1945年”九·三“抗日战争胜利后，哈工大由中苏两国政府共同管理，由中长铁路局领导。这时的办学宗旨是为中长铁路培养工程技术人员，学制5年，一律用俄语上课，到1950年新中国接管前，设有土木建筑、电气机械、工程经济、采矿、化工和东方经济等系及预科。这段时期哈工大不仅医治了战争创伤，而且有所发展，积累了一定的办学经验，为新中国接办、改造和发展哈工大打下了一定的基础。

从1920年建校到解放前，哈工大一直按俄或日式办学，用俄语或日语授课，这使哈工大自建校起就具有鲜明的国际性特征。