Tiền thân của Trường Đại học Thủy lợi là Trường Cao đẳng Giao thông công chính, được thành lập trong hoàn cảnh kháng chiến chống Pháp năm 1947. Thời điểm này, để đáp ứng yêu cầu phục vụ cho sản xuất tự túc trong vùng chiến khu, lớp học đầu tiên về thủy nông đã được mở ra. Ban đầu chỉ có 20 học sinh và một số giáo viên. Nơi ăn, ở, học tập đều do nhân dân các vùng tự do như Liên khu IV, Liên khu III Việt Bắc giúp đỡ. Cho đến ngày hòa bình lập lại ở miền Bắc năm 1954, Trường Cao đẳng Giao thông công chính đã đào tạo đến khóa 6 về thủy lợi. Số học sinh đang học thủy lợi tại trường lúc này khoảng 200 người. Tháng 5/1956, Trường Cao đẳng Giao thông công chính tách ra làm 2: (1) Trường Cao đẳng Giao thông và (2) Trường Trung cấp Kiến trúc Thủy lợi. Số học sinh thủy lợi của trường Trung cấp khoảng 200 người được 2 chuyên gia Trung Quốc và một số cán bộ của ta trực tiếp giảng dạy. Đến tháng 8/1958, do nhu cầu phát triển của ngành thủy lợi và kiến trúc, Trường Trung cấp Thủy lợi tách ra khỏi Trường Trung cấp Kiến trúc thủy lợi. Lúc này trường có trên 300 học sinh, 80 cán bộ, giáo viên và một số chuyên gia Trung Quốc giúp đỡ.
Để đáp ứng yêu cầu phát triển kinh tế xã hội của đất nước nói chung và ngành thủy lợi nói riêng, Bộ Thủy lợi chủ trương thành lập Học viện Thủy lợi trên cơ sở Trường Trung cấp Thủy lợi. Tháng 1/1959, Bộ Thủy lợi trình Thường vụ Hội đồng Chính phủ “Quy hoạch xây dựng Học viện Thủy lợi”. Tháng 7/1959, Ban Bí thư Trung ương Đảng thông qua Quy hoạch xây dựng Học viện Thuỷ lợi trên khu đất rộng 26ha thuộc thôn Khương Thượng và thôn Thái Hà, Hà Nội.
Học viện Thủy lợi được thành lập đã mở một thời kỳ mới của Nhà trường. Trong quá trình xây dựng, Học viện lấy Trường Trung cấp Thủy lợi làm cơ sở và bắt đầu chuyển về khu vực Đống Đa, vừa học vừa tham gia xây dựng.
Năm 1959, lớp chuyên tu đại học khóa 1 của nhà trường được chiêu sinh và khai giảng với 40 sinh viên. Khóa 1 chính quy của trường được tuyển và đào tạo 2 năm đầu tại trường Đại học Bách khoa. Sau đó, chuyển 80 sinh viên từ trường Đại học Bách khoa sang đào tạo tại trường.
Cuối năm 1960, công tác đào tạo bắt đầu được tiến hành tại cơ sở chính của nhà trường, tuy nhiên trong điều kiện cơ sở vật chất tạm thời. Trong hoàn cảnh đó, Đảng ủy, Ban Giám hiệu đề ra chủ trương nhanh chóng xây dựng cơ sở vật chất và phát triển đội ngũ cán bộ giảng viên. Năm 1961, dù mới được thành lập nhưng ngay sau khi Đảng và Nhà nước có chủ trương đào tạo hệ đại học tại chức, nhà trường đã quyết tâm xây dựng chương trình đào tạo hệ tại chức và mở được hai khóa đại học tại chức ban đêm.
Từ khóa 1 đến khóa 4, đào tạo chủ yếu theo chương trình của Trung Quốc và Liên Xô (cũ) với thời gian đào tạo là 4 năm.
Năm học 1961-1962, nhà trường chiêu sinh lớp Trung cấp Điện và cũng từ thời gian này nhà trường có tên gọi “Học viện Thủy lợi và Điện lực”.
Tháng 6/1961, lớp Đại học chuyên tu khóa 1 tốt nghiệp; tháng 7/1963, lớp đại học chính quy khóa 1 (80 sinh viên Trường Đại học Bách khoa chuyển sang) tốt nghiệp, đây là những kỹ sư thủy lợi đầu tiên của nhà trường. Kể từ đó, hàng năm, những lớp kỹ sư được đào tạo dưới mái Trường Đại học Thủy lợi kế tiếp nhau toả đi khắp mọi miền Tổ quốc.
Đầu năm 1963, do nhu cầu nghiên cứu khoa học, Bộ Thủy lợi ra quyết định số 296 TLQĐ ngày 9/5/1963 tách Học viện Thủy lợi – Điện lực thành hai đơn vị: (1) Trường Đại học và Trung cấp Thuỷ lợi; (2) Viện nghiên cứu khoa học Thủy Lợi. Cũng trong năm này, lớp trung cấp Điện chuyển về Bộ Công nghiệp quản lý. Do đó, Trường chỉ đào tạo đại học và trung cấp thủy lợi.
Năm 1964, Bộ Thủy lợi đã ra quyết định số 351/TL/QĐ ngày 28/4/1964 tách Trường Đại học và Trung cấp Thủy lợi thành hai đơn vị: (1) Trường Đại học Thủy lợi và (2) Trường Trung cấp Thủy lợi.
Thời kỳ đầu phát triển, nhiệm vụ chủ yếu của nhà trường là xây dựng chương trình, kế hoạch đào tạo, bồi dưỡng đội ngũ cán bộ, xây dựng cơ sở vật chất. Những năm đầu, trước chủ trương của Đảng và Nhà nước yêu cầu là phải “rút ngắn thời gian, bảo đảm chất lượng” để đào tạo nhân lực kịp thời phục vụ sự nghiệp xây dựng chủ nghĩa xã hội ở miền Bắc. Chương trình đào tạo được xây dựng rút ngắn thời gian với các hệ đào tạo. Từ khóa 5 trở đi, nhà trường mới bắt đầu chương trình đào tạo 5 năm với đại học chính quy. Quy mô tuyển sinh cũng tăng dần, từ 40 sinh viên thủy lợi chuyên tu đại học năm 1959, đến năm 1964, trường đã tuyển 300 sinh viên thủy lợi hệ chính quy khóa 6. Chuyên ngành đào tạo được mở rộng, từ lúc ban đầu chỉ đào tạo cán bộ thủy nông tổng hợp, sau đã đào tạo cán bộ thủy lợi trong các ngành Thủy nông, Thủy công, Địa chất, Trắc địa, Thi công và Thủy văn của đại học và trung cấp.
Đội ngũ giảng viên những ngày đầu chỉ có 20 người, trong đó có 10 giảng viên là các kỹ sư mới tốt nghiệp Trường Đại học Bách khoa, 07 giảng viên được Nhà nước cử đi đào tạo ở Trung Quốc trở về và 03 giảng viên các môn khoa học cơ bản là những cử nhân tốt nghiệp Trường Đại học Sư phạm. Trong giai đoạn này, thường xuyên có từ 6 đến 8 chuyên gia do nước bạn Trung Quốc cử sang giúp đỡ về chuyên môn cho các giảng viên của nhà trường. Từ đội ngũ giảng viên rất hạn chế ban đầu, với sự quan tâm xây dựng đội ngũ của tập thể lãnh đạo Nhà trường, sau 5 năm thành lập, Trường đã có khoảng 70 giảng viên được biên chế ở 13 bộ môn. Mỗi bộ môn phụ trách nhiều môn học. Hầu hết các bộ môn có nề nếp quản lý tốt và tích cực tham gia phong trào thi đua dạy tốt, học tốt.
Ngay từ những ngày đầu mới thành lập, với mục tiêu đào tạo phải gắn liền với nghiên cứu khoa học, phục vụ sản xuất, nhà trường đã thành lập các phòng thí nghiệm Sức bền vật liệu, Thuỷ công, Thuỷ lực, Thuỷ điện, Cơ đất. Trang thiết bị thí nghiệm của Liên Xô và Trung Quốc được lắp đặt và đưa vào sử dụng, kịp thời phục vụ công tác đào tạo và nghiên cứu khoa học. Cũng từ đây, các giảng viên của Nhà trường đã có những đề tài nghiên cứu khoa học thiết thực, phục vụ giảng dạy và ứng dụng vào thực tế sản xuất.
Năm 1962, được sự quan tâm của Đảng, Nhà nước cũng như sự giúp đỡ của Chính phủ và nhân dân nước Cộng hòa Nhân dân Trung Hoa, cơ sở của Trường Đại học Thủy lợi được khánh thành gồm khu làm việc, giảng đường, ký túc xá, phòng thí nghiệm trên nền đất hiện nay tại số 175 Tây Sơn, Đống Đa, Hà Nội. Từ một bộ phận của Học viện Thủy lợi tách ra, trường đã mang vóc dáng trường đại học chuyên ngành đầu tiên của nước ta. Tuy kinh nghiệm còn non trẻ, nhưng nhờ sự tâm huyết, yêu ngành, yêu nghề, và trên hết là ý chí vượt khó vươn lên mạnh mẽ, thầy và trò cùng toàn thể đội ngũ cán bộ, công nhân viên nhà trường đã đặt nền móng vững chắc cho sự phát triển của trường giai đoạn sau này.
Với nỗ lực trong việc đổi mới nội dung, chương trình giảng dạy và sự đóng góp hiệu quả cho phục vụ sản xuất, năm 1961, nhà trường đã được Chính phủ tặng thưởng Huân chương Lao động hạng Ba.
