Ông nhập ngũ tháng 8 năm 1945, được kết nạp vào Đảng Cộng sản Việt Nam năm 1947. Trong Kháng chiến chống Pháp giữ các chức vụ từ Đại đội trưởng đến Trung đoàn trưởng, Chỉ huy liên trung đoàn 306-312 rồi Tỉnh đội trưởng Gia Ninh.
Sau Hiệp định Giơ-ne-vơ, ông tập kết ra Bắc và giữ chức vụ Cục trưởng Cục công binh từ năm 1956 cho đến năm 1961. Tháng 5 năm 1961, ông có mặt trong đoàn cán bộ nòng cốt thuộc nhiều quân binh chủng khác nhau, mang tên Phương Đông, hành quân vào Nam chiến đấu, chi viện cho chiến trường Nam Bộ chuẩn bị bước vào thời kỳ đánh Mỹ. Đoàn gồm khoảng 600 cán bộ, do các ông Trần Văn Quang, Trần Nam Trung, Lê Văn Tưởng và ông chỉ huy.
Vào nam chiến đấu ông chỉ huy nhiều chiến dịch trong đó nổi tiếng nhất là chiến dịch Bình Giã (11.1964). Năm 1967, được cử giữ chức Tư lệnh Quân khu Sài Gòn-Gia Định, Chỉ huy trưởng Phân khu 1 (Củ Chi, Hóc Môn, Gò Vấp, một phần các huyện Trảng Bàng, Bến Cát, Dầu Tiếng) mà ông Mai Chí Thọ (sau này Đại tướng Công an) làm Chính ủy. Ông hy sinh năm 1969, trong khi chỉ huy chiến đấu.
Sau 1975, tại nghĩa trang Liệt Sĩ thành phố Hồ Chí Minh, mộ ông được đặt trang nghiêm ở khu chính, nhưng đó chỉ là ngôi mộ tượng trưng. Sau nhiều năm tìm kiếm với sự giúp đỡ của tỉnh Tây Ninh và huyện Trảng Bàng, năm 1998, gia đình mới tìm được hài cốt của ông. Và, sáng ngày 14 tháng 9 năm 1998, Chính quyền và Tỉnh đội Tây Ninh đã thực hiện việc bốc mộ và đưa hài cốt ông về Nghĩa trang Liệt sĩ thành phố Hồ Chí Minh.
Đại tá Trần Đình Xu được đánh giá là một người "chỉ huy bình tĩnh, kiên cường trong mọi tình huống" (Thượng tướng Trần Văn Trà). Tên ông được đặt cho một đường phố ở thành phố Hồ Chí Minh, đường Trần Đình Xu, Quận 1.