평안남도 강서 출생. 아버지는 상해임시정부 의정원의장을 지낸정도(正道)이며 어머니는 박신일(朴信一)로, 2남 3녀 가운데 맏아들로 태어났다.
1915년 중국 광성소학교와 1919년 길림 문관중학교를 거쳐 1924년에 중국 남경 중앙대학 농학원 항해과를 졸업하였다. 졸업 후 중국해운공사에서 근무하던 중 1927년 중국해군의 국비유학생으로 선발되어 3년간 독일에서 수학하였다. 1930년에 아버지의 사망으로 일시 귀국하였다가 독립운동가의 후손으로서 상해독립단체의 비밀연락원의 임무를 띠고 입국하였다는 혐의로 일본경찰에 붙잡혀 강서에서 옥고를 치르다가 1931년에 출감하였다.
출감 후 다시 중국으로 건너가 해운사업에 종사하다가 1945년에 조국의광복과 더불어 귀국하였다. 귀국 후 조국의 바다를 지키기 위한 해군을 건설할 뜻을 품고 동지를 규합하기 시작하였다. 그리하여 1945년 8월 21일 동지들과해사대의 조직을 결의하고 8월 23일 해사대 임시사무소를 설치하였다. 그 뒤 미군정이 실시되자 그는 미군정 당국과의 협의 끝에 1945년 11월에 해안경비를 담당할해방병단을 창설하고 초대 단장에 취임하였으며, 이것이 한국 해군의 전신이며 모체가 되었다.
1946년 2월 장교에 대한 계급이 부여됨에 따라 참령(參領)으로 임명되었으며, 그 해 6월에는 해방병단이 해안경비대로 개칭되어 해안경비대 총사령관 겸 병학교장(兵學校長)이 되었다. 1948년 8월 정부가 수립되어 해안경비대가 해군으로 편입됨에 따라 초대 해군참모총장에 임명되었다. 해군참모총장 재직 중에는 뛰어난 외교력을 발휘해 해군전력 증강에 기여하였으며, 특히6 · 25전쟁중에는 유엔군의인천상륙작전을 수행함으로써 전세를 역전시키는 데 공헌하였다.
1953년 6월 해군중장으로 예편한 뒤 그 해 8월 제5대 국방부장관으로 취임하였다. 국방부장관으로 재직하는 동안 능숙한 외교수완을 발휘하여 막대한 군원을 획득함으로써 국방력 증강에 크게 기여하였을 뿐 아니라, 행정면에 있어서도 국군묘지 창설, 군목제도의 활성화,전시연합대학과 국방대학원 창설, 국내외 위탁교육제도의 신설 등 인재양성에도 공헌하였다.
1956년에는 서독대사로 임명되어 3년간 외교 일선에서 국위선양에도 크게 기여하였으며, 특히 유럽과 아프리카 지역의 각종 국제회의에 대표로 참석하는 등 1인 10역의 눈부신 외교활동을 전개하였다. 그 뒤 재향군인회 고문(1967), 성우구락부 · 서해구락부 ·국토통일원고문(1971), 홍보협회장(1972),한국반공연맹이사장 겸세계반공연맹아시아반공연맹 이사장(1972∼1974), 반공연맹 고문(1974), 국제문화협회 상임고문,대한석탄공사이사장(1976) 등을 지냈다. 1980년 국립묘지에 안장되었다.