독립운동을 위해 대한민국에서 산둥성으로 이주한 광복군 제3지대 출신 부모 밑에서 태어났다. 그러다 광복 이후, 3살이 되어 한국으로 귀국했다. 어릴 적부터 음악에 남다른 재능을 보였고 노래를 부르는 것을 좋아했다. 그러나 아버지가 1955년 과음으로 인한 간경화로 사망하고 그 이후 부산에 있는 이모의 집에 내려가 살다가 집안 사정이 더욱 어려워지자 부산 삼성중학교를 중퇴하고 어머니의 권유로 서울에 있는 삼촌 김광빈의 집으로 상경하였다. 참고로 "배호"라는 예명도 이 때 김광빈이 지어주었다. 오로지 드럼을 배우겠다는 열정에 사로 잡혀 외삼촌에게 음악을 가르쳐 달라고 떼를 썼다고 한다.

1958년부터 1964년까지 삼촌 김광수와 김광빈의 악단, 미군부대, 캬바레, MBC 악단, 김인배 악단 등에서 드럼을 연주하며 음악활동을 시작했으며, 6~7인조 캄보 밴드인 배호와 그 악단 을 결성해 사람들에게 이름을 알리기 시작한다.
그가 부른 초기의 곡들은 트로트가 아닌 재즈나 라틴음악 등이 섞인 스탠더드 팝 계열의 작품이었다. 그러나 1967년 배상태가 작곡한 노래 돌아가는 삼각지가 대히트하였고 그는 곧 1960년대 최고의 인기 가수로 자리잡았다. 그 이후 안개 낀 장충단 공원, 누가 울어등을 연달아 히트시키며 10대 가수 가요제에서 10대 가수로 선정되었다.

그는 1966년부터 앓아온 신장염으로 투병 생활을 하고 있었으며, 건강이 회복될 틈도 없는 바쁜 스케줄을 소화하며 몸은 이미 망가질 대로 망가져 있었다. 1969년 MBC 10대 가수상 시상식 때는 몸이 아파 출연 여부를 타진하다가 간신히 출연해 노래를 불렀는데, 몸이 안 좋아 걸음도 못 걸었을 정도라고 한다. 당시 발성이 제대로 되지 않는 배호를 본 동료 가수들은 울음을 터트렸다고.