Urodzony w Pekinie w 1932 roku, dorastał otoczony klasyczną chińską sztuką malarską i literaturą. Jako osiemnastolatek przeprowadził się do Hongkongu i zajął się tworzeniem plakatów reklamowych, po czym trafił do słynnego studia braci Shaw. Po sukcesie "Napij się ze mną" wyjechał na Tajwan, by nakręcić entuzjastycznie przyjęty "Dragon Inn". Nieoczekiwane załamanie kariery po premierze "Dotyku Zen" skłoniło Hu do wyjazdu do Stanów Zjednoczonych.