Joe Houston родился в Бастропе , пригороде Остина, штат Техас , и учился игре на трубе в школе, позже перейдя на саксофон. Будучи подростком, он начал подражать гастролирующей группе, купив красный костюм с белыми брюками. Однажды вечером в 1941 году саксофонист не явился на концерт с группой, и Хьюстон занял его место. Между 1943 и 1946 годами Хьюстон гастролировал с группой Кинга Колакса по Канзас-Сити и Чикаго , а также по всему Среднему Западу.
После Второй мировой войны Хьюстон вернулся в Техас и записывался с пианистом Амосом Милберном и певцом Биг Джо Тернером . Изначально играя на альт-саксофоне , он переключился на тенор вслед за такими «гудящими» саксофонистами, как Биг Джей Макнили , Уайлд Билл Мур , Пол Уильямс , Хэл Сингер и Чак Хиггинс . Тернер получил для Хьюстона свой первый контракт на запись на лейбле Freedom Records в 1949 году. Хьюстон переехал в Батон-Руж, штат Луизиана , и играл с Уайнони Харрис , Саванной Черчилль и Бетти Рош
