Элгарт родился в 1922 году в Нью-Лондоне, штат Коннектикут , на четыре года моложе своего брата Леса, и вырос в Помптон-Лейкс, штат Нью-Джерси. Их мать была концертной пианисткой; их отец также играл на фортепиано, хотя и не профессионально. Ларри и Лес оба учились в средней школе Помптон-Лейкс . [2] Оба брата начали играть в джазовых ансамблях в подростковом возрасте, и в юности Ларри играл с такими джазовыми музыкантами, как Чарли Спивак , Вуди Герман , Ред Норво , Фредди Слэк и Томми Дорси .
В середине 1940-х годов Лес и Ларри основали свой собственный ансамбль, наняв Нельсона Риддла , Билла Финегана и Ральфа Фланагана для аранжировки мелодий. Их ансамбль не имел успеха, и через несколько лет они распустили группу и продали заказанные ими аранжировки Томми Дорси. [3] Оба вернулись на позиции сайдменов в различных оркестрах.
В 1953 году Ларри познакомился с Чарльзом Альбертином и записал две его экспериментальные композиции: «Impressions of Outer Space» и «Music for Barefoot Ballerinas». Выпущенные на 10-дюймовом виниле, эти записи стали предметом коллекционирования для поклонников авангардного джаза, но они не имели коммерческого успеха.
