Als kleine ket bouwde hij meteen een hele reputatie op als accordeonist in het café van zijn ouders: Trapken Af in de Hoogstraat nummer 241. Het is hier dat Jean-Baptiste Thielemans geboren werd op 29 april 1922. Een groot deel van zijn jeugd bracht Thielemans weliswaar door in Sint-Jans-Molenbeek, naar waar zijn ouders ondertussen verhuisd waren, maar hij is altijd beschouwd als een echte Marollien.

Muziek was geen prioriteit ten huize Thielemans, althans niet voor de vader van Toots want hij wilde dat zijn zoon ging studeren. De aandacht van de jonge kerel ging echter meer uit naar de fonograaf die thuis stond. Dat was ook zijn leerschool: meespelen met de platen die hij kocht met zijn spaarcentjes. De accordeon had hij ondertussen aan de kant gezet en vervangen door een mondharmonica. Over zijn mondmuziekske zeiden heel veel muzikanten in het begin smalend "Jette ce jouet". Gelukkig zette hij door en waren er mensen die erin geloofden, zoals Clifford Brown die jaren later zei: "Toots, the way you play harmonica they should not call it a miscellaneous instrument” (verwijzend naar de categorie in het Amerikaanse jazzblad Downbeat waarin Toots jaarlijks op nummer 1 stond).

Ondertussen had hij tevens gitaar leren spelen, opnieuw als autodidact en geïnspireerd door onder anderen Django Reinhardt. Hij had ook een heuse artiestennaam: Toots, naar de twee blazers die bij het orkest van Benny Goodman speelden (Toots Camarata en Toots Mondello). Aanvankelijk speelde Toots populaire lichte muziek, maar toen hij begin jaren 1940 een plaat hoorde van Louis Armstrong and The Mills Brothers had hij de jazzmicrobe te pakken. Toen zijn oom hem in 1947 uitnodigde om mee op vakantie te gaan naar Amerika, was het hek helemaal van de dam.

Begin jaren 1950 trok Toots naar Amerika om er zijn kans te wagen. Zoals bijna alle debuterende muzikanten zag ook hij zwarte sneeuw. Maar hij was wel de juiste man op de juiste plaats toen George Shearing een gitarist nodig had. Het werd een tournee van zes jaar. Toots ontmoette en speelde met talloze iconen uit de jazzgeschiedenis, waaronder Lester Young, de orkestleden van Count Basie en Billie Holiday. 

Voordien was hij al ingehuurd door Benny Goodman, die hem meenam op zijn tournee door Europa. Als gitarist weliswaar, want pas aan het einde van de jaren 1950 begon Toots zijn mondharmonica als volwaardig instrument te gebruiken. In 1962 scoorde hij met Bluesette. Een ogenschijnlijk simpele melodie, met het unisono fluiten als extra gimmick. Vanaf dan stond Toots aan de top en dat is nooit veranderd. De lijst van muzikanten met wie hij werkte weerspiegelt de jazzgeschiedenis én een deel van de pophistorie, want ook artiesten als Billy Joel en Paul Simon deden beroep op zijn diensten. Daarnaast is Toots te horen op flink wat soundtracks, waaronder die van Midnight Cowboy, The Getaway, Turks Fruit, Dunderklumpen en Jean de Florette.

Pas na zijn carrière in Amerika, en na omwegen langs Zweden en Nederland, kreeg Toots erkenning in eigen land, want ook voor hem gold aanvankelijk "geen sant in eigen land'" Dat is ondertussen veranderd; hij werd benoemd tot baron, ontving een eredoctoraat aan de VUB/ULB, en kreeg een eigen straat in Vorst. Sinds 1986 is hij bovendien peter van het Brosella Festival dat elk jaar plaatsheeft aan de voet van het Atomium.

Ook toen hij negentig was, bleef Toots goed op de hoogte van het reilen en zeilen in de jazzwereld. Zo nodigde hij nog regelmatig jonge muzikanten uit als begeleiders en had hij zijn iPod en iPad bij de hand om snel nieuwe dingen te ontdekken. "Nooit over je geboortejaar praten en je altijd als een tiener blijven voelen", dat was zijn leuze.