- Blues-grootheid Big Joe Williams wordt gecrediteerd met het schrijven van dit nummer, maar het is ontwikkeld op basis van een volkslied met de titel ' Lange Jan ', die in 1934 werd opgenomen door John en Alan Lomax voor de Library of Congress. Die opname legt het lied vast dat wordt gezongen door zwarte gevangenen die werken op de Darrington State Prison Farm in Texas. Het was daar een populair deuntje omdat 'Long John' ging over een ontsnapte gevangene op de vlucht voor de autoriteiten.
Williams veranderde het nummer, maar hij behield het gevangenisthema, met regels als: 'Ik geloof dat er een man is weggegaan naar de boerderij op het platteland, met een lange ketting om.' - Tekstueel werkt dit nummer een versleten bluescliché uit: zijn baby gaat weg en hij probeert wanhopig om haar te laten blijven. Ze is van plan om met de nachttrein te vertrekken, maar deze gaat naar New Orleans, niet... Georgië .
- Lester Melrose nam Williams op in Chicago voor Bluebird Records. De credits op de single identificeren de band als Joe Williams' Washboard Blues Singers. Chasey 'Kokomo' Collins speelde wasbord en vader Tracy speelde viool op deze opname.
Vanwege de fragmentarische registratie weten historici niet hoeveel exemplaren van het nummer zijn verkocht. Wat het aantal ook was, het was genoeg om een succesvolle carrière voor Williams te lanceren en een van de meest gecoverde en geïmiteerde nummers in de bluesgeschiedenis te worden. - Williams nam een gemoderniseerde versie van het nummer op in 1941, opnieuw voor Bluebird. Hij nam een derde keer op in 1947, dit voor Columbia Records.
- Muddy Waters deed het nummer in 1953. Chess Records nam het op onder de titel 'Turn the Lamp Down Low'. Deze versie is degene die latere interpretaties het sterkst heeft beïnvloed.
- Van Morrisons eerste band, Them, coverde het nummer in 1964 en bracht het uit als hun eerste single met ' Heerlijkheid ' als de B-kant. Het steeg naar #10 in het Verenigd Koninkrijk en borrelde onder in Amerika, in kaart brengend op #102. 'Gloria' werd later uitgebracht als een A-kant single.
Morrison baseerde de versie van Them op het arrangement van John Lee Hooker uit 1949, dat hij 'Don't Go Baby' noemde. Hij hoorde het nummer op Hooker's 1959 Highway of Blues album. - Jimmy Page, destijds sessiemuzikant, speelde gitaar op de versie van Them. Er is discussie over of hij wel of niet de gitaarpartij heeft geschreven of gewoon speelde wat Billy Harrison van Them had bedacht. Of Page daadwerkelijk degene is die aan het spelen is, wordt op zichzelf besproken, maar zowel Page-biograaf George Case als Morrison-biograaf Johnny Rogan geloven van wel.
- In 1992 nam de Blues Hall of Fame het nummer op in de categorie Classics of Blues Recordings; de Rock and Roll Hall of Fame heeft 'Baby, Please Don't Go' op hun lijst van '500 Songs that Shaped Rock and Roll.'
- AC/DC voerde het nummer gedurende het leven van de band regelmatig live uit. Ze namen het voor het eerst op in 1974 op hun debuutalbum Hoog voltage .
- Aerosmith deed het nummer in 2004 op Honkin' is Bobo . Hun versie bereikte #7 op de Mainstream Rock Track Chart. Sindsdien heeft de band er een vast onderdeel van hun livesets van gemaakt.
