- Kurt Cobain sprak zelden over dit nummer, maar hij zei wel dat het was opgedragen aan zijn vrouw, Courtney Love, en dochter, Francis Bean. Het nummer gaat over alles wat er van hem werd verwacht en de veranderingen die hij had doorgemaakt, die niet allemaal prettig waren te oordelen naar de regels: 'Getrouwd... Begraven.'
- Aberdeen, Washington, waar de band is ontstaan, is een van de meest bewolkte plekken in de Verenigde Staten, en volgens Cobain ook een van de minst acceptabele. Zoals hij deed op de In de baarmoeder track 'Dumb', noemt Kurt de zon in dit nummer, zingend: 'In the sun I feel as one.' Dit weerspiegelde zijn verlangen om ergens anders te zijn.
- Dit was een hoogtepunt van Nirvana's? Losgekoppeld in New York , een akoestisch album opgenomen voor een MTV-special. Nirvana nam de Unplugged-sessie op 18 november 1993 op en het werd bijna een maand later uitgezonden. Het album werd uitgebracht op 1 november 1994 in de VS, zeven maanden na de zelfmoord van Cobain. In die context klonk het als een afscheidsbericht van Cobain.
Abby - Altoona, IA - Op sommige Europese versies van het album staat 20 minuten na dit einde een verborgen nummer genaamd 'Gallons Of Rubbing Alcohol Flow Through The Strip'. Albums met de verborgen track bevatten een sticker met de tekst 'Exclusive International Bonus Track'.
- Toen Nirvana opnam In de baarmoeder in februari 1993 wilden ze een rauw, uitgekleed album maken dat hen terugvoert naar hun roots na de gepolijste en door pop beïnvloede Laat maar zitten . De band bezweek echter onder druk om verder te mixen met 'Heart-Shaped Box', 'All Apologies' en 'Pennyroyal Tea'. Het gerucht gaat dat het hele album gemixt was en totaal niet leek op wat Nirvana had gewild, maar de drie leden van de band ontkenden dit heftig en gaven aan zeer tevreden te zijn met het resultaat.
Adrian - Brookings, SD - De christelijke band DC Talk coverde dit nummer soms tijdens concerten en veranderde de zin 'iedereen is homo' in 'Jezus is de weg'.
Brett - Edmonton, Canada - Sinead O'Connor coverde dit op haar album uit 1994 Universele Moeder .
Mike - Hamilton, Canada - ondersteund met ' verkracht mij ,' dit was de laatste single die Nirvana uitbracht. Kurt Cobain stierf ongeveer vier maanden later.
- De komiek Bobcat Goldthwait wilde dat Cobain een 'All Apologies'-video zou maken waarin Cobain Lee Harvey Oswald zou spelen in een re-enactment van de moord op JFK (de twee hadden elkaar ontmoet en werden vrienden tijdens een radioshow in Ann Arbor, Michigan). Cobain schuwde zelden controverse, maar in dit geval dacht zelfs hij dat de video de zaken te ver zou drijven.
