Hier is een beschrijving van het huis uit het verhaal:
‘Gedurende een hele saaie, donkere en geluidloze dag in de herfst van het jaar, toen de wolken drukkend laag aan de hemel hingen, was ik alleen, te paard, door een bijzonder somber stuk land getrokken; en uiteindelijk Terwijl de schemering van de avond aanviel, bevond ik me in het zicht van het melancholische Huis van Usher. Ik weet niet hoe het was, maar bij de eerste glimp van het gebouw kreeg ik een gevoel van ondraaglijke somberheid doordrong mijn geest, ik zeg ondraaglijk; want het gevoel werd niet verlicht door dat half-plezierige, omdat poëtische gevoel, waarmee de geest gewoonlijk zelfs de strengste natuurlijke beelden ontvangt van het verlaten of verschrikkelijke tafereel – op het simpele huis en de eenvoudige landschapskenmerken van het domein – op de sombere muren – op de lege, oogachtige ramen – op een paar ranke zeggetjes – en op een paar witte stammen van vergane bomen – met een totale neerslachtigheid van de ziel die ik met geen enkele aardse sensatie beter kan vergelijken dan met de nadroom van de opiumliefhebber – de bittere terugval in het dagelijks leven – het afschuwelijke vallen van de sluier. Er was een ijzige toestand, een zinken, een misselijkmakend hart - een onverloste somberheid van het denken die geen enkele prikkel van de verbeelding kon martelen tot iets van het sublieme."
Poe's beschrijving van het Huis van Usher creëert een sfeer van angst, verval en onderdrukking, en vormt het decor voor de gebeurtenissen in het verhaal.