De naam Three Skeleton Key komt niet van letterlijke skeletsleutels. Het afgeleid van de achternamen van drie vuurtorenbewaars die er dienden:
Het eiland werd genoemd naar deze drie mannen. Het beroemde korte verhaal "Three Skeleton Key" van Georges-Gustave Toudouze (1937) maakte de naam wereldwijd bekend. Het verhaal—over een vuurtoren belegerd door een horde zee-rotten—is een klassieker van survival horror, maar de titelherkomst is verrassend alledaags: een oproep van bewaars.