Hij werd geboren op het eiland Bequia, Saint Vincent, en kreeg een koloniale basisschoolopleiding. In 1930 ontving Palmer een studiebeurs om naar de middelbare school in Londen te gaan. Met aanvullende beurzen ging hij medicijnen studeren aan de Universiteit van Birmingham, waar hij in 1941 afstudeerde.
Hij keerde terug naar West-Indië en werkte in Jamaica, Trinidad en Tobago en Saint Lucia. In 1950 keerde Palmer terug naar Saint Vincent om te oefenen. In 1954 was Palmer medeoprichter van de People's Political Party (PPP) en werd hij verkozen tot wetgever in de Wetgevende Raad. In 1967 werd hij verkozen tot eerste minister.
In 1979 leidde Palmer Saint Vincent en de Grenadines naar de onafhankelijkheid van Groot-Brittannië. Datzelfde jaar werd hij door koningin Elizabeth II tot ridder geslagen.
In 1984 trok Palmer zich terug uit de politiek en werd hij als premier opgevolgd door James Fitz-Allen Mitchell. Hij stierf op zijn 92e verjaardag.