Er wurde auf der Insel Bequia, St. Vincent, geboren und erhielt eine koloniale Grundschulausbildung. 1930 erhielt Palmer ein Stipendium für den Besuch einer weiterführenden Schule in London. Dank zusätzlicher Stipendien studierte er anschließend Medizin an der University of Birmingham, das er 1941 abschloss.
Er kehrte nach Westindien zurück und arbeitete in Jamaika, Trinidad und Tobago sowie St. Lucia. 1950 kehrte Palmer nach Saint Vincent zurück, um dort zu praktizieren. 1954 war Palmer Mitbegründer der People's Political Party (PPP) und wurde als Abgeordneter in den Legislativrat gewählt. Er wurde 1967 zum Chief Minister gewählt.
1979 führte Palmer St. Vincent und die Grenadinen in die Unabhängigkeit vom Vereinigten Königreich. Im selben Jahr wurde er von Königin Elisabeth II. zum Ritter geschlagen.
1984 zog sich Palmer aus der Politik zurück und wurde von James Fitz-Allen Mitchell als Premierminister abgelöst. Er starb an seinem 92. Geburtstag.