De tekst van het lied benadrukt de emotionele onrust en het innerlijke conflict dat de man ervaart. Hij geeft toe dat hij nog steeds 'elke dag en nacht' aan zijn ex denkt en dat hij 'niet anders kan dan zich afvragen' of zij ook aan hem denkt. Hij erkent dat hij verder moet gaan, maar merkt dat hij dat niet kan doen, omdat zijn hart nog steeds aan haar verbonden is.
Het refrein benadrukt het onvermogen van de man om de liefde terug te geven die iemand anders hem aanbiedt. Hij zingt:"Ik kan niet op dezelfde manier van je houden, ook al doe je je best" en "Ik houd nog steeds vast aan de geest van wat we hadden." Dit suggereert dat hij emotioneel niet beschikbaar is voor een nieuwe relatie en nog steeds wordt verteerd door zijn gevoelens voor zijn ex-partner.
Door het hele nummer heen drukt de man zijn verlangen naar het verleden uit en zijn verlangen om weer bij zijn ex te zijn. Hij zingt:"Ik wou dat ik terug kon gaan en alle dingen die we deden ongedaan kon maken" en "Ik wou dat ik je weer in mijn armen kon houden." Dit suggereert dat hij spijt heeft van het uiteenvallen en moeite heeft om de realiteit van hun scheiding te accepteren.
Over het geheel genomen is "I Can't Love You Back" een aangrijpend nummer over liefdesverdriet, verlies en de uitdagingen van het loslaten van een relatie uit het verleden. Het legt de emotionele onrust en kwetsbaarheid vast van iemand die nog steeds worstelt met de nasleep van een breuk en er niet in slaagt opnieuw liefde te vinden.