Gedurende het nummer stelt Skylar Gray talloze vragen, waarbij hij zich afvraagt of specifieke dingen een verschil zouden hebben gemaakt in de uitkomst van de relatie. Deze vragen variëren van de vraag of vaker 'Ik hou van jou' zeggen of meer aandacht schenken aan de behoeften van de ander de relatie had kunnen redden, tot of de relatie hoe dan ook voorbestemd was om te mislukken.
Het refrein benadrukt het verlangen om te weten of enige inspanning of verandering de ondergang van de relatie had kunnen voorkomen:"Zou het ertoe doen? Zou het iets veranderen?" Het repetitieve karakter van deze vragen weerspiegelt het gevoel vast te zitten in een cyclus van twijfel en onzekerheid.
De tekst van het nummer suggereert ook een gevoel van nostalgie, met vermeldingen van 'oude dagen' en 'vervaagde foto's'. Dit versterkt het idee om herinneringen op te halen aan het verleden en je af te vragen wat er anders had kunnen zijn.
Uiteindelijk legt ‘Would It Matter’ de emotionele angst en introspectie vast die volgen op een romantische breuk. Het brengt het verlangen naar antwoorden en het verlangen naar duidelijkheid over te midden van de verwarring en onrust rond het einde van een relatie. Het lied spreekt over de menselijke ervaring van het zoeken naar afsluiting en begrip na een aanzienlijk verlies.