Het verhaal begint op het Griekse eiland Kalokairi, waar Sophie Sheridan (Amanda Seyfried) zich voorbereidt op haar huwelijk met Sky (Dominic Cooper). Sophie is altijd opgevoed door haar alleenstaande moeder, Donna (Meryl Streep), en heeft haar vader nooit ontmoet. Ze leest in het geheim het dagboek van haar moeder en ontdekt dat ze drie mogelijke vaders heeft:Sam Carmichael (Pierce Brosnan), Bill Anderson (Stellan Skarsgård) en Harry Bright (Colin Firth).
Vastbesloten om erachter te komen wie haar vader is, nodigt Sophie alle drie de mannen uit voor haar bruiloft zonder het Donna te vertellen. Wanneer ze aankomen, is Donna geschokt en boos, maar ze stemt ermee in hen te laten blijven voor de bruiloft. Naarmate het weekend vordert, leert Sophie alle mannen kennen en begint ze zich af te vragen wie haar echte vader is.
Ondertussen moet Donna omgaan met haar eigen gevoelens over het verleden. Ze is nog steeds verliefd op Sam, maar ze is ook bang om opnieuw gekwetst te worden. Ze neemt haar twee beste vriendinnen, Rosie (Julie Walters) en Tanya (Christine Baranski), in vertrouwen.
Aan de vooravond van de bruiloft heeft Sophie een openhartig gesprek met elk van de drie mannen. Ze leert meer over hun verleden en hun relatie met Donna. Ze leert ook dat elk van hen een speciale band met haar heeft.
Uiteindelijk besluit Sophie dat ze niet hoeft te weten wie haar vader is. Ze is blij met de liefde en steun van haar moeder en haar vrienden. Ze trouwt met Sky, en ze leven allemaal nog lang en gelukkig.