De film begint met Edie (Miller) die vanuit haar rijke huis in Boston in New York City arriveert. Ze ontmoet Andy Warhol (Pearce) en wordt onderdeel van zijn Factory-scene, een groep artiesten, muzikanten en artiesten die samen woonden en werkten in Warhols studio. Edie wordt al snel de muze van Warhol en verschijnt in veel van zijn korte films en kunstwerken.
Terwijl Edie's ster rijzende raakt, raakt ze steeds meer betrokken bij de drugsscene en begint haar relatie met Warhol te verslechteren. Ze begint ook te daten met Billy Quinn (Christensen), een charismatische muzikant, maar hun relatie is tumultueus en eindigt uiteindelijk. Edie's achteruitgang zet zich voort en ze sterft uiteindelijk in 1971 op 28-jarige leeftijd aan een overdosis drugs.
Factory Girl is een tragisch verhaal over de opkomst en ondergang van een jonge vrouw die zowel mooi als getalenteerd was, maar uiteindelijk vernietigd werd door haar demonen. De film biedt een kijkje in de wereld van Andy Warhol and the Factory en vangt de geest van de jaren zestig.
De film kreeg gemengde recensies van critici, die Millers prestaties prezen, maar kritisch waren over de vertolking van Warhol and the Factory in de film. De film was echter een commercieel succes en bracht wereldwijd meer dan $ 12 miljoen op.