1965년 뉴욕. 파격적인 전시로 현대 예술의 개념을 뒤흔든 앤디 워홀(가이 피어스)은 한 사교파티에서 자유롭게 춤을 추는 에디 세즈윅(시에나 밀러)을 발견한다. 앤디는 뉴욕으로 건너와 패션모델을 하고 있는 그녀가 자신이 꿈꾸는 새로운 예술의 뮤즈가 될 것을 직감한다. 앤디는 에디를 자신의 작업이 이루어지는 팩토리로 초대한다. 그의 실험영화 주연으로 발탁된 에디는 그의 예술적 동반자이자 뮤즈로서 유명해진다. 하지만 에디는 자신이 피사체일 뿐, 팩토리의 일원은 아니라는 소외감을 느끼기 시작하고, 그런 그녀 앞에 빌리(헤이든 크리스텐슨)라는 록스타가 나타나는데...