Ontworpen door de Romeinse architect Vitruoya, werd de bibliotheek gebouwd ter nagedachtenis van Celsus Polemeanus, die een Romeinse senator, gouverneur-generaal van de provincie van Azië, en een groot liefhebber van boeken. Celsus 'zoon Julius Aquila, begon de bouw in 110 AD. De bibliotheek werd voltooid door Julius Aquila opvolgers in 135 AD.
Celsus werd begraven onder de begane grond in een loden container in een marmeren graf. Een gang achter de noordelijke muur leidt naar de kluis.
De Bibliotheek van Celsus was opmerkelijk, niet alleen voor zijn omvang en zijn schoonheid, maar ook voor de slim en efficiënt ontwerp.