Η δημιουργία της παπικής βιβλιοθήκης στην Αβινιόν ήταν απόρροια των εκκλησιαστικών εξελίξεων, της διένεξης δηλαδή του πάπα Βονιφάτιου H΄ με τον βασιλιά της Γαλλίας Φίλιππο Δ΄ τον Ωραίο. Οι προστριβές μεταξύ τους άρχισαν το 1296, όταν ο τελευταίος επέβαλε φορολογία στον κλήρο χωρίς την παπική συγκατάθεση και ο Βονιφάτιος απέρριψε το δικαίωμα των βασιλέων να προχωρούν σε τέτοιες πρωτοβουλίες αγνοώντας την Αγία Έδρα. Ο Φίλιππος Δ΄ δεν συνέπλευσε με τις βουλές του πάπα και αντέδρασε δυναμικά, φτάνοντας στο σημείο να ελέγχει τους δρόμους προς τη Ρώμη, με αποτέλεσμα μέσα σε λίγους μήνες ο Άγιος Πατέρας να περιέλθει σε δεινή οικονομική κατάσταση. Ο Βονιφάτιος αναγκάστηκε να υποχωρήσει, αλλά το 1301 ξέσπασε νέα κρίση, με αφορμή την παραπομπή ενός Γάλλου επισκόπου σε βασιλικό δικαστήριο με την κατηγορία της εσχάτης προδοσίας. Ο Βονιφάτιος κάλεσε τους επισκόπους της Γαλλίας σε συνοδική σύναξη στη Ρώμη, την οποία εμπόδισε ο Φίλιππος. Τα πράγματα οδηγήθηκαν σε ακρότητες, ενώ μετά τον θάνατο του Βονιφάτιου ο διάδοχός του Βενέδικτος ΙΑ΄ δεν έζησε παρά λίγους μήνες, οπότε υπήρξε ένα διάστημα χηρείας στο παπικό αξίωμα.
Το 1305 ο αρχιεπίσκοπος του Μπορντό ενθρονίστηκε πάπας με το όνομα Κλήμης Ε΄, ωστόσο με συντονισμένες κινήσεις του βασιλιά Φιλίππου του Ωραίου δεν έφτασε ποτέ στη Ρώμη. Έκτοτε το χρονικό της Αγίας Έδρας χαρακτηρίζεται ως «Βαβυλώνια Αιχμαλωσία» του παπισμού, όπως την ονόμασε ο Πετράρχης, με την αλληλοδιαδοχή Γάλλων εκκλησιαστικών αξιωματούχων στον παπικό θρόνο.
Ο νέος πάπας που εξελέγη με το όνομα Ιωάννης ΚΓ΄ κατεδάφισε και ανοικοδόμησε με νέο σκεπτικό το επιβλητικό επισκοπικό ανάκτορο της Αβινιόν. Το 1338 ολοκληρώθηκε στην ανατολική πλευρά του μεγάρου ο πύργος του Πάπα, ή πύργος του Θησαυρού, που αργότερα ονομάστηκε πύργος των Αγγέλων. Στον πύργο αυτό διαμορφώθηκε και ο χώρος του θησαυροφυλακίου, στο τελευταίο επίπεδο του οποίου φυλάσσονταν πιθανότατα και τα βιβλία, πάνω ακριβώς από τα διαμερίσματα του πάπα.
Ο εμπλουτισμός της βιβλιοθήκης της Αβινιόν βασίστηκε σε πολλές μεθόδους και πρακτικές με αποτέλεσμα τη συγκέντρωση μιας εντυπωσιακής συλλογής κωδίκων. Μία σταθερή πηγή εξοπλισμού της βιβλιοθήκης ήταν τα κληροδοτήματα των προσωπικών συλλογών του κάθε πάπα, τα οποία κατέληγαν στη βιβλιοθήκη είτε με την αναρρίχησή του στο αξίωμα είτε με τη διαθήκη του. Ο πάπας Κλήμης ΣΤ΄ διέθετε μία πλούσια βιβλιοθήκη, που διακρίνεται και από τον χαρακτηρισμό των βιβλίων με το οικόσημό του ως Πιερ Ρότζερ (Pierre Roger), προτού δηλαδή φορέσει την παπική τιάρα. Ο καρδινάλιος της Αραγονίας πάλι, μετέπειτα Βενέδικτος ΙΓ΄, είχε στην κατοχή του μία βιβλιοθήκη που σύμφωνα με μία απογραφή αριθμούσε, ούτε λίγο ούτε πολύ, 185 κώδικες.
Κ.Σπ. Στάικος, Η Ιστορία της Βιβλιοθήκης στον Δυτικό Πολιτισμό, τόμ. ΙV, Αθήνα, Κότινος, 2010, σ. 334–337.