Την ημέρα αυτή το 1864, οι πρώτοι τρόφιμοι της Ένωσης άρχισαν να φτάνουν στη φυλακή Άντερσονβιλ, η οποία ήταν ακόμα υπό κατασκευή στη νότια Γεωργία. Ο Andersonville έγινε συνώνυμος του θανάτου, καθώς σχεδόν το ένα τέταρτο των κρατουμένων του πέθανε σε αιχμαλωσία. Ο Henry Wirz, ο οποίος έτρεξε τον Άντερσονβιλ, εκτελέστηκε μετά τον πόλεμο για τη βιαιότητα και κακομεταχείριση που διέπραξε υπό την εντολή του.

Η φυλακή, που ονομαζόταν επισήμως Camp Sumter, κατέστη αναγκαία μετά την κατάρρευση του συστήματος ανταλλαγής κρατουμένων μεταξύ Βορρά και Νότου το 1863 λόγω διαφωνιών σχετικά με το χειρισμό μαύρων στρατιωτών. Η αποβάθρα στο Άντερσονβιλ κατασκευάστηκε βιαστικά με τη χρήση σκλάβων και βρισκόταν στο δάσος της Γεωργίας κοντά σε ένα σιδηρόδρομο αλλά με ασφάλεια μακριά από τις μπροστινές γραμμές. Κλείνοντας 16 στρέμματα γης, η φυλακή έπρεπε να περιλαμβάνει ξύλινα στρατόπεδα, αλλά η διογκωμένη τιμή του ξυλείας που καθυστερούσε την κατασκευή και οι στρατιώτες του Yankee που φυλακίστηκαν εκεί ζούσαν κάτω από ανοιχτούς ουρανούς, προστατευόμενους μόνο από αυτοσχέδιες πεζογέφυρες που ονομάζονταν "shebangs" κουβέρτες. Ένα ρεύμα αρχικά παρείχε φρέσκο ​​νερό, αλλά μέσα σε λίγους μήνες τα ανθρώπινα απόβλητα είχαν μολύνει τον ρυάκι.

Το Αντερσονβίλ χτίστηκε για να κρατήσει 10.000 άνδρες, αλλά μέσα σε έξι μήνες περισσότερο από τρεις φορές ο αριθμός αυτός φυλακίστηκε εκεί. Οι όχθες του ποταμού διαβρώθηκαν για να δημιουργήσουν ένα βάλτο, το οποίο κατείχε σημαντικό τμήμα της ένωσης. Οι λόγοι ήταν ανεπαρκείς και μερικές φορές το ήμισυ του πληθυσμού αναφέρθηκε άρρωστος. Κάποιοι φρουροί κακοποίησαν τους κρατουμένους και υπήρξε βία μεταξύ των φατριών των κρατουμένων.

Ο Αντερσονβίλ ήταν ο χειρότερος από πολλές τρομακτικές φυλακές πολιτικού πολέμου, τόσο της Ένωσης όσο και της Συνομοσπονδίας. Ο Wirz πλήρωσε την τιμή για την απάνθρωπη κατάσταση του Αντερσονβίλ. εκτελέστηκε μετά τον εμφύλιο πόλεμο.