Η Καστανίτσα αναφέρεται για πρώτη φορά γραπτώς το 1293, αλλά ο οικισμός θεωρείται ότι είναι σχεδόν δύο αιώνες μεγαλύτερος.
Ιδρύθηκε από τους Τσακώνες όταν εγκατέλειψαν την κυριαρχία της περιοχής σλάνικες φυλές που εισέβαλαν στην Πελοπόννησο.
Σύμφωνα με την παράδοση, το χωριό ιδρύθηκε από δύο οικογένειες που ονομάζονταν Πενταλόνας και Βεζενίκος.
Επί του παρόντος, το χωριό περιλαμβάνει περίπου διακόσια πενήντα κατοικημένα σπίτια, που αντιπροσωπεύουν μια σημαντική συρρίκνωση τα τελευαία χρόνια.
Τα περισσότερα σπίτια είναι πέτρινα
και οι περισσότερες στέγες στην Καστανίτσα είναι κατασκευασμένες από σχιστόλιθο, το οποίο, λόγω της χαμηλής απορρόφησης νερού, είναι πιο ανθεκτικό σε παγετό κατά τη διάρκεια των χειμερινών μηνών.
Καστανόδασος περιβάλλει το χωριό: Το μεγαλύτερο περιέχει 4.500 στρέμματα (18 km2).
Στο παρελθόν, αυτά παρήγαγαν μέχρι και τετρακόσιες τόνους κάστανα ετησίως.
(Ιστορικά, τα κάστανα χρησιμοποιήθηκαν για τη βαφή δέρματος και άλλων υλικών).