Οι πέντε πυλώνες από ψαμμίτη έχουν διακοσμηθεί με τα χρόνια από το ανθρώπινο χέρι. ΑΝ και το όνομα συνήθως μεταφράζεται "πέτρες της κορυφογραμμής", πολλοί τις βλέπουν σαν μετεωρίτες, ένα μέρος αρχαίου μυστικισμού και λατρείας.
Πιστεύεται πως το Externsteine έχει χρησιμοποιηθεί για την παρατήρηση των άστρων, για λατρεία και θυσίες. Αν και οι χρονολογήσεις που έγιναν δεν δείχνουν κατοίκηση του μέρους πριν τον 5ο αιώνα μ.Χ., κανείς δεν αποκλείει πως το Externsteine ήταν μέρος παγανιστικών τελετουργικών.
Μάλλον συνδεόταν με το Irminsul, ένα παρακλάδι του Τευτονικού παγανισμού. Το Irmnisul εμπεριείχε τη λατρεία ενός πυλώνα (συχνά κάποιον κορμό δέντρου) που προεξείχε σε ανοικτά μέρη.
Οι Ναζί στην δεκαετία του 1930 επισήμαναν τον χώρο ως ιερό άλσος στο οποίο μπορούσαν να τιμηθούν οι πρόγονοι τους. Ο Χίμλερ μάλιστα προέδρευσε μιας οργάνωσης που μυθοποιούσε την περιοχή.
Στην κορυφή του ψηλότερου πυλώνα υπάρχει ένας αρχαίος βωμός, που μάλλον χρησιμοποιούνταν από τους παγανιστές. Υπάρχουν επίσης γλυπτά του 12ου αιώνα -τα μοναδικά Βυζαντινά γλυπτά στην Γερμανία- που απεικονίζουν ένα δέντρο σε κλίση. Τότε ήταν που εγκαταστάθηκαν στη βάση των βράχων μοναχοί ασκητές. Με το πέρασμα των αιώνων το Externsteine άλλαξε πολλούς "ιδιοκτήτες". Από την εκκλησία πέρασε στα χέρια ντόπιων ευγενών και μετατράπηκε σε φρούριο και φυλακή. Τον 16ο αιώνα ήταν κυνηγετικό κατάλυμα. Κάποια στιγμή μέσα στον 18ο αιώνα έγινε μέρος αναψυχής και τελικά ανακαινίστηκε και πήρε ξανά τη μορφή που είχε κατά τα πρώτα χριστιανικά χρόνια τον 19ο αιώνα.
