Der Ort wurde im 8. Jahrhundert besiedelt und erstmals in 1059 Urkundlich erwähnt. Im Jahr 1192 wurden Elsoff, Alertshausen, Beddelhausen und Schwarzenau die Vogteirechte zugesprochen. Elsoff brannte im Jahr 1442 bis auf wenige Gebäude nieder. Ab Beginn des 16. Jahrhunderts kam es zu Streitigkeiten zwischen den Grafen von Wittgenstein und dem landgräflichhessischen Amt Battenberg. Dieser Konflikt hatte seinen Höhepunkt in 1725 und führte zu einem Aufstand der als "Elsoffer Bauernkrieg" in die Geschichte einging. 

1918-1919 war Elsoff und das Elsofftal von der Spanischen Grippe betroffen und viele Menschen starben. Das Elsofftal war eins der stärksten betroffenen Gebiete vom Regierungsbezirk-Arnsberg.

Elsoff gehört seit dem 1. Januar 1975 zu Bad Berleburg.