Beim Bau der württembergischen Eisenbahn wurde direkt unter dem Schloss Rosenstein der erste Eisenbahntunnel Württembergs gebaut. Dieser Tunnel verband Stuttgart mit Cannstatt. Der Tunnelbau war heftig umstritten, da Kritiker eine Schädigung des Schlosses durch die Baumassnahmen befürchteten.

König Wilhelm I. erklärte trotz aller Bedenken sein Einverständnis. Der Tunnel wurde in bergmännischer Bauweise errichtet, Baubeginn war am 1. Juli 1844. Die Befürchtungen der Kritiker waren berechtigt, ein gewaltiger Wasser- und Schlammeinbruch ließ die Teichanlagen des Schlossgartens in die Baustelle brechen und verzögerte die Baumaßnahmen erheblich.

Das eingebrochene Deckgebirge musste in offener Bauweise entfernt und nach erfolgtem Ausbau des Tunnelgewölbes wieder aufgeschüttet werden. Der schließlich 362 m lange Tunnel wurde am 4. Juli 1846 fertiggestellt und war zweigleisig ausgebaut. Das Tunnelprofil ist rund 7 m breit und etwa gleich hoch.

Beim weiteren Ausbau des Bahnnetzes zu Beginn des 20. Jahrhunderts wurde u. a. die Strecke Stuttgart − Cannstatt viergleisig ausgebaut. Die neuen Gleisanlagen lagen auf höherem Niveau und beanspruchten mehr Platz, der im alten Tunnel nicht vorhanden war. Dazu wurden zwei weitere zweigleisige Tunnelröhren in offener Bauweise quer durch den Rosensteinpark gebaut. Die neue Konstruktion hatte eine Länge von 331 Metern. Der neue Rosensteintunnel wurde noch vor Ausbruch des Ersten Weltkriegs 1914 fertiggestellt, konnte aber aus Material- und Personalmangel erst im November 1915 in Betrieb gehen.

Schweren Belastungen war das Umfeld des Rosensteintunnels durch zahlreiche Luftangriffe im Zweiten Weltkrieg ausgesetzt. Bereits im Herbst/Winter 1942 wurde der Stuttgarter Hauptbahnhof schwer getroffen. In der Folge musste der Betrieb immer wieder zeitweise eingestellt werden. Ende 1944 wurde sogar noch eine Behelfsbahnstrecke vom Rosensteinviadukt quer durch den Rosensteinpark bis hinauf zum Tunnelportal des Pragtunnels gebaut, um beim evtl. Zusammenbruch des Rosensteintunnels durch Feindeinwirkung immer noch Zugverkehr zwischen den Rüstungsbetrieben in Feuerbach und Untertürkheim zu ermöglichen. Der Tunnel diente der Reichsbahn und dem Bahnpostamt als Luftschutzraum

In dieser Zeit sollen auch Flugabwehrgeschütze im alten Rosensteintunnel verbunkert gewesen sein. Der alte Tunnel ist  in einschlägigen Tarnnamen-verzeichnissen die Bezeichnung „EMU“gelistet. Streckenweise war die Tunnelsohle gegen Kriegsende in Beton ausgebaut, was auf eine beabsichtigte Nutzung als Untertageproduktionsstätte hindeutet. Der Eingang war mit drei versetzt gemauerten Wänden vermauerten, die den   Luftdruck von detonierenden Bomben abhielten. Nach dem Krieg gab es noch einen Mietvetrag mit der Firma Mahle bis 1946.

Am 21. April 1945 sprengten deutsche Truppen die Neckarbrücke zum Rosensteintunnel, wodurch der Verkehr zwischen Stuttgart und Cannstatt endgültig vollständig zum Erliegen kam.

Zwischen 1936 und 1945 wurde der Tunnel auch von drei Pächtern als Standort für eine Champignonzucht genutzt.

Heute befindet sich der alte Rosensteintunnel in Verwaltung des Landes Baden-Württemberg und steht unter Denkmalschutz. Auf Seite des Neckars ist das Tunnelportal seit 1966  vermauert und verschlossen. Das Portal in Richtung Hautbahnhof ist nicht mehr vorhanden. In diesem Ende der Tunnelröhre befindet sich eine unterirdische Energiezentrale der EnBW zur Fernwärmeversorgung der Stadt Stuttgart.