Vielen Speyerern ist der Schwalbenturm unbekannt, und selbst das so ausgezeichnete Werk “Kunstdenkmäler von Bayern”, Band Speyer, hat ihn in seiner Aufstellung der noch vorhandenen Stadttürme vergessen. Auf dem dort beiliegenden Katasterblatt ist er wohl eingezeichnet, aber nicht – wie auch die anschließende Stadtmauer – als ehemalige Stadtbefestigung gekennzeichnet. Der Grund hierzu mag sein, dass man den Schwalbenturm weder von der Unteren Langgasse noch von der Mühlturmstraße her sehen kann. Von Haus Nummer 4 der Unteren Langgasse kann man in den ehemaligen Stadtgraben hinuntersteigen und sieht dann die Außenseite (Nordseite) des Turmes, links davon die Reste der alten Stadtmauer. Besteigen lässt sich der Turm nur von der Mühlturmstraße her durch die ehemalige Mühlturmgarage.
Der Schwalbenturm zählt zu den nördlichen Mauertürmen der St.-Gilgen-Vorstadt. Seinen Namen verdankt er, gleich den meisten Türmen dieser Vorstadt, z.B. den Türmen “Zum Storchen”, “Zum Habicht”, Zum Kautz” usw., einer Vogelart. Sein Erbauungsjahr im späten Mittelalter ist unbekannt. Die militärische Bedeutung war gering. Im “Inventarium des Zeugamtes” von 1611, das die damaligen Zeugmeister der Freien Reichsstadt, Daniel Gauß, Hans Georg Hünerfauth, Leonhard Kaiser und Hans Treiber verfassten, wird vermerkt, dass im Turm “Zur Schwalbe” keine Waffen aufbewahrt werden. Damals aber waren von den 68 Türmen der Stadtbefestigung nur acht, nümlich die Türme “Zur Schwalbe”, “Zum Kautz”, “Zur Hatzel”, “Zum Hahnen” und “Zum Bock” der St.-Gilgen-Vorstadt, der äußere Germansturm bei der Sankt-Marx-Vorstadt und die Türme “Zur Tanne” und “Erle” in der Vortstadt Alt Speyer ohne Waffen.
Im Jahre 1595 wurde der Turm zur Schwalbe noch so umschrieben: “Turm in Jerg Beyerlins Garten”. Vermutlich ist das, obwohl der Titel “Herr” fehlt, der RKG Advokat Dr. Georg Berlin. Seine Witwe besaß hier bis 1578 ein Grundstück. 1772 benützte ihn der Glaser Ludwig Spiegel als Gartenhaus. Im 18. und 19. Jahrhundert fanden die ehemaligen Vorstadttürme gerne als Gartenhäuser Verwendung, so der Falkenturm bei der Gedächtniskirche als Gartenhaus des Herrn von Rogister (1839), der Zimmermannsturm in der Nähe des Sitzes der evangelischen Landeskirche als Ruheort des “unchristlichen Christians” des Speyerer Goethefreundes Dr. Ehrmann (1819), der ehemalige Runde Turm oder Alte Mühlturm an der Rützhaubstraße als “Gartenhaus der Familie Becker” (1772) usw. Auch vor dem Schwalbenturm dehnte sich, wie ein Stadtplan aus dem Jahre 1821 anzeigt, eine gepflegte Gartenanlage aus. Das biedermeierliche Speyer war ja an solchen Gartenanlagen nicht arm. Davon ist nichts mehr vorhanden, in den letzten Jahren diente der Turm als Kohlenkeller.
Der Schwalbenturm, ein Rundturm, steht etwas mehr als zur Hälfte aus der Stadtmauer hervor. Seine Rückseite (Südseite) dürfte früher offen gewesen sein. Nach der Stadtbeschreibung von 1772 maß die Rückseite 18 Schuh ( ~5,18 Meter), seine Tiefe 22 Schuh (~6,04 Meter). Wie sich Herr Adam Witz, Untere Langgasse 4, 1950 erinnerte – seit 1878 wohnte er dort – hatte der Turm früher ein Kegeldach. Dieses Dach stürzte in den 1930er Jahren bei einem nächtlichen Sturm ein. Damals wurden die oberen Turmteile im heutigen Zustand aufgebaut und mit einer Plattform und einer Galerie versehen. An der Westseite führt eine schmale Betontreppe hoch. Schießscharten sind nicht mehr vorhanden. Nur zwei rundbogenförmige Fenster – eins ist zugemauert – aus neuerer Zeit zeigen in den Stadtgraben. Die Höhe des Turmes beträgt vom Stadtgraben bis zur Galerie 6,8 Meter, innen (Hofseite bis Galerie) 5 Meter.