Eens was Leerdam naar alle vier de windstreken door muren, water en poorten omringd. Eind 14e, begin 15e eeuw kreeg Leerdam uit handen van Otto van Arkel stadsrechten. Aan de Lingekant verhief zich een kasteel, dat opmerkelijk genoeg niet binnen de muren gebouwd was maar deel uitmaakte van de vesting. Het kasteel met zijn torens, de muur, de bolwerk, muizentorens en niet minder dan drie poorten moeten voor de reizigers over het water een fraai beeld gevormd hebben.
Hoewel kasteel en poorten in de loop der tijd verwoest of gesloopt zijn, valt met een beetje fantasie het oude silhouet op de nu gerestaureerde Zuidwal nog op te roepen. Eén van de drie poorten was de veerpoort en één van de dingen die de tand des tijds heeft doorstaan is 't Veerhuys, van oudsher het veer over de Linge naar Asperen.
De veerpont over de Linge (jaren '30)Met de komst van de Lingebrug in 1958 raakt 't Veerhuys zijn functie kwijt, maar de bedrijvigheid bleef. Eerst kon men er voor 5 centen fietsen en steppen huren en later was er een naai-atelier gevestigd. Korte tijd was 't Veerhuys enkel woonhuis, totdat er in 1994 een horecavergunning op kwam en Restaurant 't Veerhuys zijn deuren opende.
Het Veerhuys in de jaren '50 van de vorige eeuw