De geschiedenis van het Zalmhuis begint al in 1863, wanneer Adriaan Dekkers aan de Hooge Zeedijk een logement met uitspanning koopt. Tegenover het Estaminet, zoals het café heet, bevinden zich een koepel en een erf. Op dat buitendijkse terrein begint Dekkers in 1875 met het bouwen en van een overdekte markt voor de afslag en verkoop van zalm, elft, winde, houting, fint en steur. Deze markt zal uitgroeien tot de grootste zalmafslag van Nederland.

Rond 1880 neemt Jan van den Akker de uitspanning over. Hij weet van het café een bloeiend bedrijf te maken. In 1896 laat Van den Akker bovenop de zalmmarkt een paviljoen bouwen. Al gauw wordt het paviljoen te klein en in 1905, tijdens de bloeiperiode van de art nouveau, krijgt Van den Akker vergunning voor de bouw  van een nieuw  paviljoen, dat op stalen kolommen boven het water wordt gebouwd. De eerste glorietijd van het Zalmhuis is begonnen. Als in 1906 het Zalmhuis zijn deuren opent, gaat het met de zalm in de rivieren bergafwaarts. De watersnoodramp van 1953 is het begin van het einde voor het Zalmhuis. Dat einde wordt nog versneld door de oprukkende industrialisatie en de bouw van de Van Brienenoordbrug. Het veer wordt overbodig. Kort na 1955 maakt de slopershamer een einde aan de rijke historie van het Zalmhuis. Een voorlopig einde. In 1999 gaat de eerste nieuwe paal de grond in en in 2002 is het Zalmhuis terug van weggeweest. In 2020 wordt het Zalmhuis volledig gerenoveerd met een verrassend interieur.