​Den ersten Entwurf für den Bau des Melanchthon-Gedächtnishauses lieferte der renommierte Berliner Architekturprofessor Johannes Vollmer. Nachdem Nikolaus Müller auch mit einem überarbeiteten Entwurf aus dem Haus Vollmers nicht zufrieden war, zeichnete der Berliner Theologieprofessor einen eigenen Aufriss für die Fassade des geplanten Museums, mit dem er auch Großherzog Friedrich überzeugen konnte.

Die Bauarbeiten begannen am 1. November 1897. Der ausführende Architekt war der aus einer Karlsruher Bauhandwerkerfamilie stammende Hermann Billing. Im Spätsommer 1899 setzten die Gebrüder Harsch und die Gebrüder Ammann den Dachstuhl auf das Gebäude. Im Jahr 1900 übernahm der Durlacher Architekt Wilhelm Jung die Leitung der Bauarbeiten. Unter ihm entstand die Galerie an der Fassade des Gedächtnishauses sowie die gesamte innere Einrichtung. Seit dem 5. Mai 1903 arbeitete der Stuttgarter Kunstmaler Eugen Schön an der Ausgestaltung der Malereien im oberen Stockwerk des Hauses.

Großherzog Friedrich, der Schirmherr des Melanchthonhauses, besuchte am 19. Juni 1898 die Baustelle. Am 30. November 1902 konnte Großherzogin Luise schon das im Rohbau fertig gestellte Haus besichtigen. Mit einem Festgottesdienst und einem anschließenden Festakt wurde das Melanchthonhaus schließlich am 19. Oktober 1903 feierlich eingeweiht und war nun für die gesamte Öffentlichkeit zugänglich.