El palacio de Linares de estilo Neobarroco, fue proyectado por el arquitecto Francés Adolf Ombrecht, y ejecutado pos Carlos Colubí en 1872.
Se construyó en un solar del ayuntamiento de Madrid, sus primeros propietarios fueron los marqueses de Linares, José de Murga y Reolid, y su esposa Raimunda Osorio y Ortega, sobre los que se cuenta una historia o leyenda, en la que según parece, el padre de José de Murga, dejó una carta al morir indicando que Raimunda era hija de él con una cigarrera de Lavapies, por lo tanto eran hermanos.
También se cuenta que tuvieron una hija llamada Raimundita, a la que asesinaron y enterraron en el palacio de Linares donde deambula como fantasma.
En el año 1990 se grabaron distintas psicofonías y este palacio fue un lugar fantasmagórico. Pero por otra parte parece que nada de esto fue verdad, que no eran hermanos y que nunca tuvieron hijos.
El palacio estuvo muchos años abandonado, entre la maleza del jardín se encontraba una construcción muy especial, la casa de las muñecas, aunque según parece nunca se pensó para jugar en ella, ni ningún niño lo hizo.
Esta casita rústica simplemente sirvió para tapar la medianería con la finca contigua, y sirvió para guardar las herramientas de labor del jardín.
Desde 1992, tras unos trabajos de rehabilitación del arquitecto Carlos Puente Fernández, se volvieron a abrir las puertas de este palacio, convertido en el centro cultural casa de América.
