O Palácio Pombal, ou dos Carvalhos, foi propiedade da familia do famoso Conde de Oeiras e Marquês de Pombal.
Foi o Marquês de Pombal, que, por volta de 1770, iniciou importantes obras de restauro e ampliação, contratando o escultor João Grossi para o embelezamento dos interiores, nos quais se salientam os magníficos tectos em estuque, as bonitas pinturas murais e diversos painéis de azulejos.
O Palácio manteve-se na família Pombal durante todo o século XIX. Em 1921, a parte extrema do lado sul, foi vendida a José da Silva Graça para demolição e posterior ampliação e reedificação do edifício do jornal O Século. A parte central do edifício foi adquirida pela Câmara Municipal de Lisboa, em 1968, na posse da qual se mantêm até hoje.