En la última sesión del año de 1995, el H. Consejo Universitario aprobó una partida de 2,5 millones de pesos para iniciar la restauración del edificio de la Aduana Vieja, pero dada la envergadura de la obra y la urgente necesidad de contar con espacios para la biblioteca y diversas áreas académicas, se canalizaron los recursos anunciados para la recuperación de otro edificio ubicado en la misma avenida 2 Oriente en el Núm. 410, el cual se denominaría más adelante como Casa Amarilla, por el color seleccionado para su fachada e interiores en ocasión de su restauración. El inmueble, que por su estilo podemos suponer también se construyo en la época porfiriana tiene algunos remates neoclásicos, como la balaustrada que se encuentra en el piso superior y dos patios.   El edificio había sido adquirido por la Universidad ese mismo año de 1995, con el apremio que tuvo el ICSyH, pues  se encontraba en cierto grado de deterioro y requería una urgente rehabilitación. La restauración corrió a cargo de una empresa contratada por la Universidad y las labores de supervisión de la obra fueron realizadas por el Arq. Alfredo Saldívar Porras.

​

La ceremonia inaugural de entrega de llaves al ICSyH fue el 27 de febrero de 1996, luego del informe rendido por el Lic. Alfonso Vélez Pliego. No obstante, la Casa Amarilla fue entregada después de los trabajos de restauración al Mtro. Roberto M. Vélez Pliego por la Secretaría Administrativa de la Universidad, el día 12 de mayo de 1997.

​

Dicho inmueble se destinó a la biblioteca "Ernesto de la Torre Villar", a la dirección de la Unidad de Información Bibliohemerográfica y Documental, a las áreas de investigación en Ciencias del Lenguaje, Estudios Latinoamericanos, y de Sociología y Ciencia Política, así como a los posgrados de Ciencias del Lenguaje y de Sociología. Asimismo, se dotó al edificio con servicios de cómputo para investigadores y estudiantes.