A partir de la intensa actividad británica desarrollada en la región, el cerro y el puerto natural ubicado a sus pies, eran conocidos como "Puerto y Cerro del Inglés" (Cerro San Antonio). Asimismo, una de las compañías que operaba en el sitio adoptó el nombre "The Pan de Azúcar Bay" (Bahía de Pan de Azúcar). Los primeros registros escritos de reconocimiento territorial realizados en la expedición del Capitán Juan Hidalgo, datan de 1717.