荷兰人在此兴建「普罗民遮城」，汉人则以「赤嵌楼」、「番仔楼」或「红毛楼」来称呼它，至永历9年乙未(西元1655年）大致完成，这便是初期的赤嵌楼。当时的城楼，背山面海，与数里外的热兰遮城遥相对望，互为犄角，控制台江内海。