「赤坂」という名称は茜草の茂る赤根山の坂からきていると言われています。寛永年間には赤坂見附から四谷へ上る坂の周辺に紀伊和歌山藩徳川家中屋敷があり、「紀伊国坂(きのくにざか)」と呼ばれました。
江戸時代、赤坂溜池は浮世絵にも描かれることの多い、風光明媚な名所として知られていました。浅野幸長によって開発された溜池は、江戸城の外堀として、また上水源として利用されただけではなく、池にはハスが植えられ、コイも放されて、人々の憩いの場でもありました。溜池の南岸には、土手を補強するために桐の木が数多く植えられ、「桐畑」と呼ばれていました。