古时候,这鼓楼上有鼓,钟楼上有钟,是更夫用来向全城百姓报告时间的。南京、西安等古都也都建有钟楼或鼓楼,也是用来向人们报告时间的。
1384年钟楼始建时，位置在今天的西大街、广济街口。搬迁新址后，钟楼整体向东搬迁了约一千米。 此次搬迁是一次原件原样的整体迁移，而搬迁的原因在《钟楼碑》上有记载:因为明代建钟楼时囿于习惯心理，位置选在了唐长安城的中轴线上。
近二百年后，由于城市中心的东移，以及城门的改建，钟楼显得日益偏离城市中心。
于是，明神宗在1582年决定由陕西巡抚龚俄贤负责，对钟楼进行整体搬迁。此次迁移除重建基座外，木质结构的楼体全部是原样原件。
钟楼夜市：位于市中心的钟楼夜市是西安最著名的夜市之一，这里有各种小吃和手工艺品，例如烤肉串、臊子面、凉皮、糖葫芦等，还可以买到一些特色的手工艺品。