В 1575—1576 годах здесь жил касимовский хан Симеон Бекбулатович, венчанный по воле Ивана Грозного «великим князем всея Руси». При Борисе Годунове на каменном основании был возведен обширный деревянный дворец, вскоре разрушенный Лжедмитрием I.

На этом месте, пишет голландец Исаак Масса, самозванец «приказал выстроить над большою кремлевской стеной великолепные палаты, откуда мог видеть всю Москву. Внутри этих описанных выше палат он повелел поставить весьма дорогие балдахины, выложенные золотом, а стены увесить дорогою парчою и рытым бархатом, все гвозди, крюки, цепи и дверные петли покрыть толстым слоем позолоты; и повелел внутри искусно выложить печи различными великолепными украшениями, все окна обить отличным кармазиновым сукном; повелел также построить великолепные бани и прекрасные башни. он повелел в описанном выше дворце также устроить множество потаенных дверей и ходов, из чего можно видеть, что он в том следовал примеру тиранов и во всякое время имел заботу». Потаенные двери и ходы не спасли самозванца во время восстания 17 мая 1606 года — заговорщики настигли его у стен нового дворца. Когда они ворвались во дворец, Лжедмитрий I, пытаясь спастись, выпрыгнул из окна, повредил ногу, был найден лежащим на земле и убит. Новый царь Василий Шуйский, в свою очередь, отказался жить в палатах «расстриги». В 1607 году было завершено строительство нового царского деревянного дворца. Спустя два года, как будто в ознаменование непрекращавшихся несчастий этого государя, «у тех хором подломились сени, а мост и бревна, и брусья были новые и толстые».

Колокол «Лебедь»

Там же лили колокола. В 1533 году Николай Немчин изготовил тысячепудовый колокол-благовестник, который поставили «на деревянной колокольнице». Великий мастер Андрей Чохов также делал колокола, добившись и в этом деле выдающихся успехов. Колокол «Лебедь», отлитый им в 1594 году для Троице-Сергиева монастыря, весил десять тонн, «Годунов» (1598) — более 29 тонн.

Вес самого большого колокола, который Чохов отлил в 1600 году, достигал 64 тонн. Естественно, он получил имя «Царь». Колокол поместили в проеме Воскресенской звонницы. Впрочем, его первенство было недолгим. В середине XVII столетия на смену ему пришел «тезка», отлитый в 1655 году мастером Александром Григорьевым, весом в 128 тонн. Стоит ли говорить, что и этот рекорд был побит потомственными литейщиками Пушечного двора Иваном Федоровичем и Михаилом Ивановичем Маториными, в 1735 году создавшими прославленный колокол, также носивший имя «Царь» и достигший рекордного веса более чем в 200 тонн?

Пушечный двор неоднократно упоминается в иностранных описаниях Москвы и отмечается на ее планах. С 1630-х годов его изображают с двумя литейными башнями. Сохранился подробный «чертеж» Пушечного двора и местности вокруг него, выполненный русскими картографами в середине XVII века: с двумя башнеобразными литейными «амбарами» и большим колодцем с колесом посередине.