Служил в двевности частью заводненного крепостного рва рубленого Нижегородского кремля, а после возведения каменных стен оказался на заметно расширенной его территории, близ Дмитриевской башни. Свое название, вероятно, получил по месту заключения ордынского посла Сарайки, брошенного в 1374 г. с 1000 воинами в нижегородскую тюрьму.

Пруд подпитывался родниками, регулярно очищался от заиливания, потому его воду использовали, если не для питья, то для хозяйственных нужд. Пруд сохранялся до середины 19 в. По плану города 1824 г. его не только очистили в очередной раз, но и благоустроили: по берегам посадили березы, разбили прогулочные тропы, по рисунку архитектора И.Е.Ефимова срубили ажурные беседки. Однако после коренного градостроительного переустройства территории Нижегородского кремля в 30-40 годы 19 в. было решено пруд ликвидировать. Проект дренажной системы отвода родников разработал инженер И.Утгермарк, засыпку осуществляли рабочие купца-подрядчика А.М.Губина. 2 июля 1857 г. городской архитектор Н.И.Ужумедский-Грицевич сообщал, что "работы по засыпке Кремлевскаго пруда и проведение из него водоотводных подземных труб" окончены.