Как крупный военно-административный центр России Н.Новгород с древних времен имел гарнизон. До введения регулярной армии (1699 г.) местные стрельцы и служилые иноземцы жили в городе особыми нетягловыми слободками, с 1700 г. солдаты и офицеры определялись на постой в дома нижегородцев, что приносило горожанам массу неудобств.

Вступив на престол, Павел I разрешил губернским дворянам возводить своей казной гарнизонные казармы. По указу от 24 апреля 1797 г. часть кремлевских административных зданий передавалась под размещение семей офицеров, но 570 солдат и 15 обер-офицеров оставались на частных квартирах. 5 августа 1797 г. губернатор А.Л.Львов разрешил нижегородским дворянам собрать по 14 коп. с каждой души их крепостных (всего 42 тыс. руб.) для строительства в кремле двух гарнизонных домов.

Уже ушедший на пенсион губернский архитектор Я.А.Ананьин составил проект и смету, возводить же здания поручалось машинного дела мастеру И.И.Немейеру, вести работы арзамасскому мещаниму каменщику Василию Монахову. К 1802 г. два здания казарм "на погребах" были отделаны: одно замыкало южную сторону плац- парада, другое стояло за вице-губернаторским домом на берегу пруда Сарка.

После Отечественной войны 1812 г. в нем квартировали участники народного ополчения, в 1819 г. корпус был передан под размещение школы кантонистов. После пожара 1828 г. архитекторы И.Е.Ефимов и А.Л.Леер восстановили корпус в облике, дошедшем до нас (кроме разобранных треугольных фронтонов кровли).