27 августа/9 сентября 1794 года батюшка Серафим ушел на жительство в Дальнюю пустынку.

Его уход был связан со стремлением старца к уединению и самоиспытанию души по примеру святых отцов-отшельников. В возрасте сорока лет по благословению своего духовного наставника и строителя пустыни отца Пахомия 27 августа 1794 года батюшка Серафим ушел на жительство в лесную пустынь, в пяти верстах от монастыря на его территории. Располагалась келья старца на правом берегу реки Саровки.
«Келлия была большая, пятистенная с сенями и крыльцом (с южной стороны), над коим был навесец на столбиках, крыльцо было о трех приступках. В сенцах был огорожен чуланчик, в котором было оконце; в келлии было только одно волоковое окно. Печь стояла в северо-западном углу келлии. И топилась из нея. Под полом келлии был погребок. К сенцам с западной стороны была сделана бревенчатая пристройка, служившая и двором, и сараем, ход в нее был со вне, с южной стороны. Все это было покрыто двускатною тесовою кровлею – в одну связь в застрехи. Саженях в десяти от келлии на берегу вырыта была пещерка, в которою иногда уединялся отец Серафим. Внизу под горой был колодезь – родник. Вокруг келлии был огород, обнесенный жердневым забором, в столбах». Описание пустыньки, 1890 год.