Lowland League mästare, 3-0 upp efter första benet. gick längre fram genom Dougie Gairs chipsade finish.
Cove jämnades ut dagen genom Jamie Watt, men Highland League-mästarna kunde kompensera resterande underskott.
Och Edinburgh kommer att placera League Two botten sida Shire över två ben för en plats i den divisionen..
Edinburgh City kommer att spela East Stirlingshire i den skotska ligan Två play-off efter att ha avslutat en aggregerad seger över Cove Rangers.