Батько Миколи Карловича Гербеля (1837—1883) був поетом, мати Анна Василівна фон-Дубельт. У 1877 році після закінчення Кременчуцького реального училища поступив на військову службу, яку залишив у 1883 року. З того часу мешкав у Херсонській губернії й активно працював на різних посадах у земських повітовій і губернській управах.