Comment.objects.annotate(year=Extract(date, what_to_extract='year'), month=
    Extract(date, what_to_extract='month')).values('year', 'month').annotate(
    Count('pk'))
Группировка Django count по годам/месяцам без доп.