Q:

Как увеличить размер кучи в Android Studio (Java Android Studio)

Как увеличить размер кучи в Android Studio

A:

Как увеличить размер кучи в Android Studio

К сожалению, единственный и правильный ответ - никак.
Приложение выполняется на устройстве или эмуляторе, а вовсе не в IDE. И судя по скрину у Вас перерасход памяти именно при выполнении приложения.
Что можно попробовать для решения проблемы:

Увеличить размер кучи для приложения через манифест: <application android:label="@string/app_name" android:largeHeap="true" >;
Перенести тяжёлые операции в нативный код;
Оптимизировать алгоритмы работы приложения;
Из комментария: оптимизировать ресурсы приложения (уменьшить размер картинок, заменить на shape, заменить растровую графику на векторную и т.д.).

Как-то так...

