1. Идем в панель управления, находим значок Java. Открываем.
2. Переходим на вкладку Java.
3. Потом жмем View. Два раза кликаем на поле Runtime Parameters
4. Вводим туда -Xms256m -Xmx2048m

(первый параметр, минимальное кол-во выделенной памяти, второй максимальный.
Советую в максимальный брать не более 50% от всей памяти.