Bazik_ ,
1. видеокарту = название, если это nvidia (новые драйвера от ~ 409) отключи все новыеодные "задержки" синхронизации, кадра и все к нему относящихся, это может исправить проблему с моментальным выбросом из java, в время свое помогло. У AMD подобное может встречаться.
2. Если есть права на ручное выделение видеопамяти (Linux / Win 10) , отключи функцию, виртуальная машина её не любит.
3. С некоторыми версиями программам MSI Afterburner (возможно и другими средствами мониторинга или захвата кадра), java может работать с ними, она присутствует и включена, выключи и посмотри как будет работать без нее.

В каком плане Java не отвечает, появляется окно "об экстренном прекращении?" и ему подобного?