Ограничить ресурсы пользователя в системе можно изменив конфигурацию файла /etc/security/limits.conf

Кроме того, пользователь может переопределить Soft-лимиты используя ulimit.

Выполнение команды с аргументом -a выведет актуальные ограничения:
ulimit -a