设置内核参数开启cgroup v2

在cmdline 中添加
systemd.unified_cgroup_hierarchy=1
或者执行

grubby --update-kernel=ALL --args=systemd.unified_cgroup_hierarchy=1

然后重启 reboot

创建新的组

比如我要限制内存大小那么在/sys/fs/cgroup/memory 中创建hadoop组
mkdir /sys/fs/cgroup/hadoop
设置内存大小
echo 128G > /sys/fs/cgroup/hadoop/memory.max

限制内存分配大小

将hadoop启动的进程比如加入到cgroup.procs

jps | grep -E 'SecondaryNameNode|NodeManager|NameNode|ResourceManager|DataNode' | awk '{print $1}'|xargs -I {} echo {} >/sys/fs/cgroup/hadoop/cgroup.procs

这样后边启动的yarn executor内存都能限制住了

本文由 妖言君 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Oct 18, 2024 at 02:46 pm