阿贵为蒙古语，意为“山洞”。在阿贵庙四周的山崖峭壁上有5个天然岩洞，为阿贵洞、胜乐金刚洞、公主洞、水帘洞、护法神洞，有“一奇、二幽、三高、四险”的佳境。附近有一眼“神泉”，饮用、洗浴价值极高。山前冲积扇生长着柠条、霸王、梭梭等沙生植物，被自治区列为天然林保护区。沿山脚一线还连绵分布着著名的阴山岩画群、秦长城、汉古墓、鸡鹿塞、洪羊洞、仙女池等名胜古迹。