Желательно расположить альпинарий в стороне от пышных ярких цветников, подальше от хозяйственной зоны, в месте, позволяющем спокойно наслаждаться красотой скромных, но изысканных горных растений. Растения, используемые для посадки в каменистых садах, не должны отличаться излишней пышностью и вычурностью, они должны гармонировать, а не затмевать друг друга.
Особо ценны многолетники, обладающие не столько красивыми цветами, сколько красивыми листьями, сохраняющимися в течение всего лета: бадан, лиатрис, лилейник, хоста и т. п. "Изюминками" рокария, гордостью садовода являются редкие горные растения: горечавка, эдельвейс, сюсиринхий, карликовые примулы и папоротники. Незаменимы ковровые почвопокровные растения: арабис, обриета, бурачок, камнеломка, молодило, очиток. Не сможет обойтись каменистый сад и без древесных растений, очень декоративны карликовые вечнозеленые и хвойные виды. Летники редко используют для посадки в каменистом саду и выбирают при этом только миниатюрные формы: алиссум, лобелию, портулак, виолу и т. п.