牡丹和芍药的最大区别在于牡丹是灌木，茎干为木质茎，而芍药则是宿根草本，茎干为革质茎。
其他的区别还有：牡丹的叶片宽厚，正面绿色略呈黄色，而芍药的叶片狭薄，叶片的两面均为浓绿色；牡丹的花朵着生于花枝条顶端，花朵的直径一般在20厘米左右，而芍药的花朵单生于枝顶或近顶端的叶腋，花朵的直径在15厘米左右。
另外，牡丹一般在4月下旬开花，而芍药在5月上中旬开花，牡丹比芍药早半个月左右开花。