Растението има стъбло, покрито със сиво-черна силно напукана кора. Името на растението идва от цвета на кората му и от по-тъмния цвят на короната му, дължащ се на тъмнозелените листа. Листата на черната елша са сравнително големи и с обратно яйцевидна или почти кръгла форма. На върха са заравнени или леко врязани, по което лесно се отличава от другите наши елши. Ръбът на листата е двойно назъбен. Всяка листна петура разполага с от 5 до 8 странични двойки жилки като отделните жилки имат разклонения, водещи до различен зъб от ръба на листа.