În antichitate, datorită peisajelor lui misterioase, Huangshan era considerat „locul sfânt al Împăratului", sălaşul Împăratului Cerului şi al zeilor nemuritori. În dinastia Qin era cunoscut sub numele de muntele Yishan datorită pietrelor sale de granit lucioase şi de culoare neagră, caracterul Yi (黟) însemnând „lemn negru". Ulterior, a fost numit muntele Huangshan, în traducere muntele Galben. Oare de ce, pentru că muntele și-ar fi schimbat culoarea? De fapt, se spune că denumirea de Huangshan vine de la o legendă.