传说，灵芝原来是天蓬元帅的千金，因违天规，受贬后托草投胎而来。
灵芝姑娘有沉鱼落雁之容，闭月羞花之貌，天上人间绝无女子能与之媲美。玉帝虽有三宫六院，贵妃就有19万人，可就是无一人比得上她。有一天玉帝传旨，宣天蓬到凌霄宝殿见驾。天篷元帅以为自己行为失检，大祸临头，颤颤巍巍地跪在金殿上不敢仰视，喃喃地奏道：“陛下宣微臣上殿，不知有何见谕?”玉帝一改往常的威严，满脸笑容地说：“爱卿切莫惊慌，今日宣你非为别事，寡人最近得悉你有一女，品貌双优，欲破内宫额满之禁，例外纳为一万零一号贵妃，终日侍奉左右同享天庭之荣华，不知爱卿意下如何?”天篷本来官瘾极大，苦于无进身之阶，此刻一听，欣喜若狂，连忙捣蒜一般叩首谢恩，并求玉帝早点择良辰吉日迎接女儿。玉帝大悦，给了天篷十分厚重的封赏。
天篷兴冲冲赶回家中，喜笑颜开地把此事告诉了灵芝，心想女儿一定会喜不自胜。不料灵芝却一口回绝：“女儿回禀父帅，别看那玉帝位高至尊，实乃无恶不作的轻薄好色之徒。他那么多后妃，有几个得到好下场？父亲尚有一点爱女之心，也不会睁眼看女儿落入虎口。”天篷做梦也想不到的美事，被女儿当肥皂泡吹掉了。他深知女儿吃软不吃硬，忙开口哄道：“傻丫头，你难道不知一人进宫全家得福吗？你别看这贵妃的品位，比王母诸后低几等级，只要你用心求取恩宠，前程无量。你若一味固执，誓违圣命，玉帝岂能饶你和咱全家？咱们的荣华富贵势必断送在你手！”他暗中布置了丫环使女把灵芝软禁起来。
被囚的灵芝，日夜啼哭，悲哀欲绝。她深知自己的父亲是个卖女求荣的货色，压根儿就不指望这种人回心转意。她趁戒备不严之时，悄悄溜出帅府，变成一棵不显眼的小草，向凡间飘去。玉帝得知此事，气得暴跳如雷。为了维护自己的地位，掩盖天庭的丑闻，便发布“驱逐灵芝出仙界，贬她为一棵独居山野的小草，不准她在肥沃的土地上落脚，不准她再择偶婚配，也不准她再有一般小草那样有遮体的外衣，孤单地终身寂寞，裸茎露杆，等到她觉得这样活不如死，决定悔改，再予赦免。”从此灵芝在人间扎根了。
灵芝的名称在《本草纲目》作“茵”（音：囚）亦有深意，或许正记载着灵芝被囚的那段神话。