關於孔子作《曳杖歌》前後的情況，在《禮記·檀弓上》、《孔子家語·終記解》以及《史記·孔子世家》等書中都有大體相同的記載。茲引《禮記·檀弓上》中的相關文字如下：
孔子蚤作，負手曳杖，消搖於門，歌曰：“泰山其頹乎？樑木其壞乎？哲人其萎乎？”既歌而入，當戶而坐。子貢聞之，曰：“泰山其頹，則吾將安仰？樑木其壞，哲人其萎，則吾將安放？夫子殆將病也。”遂趨而入。夫子曰：“賜，爾來何遲也！……予疇昔之夜，夢坐奠於兩楹之間。夫明王不興，而天下其孰能宗予？予殆將死也。”蓋寢疾七日而沒。
東漢鄭玄在上述引文之末註解說：“明聖人知命。”所謂“知命”，字面意思是瞭解自己的命運；比較科學的解釋，也就是依據已知的情況對未來作出較爲近是的預測。孔子唱這首歌時，只是一種預感，接着病倒了，七天後去世，正應驗了他預感的正確。活着，活得清醒；快去世時，也不糊塗。大概這就是孔子之所以爲孔子，也是這首《曳杖歌》所要昭示世人的這一層意思吧。
從《禮記》的記載中可以知道，孔子在吟唱這首《曳杖歌》之前，心靈上正經歷着微妙的深刻的變化：夜裏他做了一個不祥的夢，夢見正坐在兩個廊柱之間被人祭奠；他早早地起了牀（“蚤作”），或許夢醒後就一直未曾睡着吧；他反揹着手，拖着手杖，孔穎達解釋“負手曳杖”說：“杖以扶身，恆在前面用。今乃反手卻後以曳其杖，示不復杖也。”（《禮記正義》）所謂“示不復杖”，意思是自己將不久於人世，不會再用手杖了；他還“消搖於門”，從屋內走到門口，顯出一副放鬆隨便的樣子。“消搖”，即“逍遙”，安閒放鬆的樣子。孔穎達說：“夫子禮度自守，貌恆矜莊。今乃消搖放蕩以自寬縱……示不能以禮自持。”又說“負手曳杖”與“消搖於門”二句，“並將死之意狀”（引書同上）。正是在這樣一種特殊的心態支配之下，孔子這位在二十多年前已早知“天命”的哲人，面對即將到來的死亡，也不能不長歌當哭，動情地唱出這首留戀人生、愛惜生命、無奈地直面死亡的悲歌。
《曳杖歌》全文只三句。前兩句用比擬，以物比人，以“泰山”、“梁木”擬“哲人”。“泰山”是衆山所仰的高山，現在泰山快要崩塌，衆山就無可瞻仰了。“梁木”是放置檁條、椽子的地方，現在梁木快要折斷，檁條、椽子就無可依託了。緊接着這兩個比喻的句子，末句直接說到自身。“哲人”，乃夫子自道；“萎”，原指草木枯死，引申爲病危。上述做夢等種種潛意識的以及行爲上的異常情況，令孔子自感已經病入膏肓，將不久於人世了。孔子的高足子貢，這天早上剛好來看望老師，聽了這首歌，由“泰山”、“梁木”的比喻，他想到了“哲人其萎”的後果將是十分嚴重的。他所說的“則吾將安放”，意思是他們這些學生就將永遠失去孔子這位誨人不倦、可敬可親的好老師了，不覺心情黯然。
全詩三個句子，雖有前兩句的比喻與後一句的直陳兩個層次，但因感情真摯，比喻貼切而又形象，且句式整齊，每句的第三字都用表示“大概”或“將要”的副詞“其”字，故仍不失一氣呵成、流利緊湊的即興吟成的本色。
