《孔子家語》記載，孔子向魯國樂師師襄子學琴，一連十天只彈舊曲，老師每每告知可以更進一層學新的，而孔子自覺曲調形式雖已懂，但對其中的技巧仍未解；學會技巧仍不足，還要領悟曲調的內涵情志；情志外，還須體認出所譜的人物。
一段時間後，孔子得出這個人長相黑而高，眼光遠大，稱王於四方諸侯中，此若非周文王又能是誰呢？師襄子聽後離席敬拜，說：「正是《文王操》。」
這件事有著太多意涵：一是孔子深入又不捨棄的學習精神。二是學習態度必由形式而到內層意義，由意義更深入至情感意蘊與風味，最終探得精髓，得以悟通神理。三是《文王操》精深博大，高雅之外能蕩滌人的邪穢，正相應於周文王的人格。而孔子重視夏商周三王的音樂，也由此可見。
孔子不被衛君所用，打算去見趙簡子。經過黃河，聽說竇鳴犢、舜華被殺，他面對河水而感歎說：「美好的河水啊！浩浩蕩蕩！我不能渡過，也是命吧！」
子貢請教這樣說的意思，孔子說：「竇鳴犢、舜華是晉國賢能大夫。趙簡子尚未得志時，從政上依賴這兩人，如今得志，卻殺死二人而自己掌權。我聽說剖腹殺胎中幼獸，麒麟就不會來到此處郊野。排乾池塘的水撈盡所有的魚，蛟龍就不會調和陰陽，興雲作雨。搗翻鳥巢，毀壞鳥蛋，鳳凰就不來此飛翔。什麼緣故呢？君子忌諱自己的同類遭到傷害。鳥獸對於不義之舉尚且知道躲避，何況我孔丘呢！」在回到陬鄉歇息時，作《陬操》琴曲哀悼二人，然後不去見趙簡子，回到衛國。
有一天，衛靈公向孔子問起列陣作戰的事。孔子回答說：「祭祀的事我聽說過，軍隊布陣的事不曾學過。」這表達的是：孔子重禮而不輕言戰爭。
第二天衛靈公與孔子談話時，看見大雁飛來，就只顧仰望，神色間全不在意孔子。孔子於是離開了衛國，又去陳國。
孔子不是在意自己不受重視，而是衛靈公的態度顯然重視武力，而輕視禮樂教化，所以孔子覺得徒然留此也是枉然，不如離去。
魯哀公三年，孔子已六十歲。這年夏天，孔子在陳國，聽說魯廟被燒，就說受災地處應該是魯桓公、僖公的廟吧！經證實果然是。因為孔子認為上天對國君治國失德，必有報應。桓公弒兄登上君位，僖公出奔而又回魯，魯人厭惡，所以遭到祭廟失火災殃。
秋天，魯國季桓子病重，乘輦車望魯城，感慨嘆息說：「從前這個國家幾乎將興旺，因為我得罪孔子（不任用他），所以興旺不起來。」就對他的嗣子季康子說：「我死後你必然接掌輔佐魯國國君的地位，一定要召回孔子。」
數日後，季桓子過世，季康子繼承職位，喪事辦完，想召回孔子。大夫公之魚說：「從前國君魯定公任用過他，沒能有始有終，最後被諸侯恥笑。現在你再任用他，如果也不能有始有終，會再次招來諸侯恥笑。」季康子在公之魚建議下召冉求。
冉求將前往，孔子也認為冉求會受到重用。而孔子當下則想回家鄉，教導那些有心進取於大道而行事疏闊的弟子，只是要斟酌如何教導這些本質極美好的人才。子貢送行冉求，叮囑他被重用後，要讓魯國請孔子回去，因為子貢也希望魯國能重用孔子而興旺。
這一年孔子從蔡國前往楚國的葉地。葉公（楚國大夫，封於葉，稱公是僭越禮法）問孔子為政之道，孔子說：「為政要能使遠方的人歸附，近處的人擁護。」
有一天葉公向子路問孔子的為人，子路不回答。孔子聽說後就對子路說：「仲由，你為什麼不回答說：『他的為人，學習大道不知疲倦，教導人全不厭煩，發憤於學問忘記吃飯，快樂時忘記憂愁，以致於連衰老將到來也不知道。』」
【前期連結】孔子世家