孔子來到衛國，衛靈公以相同於魯國的薪俸給孔子。不久，有人向衛靈公說孔子壞話，衛靈公就派人帶著兵器在孔子處所進進出出，頗有威脅之意。孔子明白不受歡迎，恐有禍事發生，留了十個月就離開了，打算前往陳國。
經過匡城，因為孔子長得像陽虎，而陽虎曾經殘害匡人，匡人就困住孔子五天。一度與顏淵失散，孔子以為顏淵遇難，後來又會和，顏淵說：「老師尚健在，弟子怎能輕易而死？」
匡人圍捕更緊急，弟子們恐懼，孔子說：「雖然周文王已逝，典章制度就都不在了嗎？如果上天要毀滅道統，後來的我們就聽聞不到；上天若不滅絕這道統，承擔周朝道統的責任就在我們身上，那麼匡人又能對我們如何！」後來終於得以離開匡邑。
從匡來到蒲，一個多月後，返回衛都，寄居在蘧伯玉家。衛靈公夫人是個美艷而好色的人，邀見孔子，孔子推辭不成，只能以禮相見。子路不悅，孔子為此嚴正的說：「要不是心存施展王道的一絲希望，絕不會見她，若非如此，必遭上天厭棄。」
後來衛靈公和夫人同乘一輛車，宦官雍渠隨侍在右，讓孔子坐在第二輛車，然後招搖過市，十分不守禮法。孔子說：「我沒見過愛好德行如同愛好女色一般的人。」因此厭惡且失望，而離開衛國到曹國。
孔子來到宋國。某日在大樹下講習儀禮，司馬桓魋想殺害孔子，砍除大樹，孔子就離去。弟子勸說行動要快，孔子認為上天賦我德性使命，桓魋害不了自己。
到鄭國後，孔子與弟子失散了，獨自站在城門口。有人對子貢說：「東門有人，額頭長相似堯，頸似高陶，肩似子產。但是從腰以下比禹短三吋，整體看起來垂頭喪氣，像失去主人家的狗。」孔子聽聞後笑著說：「相貌不重要，但說我真是像喪家之犬，一點都沒錯啊！」孔子是感嘆沒有賢明的君主可依存。
在陳國，某日，一些隼被楛木箭杆、石材箭頭做的箭射穿，落在宮廷前。陳湣公請教孔子，孔子說：「這是肅慎人的箭。」肅慎，亦稱息慎、稷慎，是夏、商時代，生活在黑水（今黑龍江）和松花江一帶的部族。
孔子且說：「早年周武王建國，教化蠻夷，肅慎人就朝貢這種楛木做的箭。皇室為表示恩澤，將貢物分送諸侯國，其中就把此箭送給嫁到陳國的女兒。當時周王分送美玉給同姓諸侯，分遠方進貢之物給異姓諸侯，一則是展現親恩，再則是要他們不忘歸順周朝。因此將肅慎人的箭送給陳國。」
陳湣公派人去庫房查證，果然有這種箭。由此足見孔子學識淵博，對周朝事蹟尤其精審，所以各諸侯、大夫多向他請教。
在陳國的三年中，見陳國常受各國侵犯，孔子無法有作為，因此有不如歸去教育學生的想法。那群年輕人耿直有志氣，進取又不忘初衷，如此也算對社會有貢獻，不枉費生命意義。
離開陳國，途經蒲邑，正巧遇上衛國大夫公叔氏背叛，佔據蒲邑，因此被蒲邑人扣留。弟子公良孺駕著自己的五輛車追隨孔子，公良孺高大，為人賢良、勇敢。他說：「我以前跟隨夫子在匡遇難，現今又在此遇難，這是命！所以寧願與蒲邑人搏鬥而死。」
公良孺搏鬥得很激烈，蒲邑人恐懼，要求孔子不去衛國就放人，孔子同意。但離開後竟然前往衛國，子貢認為約定是不可以背棄的，孔子說：「被脅迫下訂立的約定，神明不會認可。」孔子訂約只是權宜之計，但不是為了逃命，而是希望能有機會在衛國實現治國理念。
衛靈公親自出城迎接，並請教可否討伐背叛的蒲邑，孔子認為可以。但衛靈公擔心若攻打蒲邑，致使蒲邑投靠晉、楚等敵方，或敵營乘機來襲，豈不更糟？孔子卻認為：「蒲邑百姓，男的有為衛國必死的決心；婦女也有保衛西河家園的志向，所討伐的不過是帶頭叛亂的四、五人而已。」
孔子何以如此說？因為搶奪叛亂是不被正義一方所接受的，保家衛國是眾人的心願。衛靈公雖覺得有理，可是卻不去討伐蒲邑。衛靈公年老而懈怠政務，雖重視孔子的能力，可惜仍不用孔子，孔子因而感嘆的說：「若有用我處理政事者，一年就可以行使我的政治教化，三年就可以有成效。」孔子又不得不離去了。
晉國佛肸反叛趙簡子，占有中牟，召請孔子協助治理。孔子有意去，子路說：「聽夫子說過，君子不去做壞事的人那裏。如今佛肸反叛，老師為何還要去呢？」孔子說：「我是說過這話，但也說過真正堅實的東西，不會被磨薄；清白至極就不會被染成烏黑。我不能像匏瓜，掛在那裡而不食用啊！」
孔子用比喻說明有真德性的人，處亂世也不會被污染變質，所以自己不會改變以王道治理天下的初衷，而成沒有理想，只為求官求富貴的人。自己是心懷天下，積極尋求貢獻心力的機會。
有一天孔子擊磬，一個背著草筐的人經過，聽聞之後說：「那擊磬的人很有心，但不被人賞識，不如就停止吧！」孔子這迫切救天下的苦心，顯然不被外人所了解，尤其與道家作為有異。
道家主張「滄浪之水清兮濯我纓，滄浪之水濁兮濯我足」。有人賞識就盡力，沒機會就隱居，順乎自然。但聖人孔子是把握任何機會，只有在不能實現理想時才放棄，這是孟子所謂的「聖之時者」。
【前期連結】孔子世家