曾是他老師的新任台北市長柯文哲曾在課堂對他們說：「你們當中如果有一半去讀別的系，在別的領域發光發熱，或許台灣會發展得更好。」當時，呂冠緯聽得懵懵懂懂，但不同的是，他開始自己的探索之路。

大二時，他就和同學合夥創立家教班「夢想學園」，三年半時間，白天是在大體解剖、記憶大量病理學名詞中度過，下課則變身國中生眼中的「學生老師」。

儘管白天課業繁重，他仍決定「不務正業」，「在校園外的世界，我才可能找到做自己有興趣又被社會需要的事情，」這是他看書得到的體會。他分析，美國人鼓勵孩子追求自己想要的，猶太人教育孩子看見環境需要的，而許多猶太美裔會成功，就是兩者融會貫通。

當時的他，儘管最貼近教育領域，但當老師這件事卻還沒在他的人生計畫中浮現。

他下偏鄉實習
自願去「換藥地獄」的雲林

大七，大家為留在台大實習搶破頭，他自願到偏鄉雲林，「一直被『保護』下去也不好，」大二到大六的社會經驗讓他了解，「自討苦吃」往往是成長的加速器。

在醫學院學生眼中，雲林分院有著「換藥地獄」封號，醫生少、看護一人要照顧三個病人，是台北三倍。「原本在（台北）總院平均接三床病人，到雲林，平均要接七床到十床，」他回憶，時間總是穿梭在不斷接新病人、瘋狂換藥、到處補醫囑、處理術後病人疼痛中度過。

他顛覆社會價值
受可汗學院影響，脫掉白袍

真正讓他決定拋下社會價值眼光，源自四年前一個早晨、一張報紙。他邊吃早餐，突然被一角報導標題所吸引：「比爾．蓋茲最喜歡的家教老師」。他直言，比爾．蓋茲在他心中已是很厲害的人，怎麼還需要老師？繼而發現可汗學院線上學習帶來的教育革命。