真鐸啟喑學校於 1935年創立，是香港的第一所聾人學校。陳意軒（2022）指出當時校方秉持嚴格的口語教學方針，全面在學校內禁止手語，目的是讓聾人學生盡量運用剩餘的聽力及學習運用聲帶、發音、讀唇。
校內的課堂都是不准使用手語。學生從小到大，學習語文、數學等學科，聽不清楚老師說話，莫講沒法汲取知識，有時連老師開口高叫自己的名字都不知道。
聾人學生沒有放棄，而是用手部動作、手勢來表達意思，慢慢形成了一套屬於自己的溝通方法。這就是香港手語最早的雛形。
在二次世界大戰後，香港聾人學校數目逐步增加。1948年，一對來自上海的聾人夫婦移居香港，創辦首間使用手語教學的聾人學校——華僑聾啞學校，將南京及上海一帶通行的手語帶入了香港。
學校師生能自由地以手語溝通，課上以手語傳授學科知識，課後也以手語頻繁交流。
根據 Woodward（1993）的研究，香港手語的基本詞彙中，有 66 至 68% 與上海手語相同。南京及上海一帶的手語在香港聾人社群匯聚、融合，最終形成了今天的香港手語。
隨著助聽器越來越普及，加上政府推行融合教育，大批聾人學生轉入主流學校就讀，聾人學校學生人數急劇下跌，一間間相繼倒閉。
時至今日，全港只剩下路德會啟聾學校一間，專為聽障兒童提供小一至中六教育。
聾人學校是手語傳承的重要地方——學生在校內互相溝通，手語得以流傳。然而，當聾人學生分散於各主流學校，彼此之間缺乏使用手語的環境，香港手語便逐漸式微。
2006年，「賽馬會手語雙語共融教育計劃」展開，涵蓋幼兒至中學階段，建立「一條龍」聾人教育模式，讓聾童享有平等學習機會，融入社會。
隨科技進步，網上手語資訊愈來愈豐富。2013年，香港中文大學研發出「香港手語瀏覽器」，是香港首本手語字典，方便大眾查閱。
此外，不少機構開辦由聾人教授的手語及聾人文化班，讓社會大眾更了解聾人文化，建立共融社會。