手語與語言的差別則主要在於語音這個問題上和聽障人是否以手勢進行思維。語言學家根據語言的語音屬性認為手語是一個符號,而非語言;而聾教育專家、特殊教育工作者和聽障人本身根據手語的語言屬性認為手語同樣是語言,它是語言的一個分支,是一種特殊的語言形式。然而,手語不能和書面語絕對地對應起來,聽障人書面語言要受到手語的限制,不能形成正確的書面語言,雖然手語不能作為完全意義上的語言,但手語所具有的語言的屬性說明,手語應該作為語言的類型之一。
古代就有手語的存在,並非專為聾啞人所有,古人靠手勢來傳達溝通意見,而後才慢慢產生語言。古人以打獵耕種為主,社會上需要遵循的規則也少,因此聾人較能適應生活,但文化發達後社會進步,抽像的符號也多,為了適應社會生活,只好藉手語來表達溝通情意了。
手語歷史悠久,但是正式的聾教育卻是四百多年前才發展的,可考察到的是法國第一位偉大的聾教育家德雷佩神父,為了需要,自己創造發明手語以利管訓工作。到了
1760年他的收容所改為國立聾校,他被任命為第一任校長,他的助手認為應該編手語字典,也花很多時間致力於手語編輯工作,可惜手勢太複雜,不能廣泛被人使用,何況一個字有時往往需要用許多手勢方能解釋清楚,尤其抽像的表達更難,所以在1880年後只好改用口語法教學。
美國在1817年設救濟院,收容聾者並開始使用手語。日本模仿力強,1880年也在東京設立第一所聾啞學校,而後大阪、京都也都相繼成立聾校。1895年起台灣被日本人佔據50年,在這段期間日本人在台灣的台南、台北成立聾校,所使用的手語大多是東京、大阪型。
1887
年美國傳教士梅耐德夫人,在大陸山東成立啟瘖學校,她採用口語教學,出版一套用貝利字母拼音編輯的《啟瘖初階》讀本,聾人間也有他們使用的大陸型手語,而且廣行於北平、上海、南京和廣東,甚至香港各地,1945年台灣光復,在台的日本老師被遣送回國,1949年大陸解放後,有些大陸聾校的老師棧台北啟聰任教,於是台北混合了一些大陸語。左營啟英聾校姜校長畢業於大陸啟瘖學校,則採用大陸繫手語。再加上聾胞散居各地,北、中、南三所聾校地區隔離,於是聾人所使用的手語逐漸現差異。