第二次世界大战期间，欧洲战场上的伤残士兵，自发组织起来进行康复活动，这便是现代残疾人体育运动的雏形。1948年英国斯托克·曼德维尔(Stoke Mandeville)国立脊髓损伤中心举办了残疾人体育比赛，当时只有16名坐在轮椅上的伤残士兵参加，此后该运动会每年举行一次。1952年，由于荷兰运动员的参加，该运动会演变为国际性体育活动。
     1960年，紧接着夏季奥运会后，来自欧美23个国家的约400名伤残运动员聚集罗马，举办首次世界残疾人运动会。
     1976年，国际残疾人组织决定，斯托克·曼德维尔运动会与世界残疾人运动会合并，在加拿大的多伦多举办了第一届国际伤残人士奥运会，来自38个国家的1657名残疾人运动员参加了比赛。1988年，国际奥委会决定：夏季奥运会和残奥会必须在同一城市举行。2000年，国际奥委会和国际残奥委会签署协议规定:申办奥运会的城市，必须同时申办残奥会；奥运会后一个月内，在奥运会举办城市的奥运场地举行残疾人奥运会。
    从1960年至2005年已举办了12届夏季残奥会和8届冬季残奥会。