Въпреки че подобна игра с топка се споменава дори в стиховете на античността, официалната година на раждане на хандбала се счита за 1898 година. Тогава отборното състезание с почти съвременни правила беше включено в програмата за физическо възпитание на едно от училищата в Дания. На датчаните се приписва и самата идея да играят с ръце с топка и гол - играчите на тази държава го използваха, за да поддържат форма през зимата.
Първата поява на хандбал в програмата на Олимпийските игри се случи на последните летни игри преди началото на Втората световна война. Отбори от единадесет играчи играха в Берлин, като домакините спечелиха турнира. Този спорт се завърна към олимпийските спортни празници само 36 години по-късно. И отново това се случи в Германия - в Мюнхен се състезаваха мъжки отбори, които в съответствие със съвременните правила бяха съставени от 7 играчи. Тогава националният отбор на Югославия стана победител. Още на следващата олимпиада в Монреал, Канада, турнир по хандбал за жени бе добавен към турнира по хандбал за мъже. Същата година отборите на СССР се оказаха по-силни от своите съперници както в състезанието при жените, така и при мъжете.
Съветският женски отбор печели следващия олимпийски турнир през 1980 г. в Москва, а отборите на Съветския съюз печелят златни медали четири пъти и веднъж стават сребърни и бронзови медалисти. Това е най-добрият показател сред всички държави, участващи в олимпийските турнири по хандбал. След края на съществуването на Съветския съюз победоносната традиция първо беше продължена от отборите, съставени от играчи от бившите републики на СССР - те спечелиха по един златен и бронзов медал. Тогава националните отбори на Русия, които спечелиха по един медал от всеки ранг, играха доста успешно на летните игри.
Сред другите страни Югославия постигна най-високи резултати, като спечели пет медала от различни деноминации на олимпиадите. След разпадането на тази държава една от бившите републики продължи традициите си - националните отбори на Хърватия добавиха още две златни награди към списъка. Както Русия, така и Хърватия имат всички шансове да попълнят своите касички с медали от ХХХ летни олимпийски игри в Лондон - мъжките и женските отбори по хандбал на тези държави получиха правото да участват в турнирите през 2012 г.