Докато обсъждаше въпроса за провеждането на III олимпиада, Международният олимпийски комитет реши да я организира на територията на Съединените щати, тъй като тази държава показа добри резултати на двете предишни игри. Първоначално те искаха да проведат Олимпиадата в Чикаго или Ню Йорк, но в резултат изборът падна върху малкото пристанищно градче Сейнт Луис.
Третата олимпиада в Сейнт Луис, заедно с олимпийските игри в Париж, се проведе в рамките на световното изложение. Местното ръководство на изложбата обаче не го разглежда като конкурент, а напротив, по всякакъв начин се опитва да използва игрите за свои собствени рекламни цели. Освен това организаторите повториха някои от грешките на летните олимпийски игри през 1900 г. в Париж. Поради привързаността към Световното изложение състезанията бяха изтласкани на заден план, а самата Олимпиада продължи почти 5 месеца (1 юли - 23 ноември 1904 г.). Много състезания се проведоха под ръководството на различни професионални организации, но въпреки това всички те получиха титлата олимпийски дисциплини.
Според МОК 12 държави са участвали в летните игри в Сейнт Луис. Единствената държава, която присъства за първи път на състезанието, беше Южна Африка. В сравнение с олимпийските игри в Париж, броят на участващите държави е спаднал драстично. 13-те държави, които участваха в летните парижки игри, не успяха да дойдат в Сейнт Луис по икономически причини. Русия, която по това време беше във война с Япония, не участва в състезанието.
Общо 651 души взеха участие в III летни олимпийски игри, включително 6 жени. Те се състезаваха за 94 комплекта отличия в 18 спорта. Най-многобройният е отборът на Съединените американски щати, те представляват 533 души на игрите. В много спортове (бокс, борба, водна топка, стрелба с лък и тенис) се представиха само американски спортисти, така че игрите ясно демонстрираха превъзходството на страната.
В Сейнт Луис за първи път започнаха да награждават тримата, а не двама спортисти, които показаха най-добрия резултат. Основният победител в състезанието беше награден със златен медал; състезателят, който зае второ място - сребро; и третото място бе отличено с бронзов медал. Тази традиция е оцеляла до наши дни.
В неофициалния отборен турнир страните-участнички бяха позиционирани, както следва: I място - САЩ (78 златни, 82 сребърни, 78 бронзови медала), II място - Германия (4 златни, 4 сребърни, 5 бронзови медала), III място - Куба (4 златни, 2 сребърни, 3 бронзови медала).
