III Olimpiyat Oyunlarının tartışılması sırasında, Uluslararası Olimpiyat Komitesi Amerika Birleşik Devletleri'nde örgütlenmeye karar verdi, çünkü bu ülke önceki iki oyunda iyi sonuçlar verdi. Başlangıçta, Olimpiyatları Chicago veya New York'ta tutmak istediler, ancak sonuç olarak küçük liman kasabası St.Louis'e düştü.
St. Louis'deki Paris ile birlikte Olimpiyatlar, Dünya Sergisi kapsamında gerçekleştirildi. Bununla birlikte, Serginin yerel yönetimi bunu bir rakip olarak görmedi, aksine, oyunları kendi reklam amaçları için kullanmak için elinden geleni yaptı. Ayrıca, organizatörler Paris'teki 1900 Yaz Olimpiyatları'nın bazı hatalarını tekrarladılar. Dünya Sergisine bağlılık nedeniyle yarışmalar arka plana düştü ve Olimpiyatların kendisi neredeyse 5 ay uzatıldı (1 Temmuz - 23 Kasım 1904). Çeşitli meslek örgütlerinin rehberliğinde birçok yarışma düzenlendi, ancak buna rağmen hepsine Olimpiyat disiplinleri unvanı verildi.
IOC'ye göre, St.Louis'deki yaz oyunlarına 12 ülke katıldı. Yarışmaya ilk kez katılan tek devlet Güney Afrika oldu. Paris Olimpiyatları ile karşılaştırıldığında, katılan ülke sayısı keskin bir şekilde düştü. Paris Yaz Oyunlarına katılan 13 ülke ekonomik nedenlerle St. Louis'e gelemedi. O zamanlar Japonya ile savaşan Rusya yarışmalara katılmadı.
III Yaz Olimpiyatları'nda 6'sı olmak üzere toplam 651 kişi sahne aldı. 18 spor dalında 94 takım ödül için yarıştılar. En büyük takım Amerika Birleşik Devletleri idi; oyunlarda 533 kişiyi temsil ettiler. Birçok sporda (boks, güreş, su topu, okçuluk ve tenis), sadece Amerikan sporcuları performans gösterdi, bu yüzden oyunlar ülkenin önceliğini açıkça gösterdi.
Louis'de ilk kez en iyi sonucu veren iki sporcu değil, üç ödül almaya başladı. Yarışmanın ana galibi altın madalya kazandı; ikinci sırada yer alan atlet - gümüş; üçüncülük ise bronz madalya ile ödüllendirildi. Bu gelenek günümüze ulaşmıştır.
Resmi olmayan takım sıralamasında katılımcı ülkeler şu şekildedir: Ben - ABD (78 altın, 82 gümüş, 78 bronz madalya), II yer - Almanya (4 altın, 4 gümüş, 5 bronz madalya), III yer - Küba (4 altın, 2 gümüş, 3 bronz madalya).