1964 टोक्यो ओलंपिक्स में जो फ्रेज़र की कहानी की शुरुआत अजनबी अंदाज में हुई। ओलंपिक ट्रायल्स में उन्हें बस्टर मथिस से शिकस्त मिली और ओलंपिक्स में उनके जाने का सपना अधर में लटक गया। मगर फ्रेज़र को भाग्य का साथ मिला क्योंकि मथिस के अंगूठे में चोट आ गई और जो को ओलंपिक्स में जाने का मौका मिल गया। पहले कुछ मैच आसानी से जीतने के बाद सेमीफाइनल में उनका मुकाबला वादिम एमेलयानोव ने हुआ। फ्रेज़र मैच जीतने में तो कामयाब रहे, लेकिन लड़ाई के दौरान उनके अंगूठे में चोट आ गई। विडंबना रही कि मथिस के समान उन्हें भी फाइनल में टूटे हुए अंगूठे के साथ रिंग में जाना पड़ा। फाइनल में उनका मुकाबला हेंस हबर से हुआ, फ्रेज़र ने एक भी पंच अपने पर नहीं लगने दिया और ओलंपिक स्वर्ण पदक जीता।