До 1965 года выступал среди любителей. В 1964 году на Олимпиаде в Токио 20-летний Джо выиграл золото в супертяжёлой весовой категории, победив в полуфинале советского боксёра Вадима Емельянова, а в финале — немца Ханса Хубера со счётом 3-2. Профессионалом стал в августе 1965 года.

В сентябре 1966 года раздельным решением судей победил Оскара Бонавену. Фрейзер дважды побывал в нокдауне во 2-м раунде.

В июле 1967 года в 4-м раунде нокаутировал Джорджа Чувало.

В декабре 1968 года состоялся второй бой между Фрейзером и Оскаром Бонавеной. На этот раз Фрейзер победил единогласным решением судей.

В сентябре 1969 года в 7-м раунде техническим нокаутом победил Джерри Квари. Поединок получил статус «бой года» по версии журнала «Ринг».

В феврале 1970 года состоялся бой между Фрейзером и чемпионом мира в тяжёлом весе по версии WBA Джимми Эллисом. На кону также стоял вакантный титул чемпиона мира в тяжёлом весе по версии WBC. Фрейзер нокаутировал чемпиона в 5-м раунде.

В ноябре состоялся бой между Фрейзером, владеющим в тот момент титулом абсолютного чемпиона мира в тяжёлом весе, и абсолютным чемпионом мира в полутяжёлом весе Бобом Фостером. Фрейзер нокаутировал противника во 2-м раунде.

В марте 1971 года Фрейзер вышел на ринг против бывшего чемпиона мира в тяжёлом весе Мохаммеда Али. Впервые в истории тяжелого веса в чемпионском бою бились два небитых чемпиона — один бывший, другой действующий. Фрезер обладал хорошей скоростью и смог противостоять Али. В 15-м раунде он отправил в красивый нокдаун бывшего чемпиона (3-й в карьере Али). Али впервые проиграл. Поединок получил статус «бой года» по версии журнала «Ринг».

В январе 1972 года в 4-м раунде нокаутировал Терри Дэниелса.

В мае он в 5-м раунде нокаутировал Рона Стэндлера.

В январе 1973 года состоялся бой между двумя непобеждёнными боксёрами — Фрейзером и Джорджем Форманом. Фрейзер трижды побывал в нокдауне в первом раунде, и трижды во втором. Форман победил техническим нокаутом во 2-м раунде. Поединок получил статус «бой года» по версии журнала «Ринг».

В июле победил по очкам Джо Багнера.

В январе 1974 года состоялся второй бой Фрейзера против Мохаммеда Али. В этот раз Али победил по очкам. Это был один из величайших боев Фрейзера. Али не хотел выходить на 15й раунд и рухнул без сил на ринг после того, как объявили, что из-за состояния Джо бой не может быть продолжен. Многие считают, что фактически это была победа Джо Фрейзера, рвавшегося в бой после 14го раунда несмотря на заплывший глаз (другой почти не видел после травмы 1964 года) и кровоточащее лицо.

В июне состоялся второй бой между Фрейзером и Джерри Квари. Фрейзер нокаутировал противника в 5-м раунде.

В марте 1975 года состоялся 2-й бой между Фрейзером и Джимми Эллисом. Фрейзер нокаутировал противника в 9-м раунде.

В сентябре состоялся третий бой между Фрейзером и Мохаммедом Али. Бой проходил при невероятной жаре — более 30 градусов. Это был упорный и агрессивным бой с интригой до самого конца: Али и Фрейзер устроили настоящий мордобой. С первого по пятый раунд, преимущество было за Али, с шестого по 11-тый Фрэйзер «избивал» Али, после очередного раунда Али сказал «Я кажется умираю». После 14-го раунда судья остановил поединок — Фрейзер, будучи слепым на левый глаз, практически не видел правым(тренер показал три пальца и попросил их сосчитать, Фрейзер ответил «один»). В то же время в своем углу Али просил снять перчатки («я очень устал, снимите с меня перчатки») и, по версии своего врача, на 15-ый раунд выйти бы не смог. После окончания боя Мохаммед вышел на середину ринга и упал без сознания. В чью пользу закончился бы бой, если б тренер Фрейзера не остановил его, остаётся вопросом. После этого боя Али назвал Фрейзера лучшим боксером после себя. Поединок получил название «Триллер в Маниле (Trilla in Manila)» и статус «бой года» по версии журнала «Ринг».

В июне 1976 года состоял второй бой между Фрейзером и Джорджем Форманом. Фрейзер проиграл нокаутом в 5-м раунде. После этого боя он не выходил на ринг 5 лет.

В декабре 1981 года вернулся в бокс. Он вышел на ринг против малоизвестного Флойда Каммингса. По итогам 10-ти раундов судьи дали спорную ничью. После этого боя Фрейзер ушёл из бокса.

В 1994 году снялся в фильме «Обитель ангелов» (англ. Home Of Angels).