Ни Фортуна, ни люди не были милосердны к Колизею.Существуют указания на изменения и дополнения, произведенные Нервой и Траяном; здание было реставрировано Антонином Пием. В 217 г. оно было поражено молнией и так серьезно повреждено, что в нем нельзя было проводить гладиаторские игры до 222—223 гг., когда ремонт, начатый Элагабалом, был хотя бы частично закончен Александром Севером, хотя, по-видимому, он продолжался до правления Гордиана III. В 250 г. здание предположительно было реставрировано Децием после пожара, вызванного еще одним ударом молнии. Оно было повреждено землетрясением 442 г., — и в последующие годы зафиксированы реставрации, проводившиеся различными должностными лицами, — и еще раз в 470. Некоторые из надписей, установленных в первом случае в честь Феодосия II и Валентиниана III, были вырезаны на мраморных блоках, первоначально служивших сиденьями. После очередного землетрясения ремонт был выполнен префектом Василием, вероятно, консулом 508 г. и, наконец, Евтарихом, зятем Теодориха, в ходе подготовки к последним из упомянутых в источниках venationes, состоявшимся в 523 г. Последние гладиаторские игры состоялись в 404 г. После запрета игр Колизей приходит в упадок. В 11–12 вв. Колизей становится феодальным замком-крепостью. С середины 14 в. здесь поселяются религиозные братства (на арене сооружается церковь), проводятся религиозные представления – мистерии, запрещенные в середине 16 в.
В эпоху средних веков он использовался как каменоломня: каменные блоки брали для построек дворцов и церквей – это был период наибольших разрушений.
И лишь при папе Бенедикте XIV Колизей впервые после долгого времени был взят под официальную защиту:

Я уже упоминал, что несколько землетрясений сильно разрушили Колизей, ну, а люди поспешили довершить, начатое природой, растаскивая камни на постройки. По-этому, средневековые (и позднейшие) реставраторы в первую очередь были обеспокоены укреплением и сохранением оставшихся построек.
Кстати, этот кирпичный контрфорс построен не так давно-Колизею досталось от землетрясения 1802 года.Часть наружной стены полностью разрушилась. Идея кирпичного контрфорса, поддерживающего фасадную часть, которую мы сейчас видим, принадлежит Джузеппе Валадьеру. Арки же заложить кирпичём (и тем самым приостановить дальнейшее разрушение стены, которая и так вся в гигантских трещинах) придумал и воплотил в жизнь  Раффаэль Штерн.
Получилось...то что получилось.

Желание подчеркнуть и напомнить о варварских языческих временах, когда на арене Колизея принимали смерть христиане, у пап-реставраторов было настолько сильным, что во многих местах в древние стены вмонтированны соответствующие таблички с христианскими символами:

Ну, и главный символ-большой крест напротив главного выхода к арене:

С наружной стороны Колизей – четырехъярусное здание. Первые три яруса образовывали аркады по 80 арок, которые опирались на мощные столбы в 2,4 м шириной. Арки были украшены приставными полуколоннами с антаблементом. На первом ярусе – тосканский ордер, на втором – ионический, на третьем – коринфский. Арки второго и третьего яруса были украшены стоявшими в них статуями (не сохранились). Верхний этаж представлял собой высокую стену, которая была декорирована 80 находившимися над колоннами пилястрами коринфского ордера. Между ними располагались квадратные окна, и помещались по три кронштейна, которые служили опорами для мачт. На них натягивали тент от солнца (веларий), создававший тень над трибунами и ареной. Последний этаж был украшен бронзовыми щитами (не сохранились).

Внешние части Колизея были сооружены из травертина, внутренние – из туфа, кирпича, мрамора, бетона и дерева. При строительстве Колизея тщательно притертые камни были положены без раствора и скреплены между собою железными скобами, большую часть которых выломали во времена средневековья.

Пройдя через арки нижнего яруса, люди попадали в сводчатые галереи, идущие параллельно внешней стене. Такие же галереи во втором и третьем ярусе использовались, как места для отдыха.

Арену обрамляли постепенно повышающиеся места для зрителей, расположенные 4 ярусами. На первом ярусе располагались места для почетных зрителей, выше находились 20 мраморных рядов для официальных гостей и  всадников. За узким проходом следовало еще 20 мраморных рядов, а далее находилась колоннада, за которой был ярус с деревянными скамьями для простых людей. Распределение мест производилось строго в соответствии с социальной принадлежностью граждан (чем ниже положение, тем выше находилось место). Вместимость Колизея – около 50 000 мест.