Het is echter waar dat hij tijdens zijn carrière te maken kreeg met kritiek en controverse, wat leidde tot enige spanning met netwerken en kijkers.
Hier zijn enkele voorbeelden van wat zou kunnen hebben bijgedragen aan deze perceptie:
* Kritiek op atleten: Cosell stond bekend om het bekritiseren van de prestaties van atleten, vaak met een stompe en ongefilterde stijl. Dit leidde soms tot openbare botsingen met spelers.
* Raciaal en sociaal commentaar: Hij stond ook bekend om het aanpakken van sociale en raciale kwesties, soms op een manier die als ongevoelig of aanstootgevend werd beschouwd.
* Botsing met netwerken: Hij had een ietwat strijdlustige relatie met netwerken, daagde vaak hun autoriteit uit en verlegde grenzen met zijn commentaar.
Hoewel er nooit een enkel incident was dat leidde tot zijn verwijdering uit uitzending, hebben deze factoren bijgedragen aan een perceptie van hem als een controversieel figuur. Hij trok zich uiteindelijk terug uit de uitzending in 1985, maar het was meer te wijten aan zijn leeftijd en gezondheid dan welke specifieke controverse.