Het idee dat ooit lood in potloden is gebruikt, is een mythe die voortkomt uit de associatie met de stijlus uit de Romeinse tijd die van lood was gemaakt. Het schrijfmateriaal in potloden is eigenlijk grafiet.
In 1564 werd een grote grafietafzetting ontdekt in Borrowdale, Engeland. Het materiaal werd uiteindelijk "blacklead" genoemd. Men ontdekte dat het een donkere streep achterliet, ideaal voor schrijven en tekenen; het enige nadeel was dat het materiaal broos en zacht was en een houten houder vereiste.
In 1795 patentteerde Jacques Conté een proces om poedergrafiet met klei te mengen op een manier die de potloodindustrie revolutioneerde. Niet alleen verlaagde het de kosten, maar de concentratie van klei gaf meer controle over de lichte of donkere toon van het grafiet op papier.
Charles Dunbar, de zwager van Henry David Thoreau, ontdekte een grafietafzetting in Nieuw-Engeland, wat resulteerde in de vestiging van de potloodindustrie nabij de grafietkern. Uiteindelijk werden Thoreau-potloden beschouwd als de beste in Amerika.
Aangezien potloden geen lood gebruiken, is er heel weinig zorgen over blootstelling aan lood. De enige relevante zorg kan de gele verf zijn die gebruikt wordt om de buitenkant te kleuren. In de VS reguleert de Consumer Product Safety Commission dat het lood in verf niet meer dan negentig delen per miljoen mag zijn, wat ver onder het bedrag ligt dat in de lak voor het kleuren van potloden gebruikt wordt.