Le origini remote di IBM vanno fatte risalire al 1890 quando Herman Hollerith brevetta una macchina in grado di leggere schede perforate con l’obiettivo di velocizzare lo spoglio delle schede del censimento di quello stesso anno negli USA. Questa invenzione, infatti, riuscì a rendere disponibili i risultati del censimento dopo solo due anni, invece che dopo sette, come era accaduto per i risultati del censimento precedente. Sulla base di questo enorme successo, Hollerith decide di fondare la società "Tabulating Machine Company", che diventa nel 1911 "Computing Tabulating Recording Company" (CTR).
Nel 1914 Thomas J. Watson viene assunto come presidente di CTR, la quale raggiunse, nei successivi quattro anni, guadagni pari a due milioni di dollari ed allargò il proprio giro di affari in Europa, Sud America, Asia e Australia. Nel 1924 il nome dell’azienda viene ribattezzato International Business Machines Corporation o IBM proprio per sottolineare la crescente espansione internazionale. Il mercato di riferimento è quello dei mainframe, macchine prodotte esclusivamente per una fascia di clienti molto alta: quella delle grandi organizzazioni174. Nel 1959 vengono realizzati i primi mainframe a transistor
In quel tempo, e fino ai primi anni ‘80, IBM divenne leader incondizionata in un mercato dell’informatica limitato comunque a poche aziende di grandi dimensioni. A tal proposito, Thomas Watson definì IBM come “macchina per vendere la vera cultura e tecnologia dell'informazione al mondo”.
Il 1981 rappresenta una data storica per IBM: il 12 agosto viene annunciato l’IBM Personal Computer, con processore Intel e sistema operativo MS DOS.