Zelfs van vóór de Nederlandse vestiging aan de Kaap hebben wij beschrijvingen van de plaatselijke bevolking die meestal omschreven werd als wild, vreemdsoortig en ongelovig. In de beginperiode van de kolonisatie waren echter niet alle reacties negatief. Van Riebeeck zelf omschreef de Khoikhoi als goede en eerlijke handelspartners, mits ze ook vriendelijk en eerlijk behandeld werden.

Die positieve houding zou echter niet lang stand houden. De Khoikhoi bleken niet zo geneigd te zijn om afstand te doen van hun vee als men gehoopt had. Bovendien maakte hun nomadische levenswijze dat de bevoorrading in vee erg onregelmatig was: wanneer zij met hun vee ergens in het binnenland rondtrokken kon het gebeuren dat men aan de Kaap gedurende een lange tijd geen vee kon kopen.

Vandaar dat de eerder positieve houding tegenover de Khoikhoi al gauw omsloeg naar een negatievere houding. De kolonisten probeerden meer en meer met geweld aan vee te geraken, de Khoikhoi sloegen terug en kwamen vee van de kolonisten stelen. Wederzijdse veediefstal werd hoe langer hoe gebruikelijker.

Met het wegtrekken van kolonisten uit de Kaap kwam daar nog een element van frustratie bij: de vrijboeren pikten gronden in om landbouw op te bedrijven. Maar dat waren precies de weidegronden van de Khoikhoi. Al heel vroeg weten wij dat de Khoikhoi bij de Nederlandse autoriteiten protesteerden tegen de inname van hun beste gronden waar zij, als oudste bewoners, het meest recht op hadden. In bepaalde gevallen werd grond van de Khoikhoi "gekocht", maar dat leidde alleen tot meer frustratie. De Nederlanders die de grond "kochten" realiseerden zich niet dat de Khoi-volkeren geen grondrecht kenden en dat een verkoopacte voor hen iets volstrekt onbegrijpelijks was. In hun ogen gaven zij de vrijboeren alleen een gebruiksrecht op de grond, geen eigendomsrecht. Gelijkaardige feiten zouden zich later opnieuw voordoen wanneer de kolonisten zich gingen vestigen in het gebied van de zwarte volkeren.

De Khoikhoi vonden echter geen gehoor bij de autoriteiten aan de Kaap. Zo verloren zij geleidelijk aan hun beste weidegronden. Een deel van hen trok steeds dieper het binnenland in, op zoek naar andere weidegronden. Een ander deel bleef ter plekke en ging in dienst bij de kolonisten. Van veehouders werden zij op die manier dikwijls veehoeders.

In 1713 had een onverwachte gebeurtenis bijzonder dramatische gevolgen voor de Khoikhoi. Een schip uit India bracht een besmetting met pokken binnen. Er brak een pokkenepidemie uit die honderden slachtoffers maakte bij de blanke bevolking, maar nog veel meer bij de Khoikhoi. Er zouden er nog komen, in 1755 en in 1767, telkens met zeer dramatische gevolgen voor de Khoikhoi. Sommigen vluchtten in paniek het binnenland in, voor anderen betekende de epidemie de definitieve verarming, met als enige oplossing: in dienst gaan bij de kolonisten.

Dat alles maakte dat de Khoi-volkeren snel uitgedund raakten. Toch wordt in de 18e eeuw nog melding gemaakt van grote groepen Khoikhoi met zeer veel vee. In die periode werden door de boeren echter geregeld expedities uitgestuurd om het vee van de Khoikhoi te gaan roven. In veel gevallen ging dat ook gepaard met het uitmoorden van de betrokken groepen.

Al deze gebeurtenissen hebben gemaakt dat de oude Khoi-bevolking aan de Kaap zo goed als verdwenen is - of gemengd raakte met andere volkeren. Zij liggen daardoor mee aan de basis van de huidige kleurlingbevolking - de "bruinmense" zoals men in het Afrikaans zegt. Op de kaart met de etnische groepen van Zuid-Afrika die Hirschberg in zijn "Völkerkunde Afrikas" geeft, worden alle uitgestorven Khoi-groepen omcirkeld - aan de zuidpunt is geen enkele naam niet omcirkeld!.

Het lot van de San was zo mogelijk nog dramatischer. Zij woonden dieper het binnenland in en, aangezien zij geen vee hadden, hadden zij de kolonisten niets te bieden. Bovendien was ook hun levenswijze nog onbegrijpelijker voor de Europeanen: zij hadden geen chefs, geen leiders die als woordvoerders konden optreden. Maar het binnendringen van de kolonisten betekende wel dat hun jachtgronden werden ingepalmd. Meer dan eens gingen de San dus vee roven bij de boeren, wat dan weer strafexpedities uitlokte. Veel San werden tot slaaf gemaakt en vanaf een bepaalde periode waren zij zo goed als vogelvrij. In de praktijk betekende dat dat zij mochten uitgeroeid worden en dat men op de San letterlijk jacht maakte zoals op groot wild. De San-bevolking werd dus ook sterk uitgedund, en wie overleefde trok zo ver mogelijk weg. Vandaar dat de San-bevolking in Zuid-Afrika verdwenen is.

De Khoisan-volkeren kunnen met recht als de oudste bewoners van Zuid-Afrika worden beschouwd, maar van die oorspronkelijke bevolking is nog weinig over. Vandaar dat het een erg symbolische daad van de Zuid-Afrikaanse regering was om in april 2000 een "verafrikaniseerd" wapenschild voor te stellen met een wapenleuze is het /Xam, een nu volledig uitgestorven Khoisan-taal. De wapenspreuk luidt: "!ke e:/xarra //ke", en betekent zoveel als "eendracht maakt macht"!