De uitbouw van de verversingspost ging met ups en downs. De personen die met Van Riebeeck meegekomen waren bleken niet meteen de beste tuiniers te zijn, en algauw ging men op zoek naar betere arbeidskrachten. De Chinezen die men wilde aantrekken weigerden en Hollandse boeren waren te duur. De beste methode bleek erin te bestaan om een aantal van die eerste kolonisten een vrijbrief te geven waardoor ze gedeeltelijk voor eigen rekening konden werken. In 1657 al werden de eerste vrijbrieven uitgereikt aan drie Nederlanders, een Duitser en een Vlaming - ook de samenstelling van de groep is tekenend. Vrijburgers-boeren bleven onder contract bij de VOC. Het graan dat zij kweekten moest aan de VOC worden geleverd, evenals het vee dat zij konden verwerven. Toen bleek dat een aantal vrijboeren stiekem vee verkocht aan de Engelsen werd zelfs een verbod uitgevaardigd op de veehandel met de Khoi.

Daaruit blijkt dat er bij de bewoners van de Kaap al zeer vroeg een trend was om zich daar ook echt te vestigen en om zich daarbij zoveel mogelijk te onttrekken aan de controle van de VOC. Dat verlangen, en de aanwas van het vee waardoor de boeren steeds grotere weidegronden nodig hadden, dreef die eerste vrijboeren steeds verder het binnenland in. Die expansie gebeurde voor een groot deel zonder het medeweten van de autoriteiten aan de Kaap.

Die eerste pioniers leidden meestal een zeer geïsoleerd en armoedig bestaan. Hun landbouw en veeteelt vulden ze aan met jacht en heel wat reizigers van die tijd vermeldden dat ze totaal geen belangstelling hadden voor de buitenwereld. De opvoeding die ze hun kinderen meegaven was elementair en hun enige lectuur was de bijbel. Vooral in de 18e eeuw zijn die vroege trekboeren zich dan ook meer en meer gaan vereenzelvigen met de bijbelse verhalen over de uittocht van Egypte: zij voelden zich, net zoals de Israëlieten, de uitverkorenen van God die recht hadden op het "Beloofde Land" - en in hun geval was dat Zuid-Afrika.

De autoriteiten aan de Kaap probeerden zoveel mogelijk de vrijboeren te controleren maar geleidelijk aan werd hun bestaan toch erkend. Eén van de redenen was dat het niet zo gemakkelijk bleek te zijn om van de nederzetting een rendabele onderneming te maken. Zelfs in 1679 bleek de kolonie nog altijd niet winstgevend. In dat jaar werd echter een nieuwe commandeur benoemd aan de Kaap, Simon van der Stel. Hij was de eerste die de zaken op een efficiënte en systematische manier aanpakte. Het hoofddoel was de verhoging van de landbouwproductie. Daartoe werd het binnenland verkend en toen dan ook een vruchtbare vallei ontdekt werd, mochten vrijburgers er zich vestigen als boeren. Dat was de kiem van het huidige Stellenbosch - overigens genoemd naar van der Stel.

Van der Stel drong er ook op aan om meer Nederlandse boerengezinnen naar de Kaap te sturen: hij wilde er een echte stad zien verrijzen. Vandaar dat hij veel aandacht besteedde aan de uitbouw van een infrastructuur: hij liet een ziekenhuis bouwen en hechtte bijzonder veel belang aan het onderwijs. Hij ontpopte zich als de grote verdediger van de kolonisten. We kunnen dan ook vanaf die tijd spreken van een echte kolonie aan de Kaap.