Em 1827, Stephen F. Austin solicitou às autoridades mexicanas que estabelecessem a cidade de Matagorda para acomodar a enxurrada de imigrantes que chegavam à região. A maioria dos primeiros colonizadores da cidade veio da costa leste dos Estados Unidos. Oficialmente constituída em 1830, Matagorda tornou-se uma potência econômica no Texas durante a era anterior à guerra, em parte devido à sua localização estratégica como o porto marítimo mais próximo de Nova Orleans. Após a Revolução do Texas, Matagorda tornou-se a sede do governo do condado, e muitos escravos ricos passavam os verões na cidade para escapar do ambiente desagradável, úmido e insalubre de suas plantações ao longo de cursos de água como o Rio Colorado e Caney Creek. Durante a Guerra Civil, Matagorda serviu como importante fornecedor de armas, alimentos e roupas para a Confederação. Em 1894, os cidadãos votaram pela mudança da sede do condado para o interior, para Bay City.
William Gray Warren: William Gray Warren (1806-1868) era um rico fazendeiro que possuía uma plantação em Caney Creek. A família de Warren mudou-se de sua terra natal, a Carolina do Norte, para o Texas, como muitos escravos que migraram do Upper South para o Texas durante a era anterior à guerra. Em 1º de junho de 1854, no condado de Matagorda, casou-se com Maria Louise Swisher Graham. A família de Maria chegou ao Texas por via fluvial: eles embarcaram em um barco chato em Franklin, Tennessee, para Nova Orleans, e de lá viajaram de escuna para Matagorda.
De acordo com o censo de 1860, Warren possuía uma riqueza considerável: 112 escravos, bens imóveis no valor de US$ 85.000 e bens pessoais de US$ 76.000. Seu testamento afirma que, no momento de sua morte, ele possuía 3.394 acres de terras ricas em nutrientes. Os visitantes que hoje viajam até o local da antiga plantação podem conhecer a trilha por onde andavam os escravizados e o cemitério onde estão enterrados muitos escravos. A proximidade entre a “Plantação Caney” de Warren e as de outros proprietários locais é evidenciada no caminho ao longo do riacho que permitiu que homens e mulheres libertos adorassem na Igreja Batista Mt. Pilgrim no final do século XIX.
Albert Clinton Horton: Albert Clinton Horton (1798-1865) serviu como primeiro vice-governador do Texas. Ele morou no Alabama antes de se mudar para o Texas em 1835. Horton possuía uma grande plantação no condado de Matagorda e, às vésperas da Guerra Civil, era um dos homens mais ricos do Texas, possuindo 150 escravos. No entanto, a guerra o levou à falência. No último testamento e testamento de Horton, as reivindicações feitas contra seu patrimônio foram listadas. Houve 68 reivindicações, a maioria ocorrendo durante a Guerra Civil. O avaliador da propriedade, Whittier e Franks, declarou no testamento que o valor total da propriedade de Horton era de US$ 99.087 e que Horton possuía 600 acres em Matagorda, no valor de apenas US$ 240,00.
No século XIX, Matagorda tornou-se uma cidade próspera. Um descaroçador de algodão foi construído na cidade na década de 1820, uma alfândega em 1831 e uma câmara de comércio em 1840. Sendo o segundo maior porto do estado (depois de Galveston), Matagorda também dependia da indústria naval. O trabalho escravo desempenhou um papel importante no crescimento económico de Matagorda na era anterior à Guerra Civil. Entre 1850 e 1860, por exemplo, a população escravizada de James B. Hawkins quase duplicou, mas o valor da sua propriedade aumentou mais de 600%. John Rugeley, o patriarca da família, experimentou um nível semelhante de crescimento inimaginável durante a década anterior à guerra: embora a sua força de trabalho escravizada tenha diminuído de 67 para 62 indivíduos, os seus bens aumentaram espantosos quase 800%. É evidente, então, que meados do século XIX foi uma era de crescimento económico sem precedentes no sudeste do Texas, graças quase inteiramente aos lucros obtidos através do trabalho escravizado.
As religiões presbiteriana, metodista, batista e episcopal estabeleceram uma presença organizada durante os primeiros anos da cidade, embora nem todas se reunissem inicialmente em edifícios oficiais. A igreja episcopal mais antiga do Texas, Christ Church, está localizada em Matagorda. Várias pessoas escravizadas na plantação Warren foram batizadas nesta igreja em 1862 durante a Guerra Civil. Os Warren eram supostamente conhecidos pelo tratamento relativamente “humanitário” que dispensavam à sua propriedade humana.
Albert C. Horton, mencionado anteriormente, era um batista devoto e construiu uma igreja separada onde adoravam seus trabalhadores escravos. Ele até contratou um pregador, Noah Hill, como pastor da congregação. Os servos eram participantes ativos na igreja e nos serviços religiosos na área local. Em 1848, membros escravizados da Igreja Matagorda enviaram US$ 11,50 para a Convenção Batista do Estado do Texas para apoiar o trabalho missionário na África. Em 1854, uma “igreja batista de cor”, formada pelos escravizados que viviam na plantação de J.H. Jones, do condado de Matagorda, solicitou e foi autorizado a ingressar na Associação Colorado, um órgão religioso que incluía todas as igrejas batistas localizadas a leste do Rio Colorado.