Parameter estimation in nonlinear mixed-effects models is often challenging. In this thesis, a comparison of estimation methods for these models is proposed under a frequentist approach. In the first study, a comparison of maximum likelihood estimates under an exact method via Monte Carlo expectation-maximization (MCEM) and an approximate method based on a Taylor expansion, frequently used in the literature, is provided. In a second study, a restricted maximum likelihood estimation method is proposed, aiming to decrease the bias for the variance components estimates, based on the integration of the likelihood function on the fixed-effects, also in an exact likelihood context. These estimates are compared to the maximum likelihood ones. For the latter comparison, stochastic approximation of expectation-maximization (SAEM) algorithms are considered. The random effects and errors are assumed to follow multivariate symmetric distributions, namely the scale mixture of normal distributions, which include the normal, t and slash distributions. Finally, a general nonlinear mixed-effects model is proposed, where no linear relation is assumed in the random effects structure. In all the proposals, real data sets and simulation studies are used to illustrate the estimates properties.

A estimação de parâmetros em modelos não lineares com efeitos mistos é muitas vezes desafiadora. Neste trabalho, propomos a comparação de alguns de métodos de estimação nesses modelos sob o enfoque frequentista. Em um primeiro momento, propomos um estimador de máxima verossimilhança em um esquema de estimação exata contra o estimador de máxima versossimilhança em um modelo linearizado pela expansão de Taylor, o que é frequentemente utilizado na literatura. No primeiro cenário usamos o algoritmo MCEM. Em um segundo momento, visando diminuir o viés para estimativas das componentes de variância, propomos um estimador de máxima verossimilhança restrita também dentro de um esquema de estimação exata, baseada na integração da função de verossimilhança em relação aos efeitos fixos. Esse estimador é comparado com o de máxima verossimilhança. Neste caso, usamos o algoritmo SAEM, para os dois métodos de estimação. Assume-se para os erros e efeitos aleatórios algumas distribuições simétricas multivariadas de escala de misturas de distribuições normais, que compõem a classe de distribuições de caudas pesadas, a saber: normal, t e slash. Por último propomos um modelo não linear mais flexível, em que não é assumida uma forma linear para a inclusão dos efeitos aleatórios. Em todos os casos utilizamos dados reais e estudos de simulação para avaliar as propriedades dos estimadores.