Hybrid breeding exploits heterosis, a phenomenon that relies on the development of heterotic groups (HG). Hybrid prediction incorporates relationship information in genetic-statistical analyses to increase the accuracy and to improve the assessment of individuals' genetic values. Such relationship matrices, however, often neglect non-additive effects. Moreover, a critical factor in a hybrid breeding program is the genomic prediction being performed based on the same allelic effects for two heterotic groups. Finally, nitrogen (N) deficiency is a major constraint for maize productivity and may significantly confound inferences from genetic approaches. In this study, we considered models including additive and the combination of additive+dominance effects for the estimation of combining abilities, the determination of heterotic groups, and the impact of the differential modeling of marker effects on heterotic groups in a maize breeding population. We also investigated the N stress effect on these parameters. For that, 906 single crosses obtained from a diallel scheme of 49 inbred maize lines were genotyped in silico using 34,571 SNP and evaluated in four environments in State of São Paulo, Brazil, each with two N regimes: ideal (IN) and stress (LN). Three modeling scenarios were considered: pedigree-based (I), where no genomic relationship information was considered; additive (G_a), where an additive incidence matrix was assigned to lines; and additive+dominance (G_a+d), where the additive and the dominance effects were considered for lines and hybrids, respectively. HG were defined based on the specific combining ability (SCA) in each scenario. Prediction abilities (PA) were obtained using a 5-fold cross-validation approach. Our results indicate that the incorporation of both additive effects and dominance deviations allows us to discriminate the estimates of general and specific combining abilities better. SCA assigned distinct clustering of parents for each scenario. More considerable differences in heterotic pool composition occurred between scenarios G_a and G_a+d, although there was still a meaningful overlap. Incorporating HG into the prediction analysis provided a significantly increased SCA of the single crosses, and a noteworthy increase in PA. The genetic estimates were lower for LN compared to IN (significant at the 0.01 level), and the genetic distance between groups was higher for IN. Our findings reveal that additive effects are well assessed by using pedigree data when the population lacks structure. In addition, clustering HG based on SCA from the G_a+d scenario is a useful approach for reciprocal recurrent selection when no previous information is available about population genetic structure. We also observed that N stress hinders resolution in determining heterotic patterns, which compromises the exploration of heterosis. Ultimately, the incorporation of dominance provides relevant information for the determination of heterotic groups, and the differential modeling of marker effects for each HG is crucial to a sustainable breeding program.

O melhoramento de híbridos explora a heterose, fenômeno melhor explorado quando há designação de grupos heteróticos (HG). A predição de híbridos incorpora informações de relacionamento nas análises estatístico-genéticas para aumentar a acurácia e melhorar a avaliação dos valores genéticos dos indivíduos. No entanto, tais matrizes de relacionamento geralmente negligenciam efeitos não aditivos. Além disso, um fator crítico em um programa de melhoramento híbrido é a previsão genômica ser realizada com base nos mesmos efeitos alélicos para dois grupos heteróticos. Finalmente, a deficiência de nitrogênio (N) é uma grande restrição para a produtividade do milho e pode confundir significativamente inferências de abordagens genéticas. Neste estudo, consideramos modelos que incluem efeito aditivo e a combinação de efeitos aditivo+dominância para estimar capacidades de combinação, determinar grupos heteróticos e o impacto da modelagem diferencial de efeitos de marcadores em grupos heteróticos em uma população de melhoramento de milho. Também investigamos o efeito do estresse N nesses parâmetros. Para isso, 906 híbridos simples obtidos de um dialelo de 49 linhagens de milho foram genotipados in silico usando 34,571 SNP e avaliados em quatro ambientes no Estado de São Paulo, Brasil, cada um com dois regimes N: ideal (IN) e estresse (LN). Três cenários de modelagem foram considerados: baseado em pedigree (I), onde nenhuma informação de relacionamento genômico foi considerada; aditivo (G_a), onde uma matriz de incidência aditiva foi atribuída às linhagens; e aditivo+dominância (G_a+d), onde os efeitos aditivo e de dominância foram considerados para linhagens e híbridos, respectivamente. Os HG foram definidos com base na capacidade específica de combinação (SCA) em cada cenário. As capacidades preditivas (PA) foram obtidas usando uma abordagem de validação cruzada de 5-fold. Os resultados indicam que a incorporação de ambos efeitos aditivos e desvios de dominância permite discriminar melhor as estimativas de capacidades geral e específica de combinação. A SCA designou agrupamentos distintos de linhagens genitoras para cada cenário. Ocorreram diferenças mais consideráveis na composição heterótica entre os cenários G_a e G_a+d, embora ainda houvesse uma sobreposição relevante. As estimativas genéticas foram significativamente menores para o LN em comparação ao IN, e a distância genética entre os grupos foi maior para o IN. As presentes descobertas revelam que agrupar HG com base em SCA do cenário G_a+d é uma abordagem útil para seleção recorrente recíproca quando não há informações anteriores disponíveis sobre a estrutura genética da população. Também foi observado que o estresse de N dificulta a resolução na determinação de padrões heteróticos, o que compromete a exploração da heterose. Por fim, a incorporação da dominância fornece informações relevantes para a determinação de grupos heteróticos, e a modelagem diferencial dos efeitos dos marcadores para cada HG é crucial para um programa de melhoramento sustentável.