<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.4 20241031//EN" "JATS-journalpublishing1-4.dtd">
<article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" article-type="research-article" dtd-version="1.4" xml:lang="en">
  <front>
    <journal-meta>
      <journal-id journal-id-type="publisher-id">jamp</journal-id>
      <journal-title-group>
        <journal-title>Journal of Applied Mathematics and Physics</journal-title>
      </journal-title-group>
      <issn pub-type="epub">2327-4379</issn>
      <issn pub-type="ppub">2327-4352</issn>
      <publisher>
        <publisher-name>Scientific Research Publishing</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="doi">10.4236/jamp.2026.141022</article-id>
      <article-id pub-id-type="publisher-id">jamp-149230</article-id>
      <article-categories>
        <subj-group>
          <subject>Article</subject>
        </subj-group>
        <subj-group>
          <subject>Physics</subject>
          <subject>Mathematics</subject>
        </subj-group>
      </article-categories>
      <title-group>
        <article-title>Modeling and Forecasting Rental Prices in Berlin Using AI with Nonlinear Covariates for Housing Policy and Social Equity</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author" corresp="yes">
          <contrib-id contrib-id-type="orcid">0009-0004-5860-9238</contrib-id>
          <name name-style="western">
            <surname>Onumadu</surname>
            <given-names>Ugochukwu</given-names>
          </name>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="author">
          <name name-style="western">
            <surname>Iyelobu</surname>
            <given-names>Merci</given-names>
          </name>
          <xref ref-type="aff" rid="aff2">2</xref>
        </contrib>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">0009-0004-8121-9633</contrib-id>
          <name name-style="western">
            <surname>Yessoufou</surname>
            <given-names>Babatounde</given-names>
          </name>
          <xref ref-type="aff" rid="aff3">3</xref>
        </contrib>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">0000-0001-5767-9091</contrib-id>
          <name name-style="western">
            <surname>Adepeju</surname>
            <given-names>Adedeji</given-names>
          </name>
          <xref ref-type="aff" rid="aff4">4</xref>
        </contrib>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">0009-0008-1570-041X</contrib-id>
          <name name-style="western">
            <surname>Adebayo</surname>
            <given-names>Sulaimon</given-names>
          </name>
          <xref ref-type="aff" rid="aff5">5</xref>
        </contrib>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">0000-0001-8151-6743</contrib-id>
          <name name-style="western">
            <surname>Omotosho</surname>
            <given-names>Oluwabusayo</given-names>
          </name>
          <xref ref-type="aff" rid="aff6">6</xref>
        </contrib>
      </contrib-group>
      <aff id="aff1"><label>1</label> 1Department of Educational Specialties, Austin Peay State University, Clarksville, USA </aff>
      <aff id="aff2"><label>2</label> Department of Economics, Northeastern University, Boston, USA </aff>
      <aff id="aff3"><label>3</label> The Fuqua School of Business, Duke University, Durham, North Carolina, USA </aff>
      <aff id="aff4"><label>4</label> Department of Architecture, Moshood Abiola Polytechnic, Abeokuta, Nigeria </aff>
      <aff id="aff5"><label>5</label> University of Massachusetts Amherst, Amherst, USA </aff>
      <aff id="aff6"><label>6</label> Department of Information Systems and Sciences, Bowie State University, Maryland, USA </aff>
      <author-notes>
        <fn fn-type="conflict" id="fn-conflict">
          <p>The authors declare no conflicts of interest regarding the publication of this paper.</p>
        </fn>
      </author-notes>
      <pub-date pub-type="epub">
        <day>01</day>
        <month>01</month>
        <year>2026</year>
      </pub-date>
      <pub-date pub-type="collection">
        <month>01</month>
        <year>2026</year>
      </pub-date>
      <volume>14</volume>
      <issue>01</issue>
      <fpage>400</fpage>
      <lpage>445</lpage>
      <history>
        <date date-type="received">
          <day>21</day>
          <month>11</month>
          <year>2025</year>
        </date>
        <date date-type="accepted">
          <day>26</day>
          <month>01</month>
          <year>2026</year>
        </date>
        <date date-type="published">
          <day>29</day>
          <month>01</month>
          <year>2026</year>
        </date>
      </history>
      <permissions>
        <copyright-statement>© 2026 by the authors and Scientific Research Publishing Inc.</copyright-statement>
        <copyright-year>2026</copyright-year>
        <license license-type="open-access">
          <license-p> This article is an open access article distributed under the terms and conditions of the Creative Commons Attribution (CC BY) license ( <ext-link ext-link-type="uri" xlink:href="https://creativecommons.org/licenses/by/4.0/">https://creativecommons.org/licenses/by/4.0/</ext-link> ). </license-p>
        </license>
      </permissions>
      <self-uri content-type="doi" xlink:href="https://doi.org/10.4236/jamp.2026.141022">https://doi.org/10.4236/jamp.2026.141022</self-uri>
      <abstract>
        <p>This study employs machine learning techniques (AI), specifically multiple linear regression with nonlinear covariates, to model rental prices per square meter in Berlin, Germany. The research investigates major quantitative and qualitative variables influencing rent dynamics by leveraging a robust dataset comprising over 2.6 million apartments with 59 variables from 2007 to 2020, sourced from FDZ Ruhr and ImmobilienScout24. Drawing from over 99,000 rental records (2015 and 2019 datasets) and 31 variables (9 quantitative and 22 qualitative), the analysis evaluates the influence of factors such as furnishing quality, modernization year, apartment size, and energy efficiency on rent pricing. Polynomial and log transformations were applied to improve model robustness. The use of log-transformed rent as the response variable, combined with nonlinear covariates, yielded the best model performance, with the highest adjusted Rsquared values of 0.3645 and 0.492 in the 2015 and 2019 models, respectively, among the tested models. The results suggest that both quantitative and qualitative variables significantly influence rent sqm, with influential predictors varying in linearity and significance across the two years. In 2015, rent was influenced by nonlinear trends in living space and construction years, while in 2019, heat cost and modernization showed linear increases in rent. Apartments with upscale furnishings, high energy efficiency, elevators, and guest toilets consistently commanded higher rents, whereas a pet allowance was associated with lower rents. Residual analysis, variance inflation factors (VIF), and the Akaike Information Criterion (AIC) confirmed the model’s statistical validity. Results indicate significant shifts in rent patterns and offer predictive insights relevant to policymakers, urban planners, and educational leaders addressing housing affordability and equity. This research builds prior literature in AI-supported urban analytics and contributes a replicable data-driven framework for strategic housing decisions in high-demand university cities.</p>
      </abstract>
      <kwd-group kwd-group-type="author-generated" xml:lang="en">
        <kwd>AI Rent Forecasting</kwd>
        <kwd>Berlin Housing Market</kwd>
        <kwd>Rental Price Modeling</kwd>
        <kwd>Multiple Linear Regression</kwd>
        <kwd>Social Equity</kwd>
        <kwd>Policy Innovation</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <body>
    <sec id="sec1">
      <title>1. Background and Study Framework</title>
      <sec id="sec1dot1">
        <title>1.1. Introduction</title>
        <p>In this paper, artificial intelligence (AI) refers to the application of predictive modeling techniques, particularly regression analysis, within decision systems that use data and digital tools to support urban planning. Advanced statistical methods are used to model the rent per square meter (<bold>rent_sqm</bold>) in Berlin’s housing market. Berlin’s 2024 housing market exhibits a significant imbalance, with demand outpacing supply. In 2023, the population increased by 0.7% to 3.878 million, driven by 187,971 new arrivals, making it the third-highest year of immigration since 1991 [<xref ref-type="bibr" rid="B1">1</xref>]. Rental demand is high in Germany, particularly in Berlin and Munich, where prices have risen significantly, presenting challenges like those faced in other high-income countries, such as the UK, France, the US, and Canada [<xref ref-type="bibr" rid="B2">2</xref>]. Germany has a significantly higher share of renters compared to its international counterparts. In 2018, Germany’s homeownership rate stood at 51.5%, while the rates in the UK, Italy, and Romania were 65.1%, 72.4%, and 96.4%, respectively [<xref ref-type="bibr" rid="B2">2</xref>]. Although AI often involves complex algorithms, it also encompasses predictive modeling for pattern recognition and analysis. This study uses a transformed multiple linear regression with nonlinear variables to forecast rent prices in Berlin, contributing to urban analysis efforts that support thoughtful policy decisions and promote fairness in housing [<xref ref-type="bibr" rid="B3">3</xref>].</p>
      </sec>
      <sec id="sec1dot2">
        <title>1.2. Objective</title>
        <p>This paper employs multiple linear regression to model rent_sqm in Berlin, examining major market trends, assessing the need for transformation of the response variable, and identifying significant predictors. The results aim to support the development of housing policy and promote equity, while also assisting educational leaders in strategic and equitable housing planning.</p>
      </sec>
      <sec id="sec1dot3">
        <title>1.3. Literature Review</title>
        <p>Skewness and variability in housing data are often addressed using log-linear regression, which highlights furnishing quality, energy efficiency, and modernization as main influencing factors [<xref ref-type="bibr" rid="B4">4</xref>][<xref ref-type="bibr" rid="B5">5</xref>]. Germany’s public housing contrasts with the U.S.’s system based on market behavior [<xref ref-type="bibr" rid="B6">6</xref>]. Energy-efficient design has garnered increasing attention to sustainability [<xref ref-type="bibr" rid="B7">7</xref>]. This study employs AI-driven modeling to analyze Berlin’s rental market and connect statistical insights to educational policy, with a focus on policy innovation and social equity in housing [<xref ref-type="bibr" rid="B8">8</xref>][<xref ref-type="bibr" rid="B9">9</xref>].</p>
      </sec>
      <sec id="sec1dot4">
        <title>1.4. Research Questions</title>
        <p><bold>RQ1:</bold> Does a relationship exist between the response variable (rent_sqm) and the selected predictor variables?<bold>RQ2:</bold> Is a transformation of response variable (rent_sqm) necessary to meet the assumptions of linear regression?<bold>RQ3:</bold> Which predictor variables significantly affect the rental price per square meter in Berlin’s housing market?</p>
      </sec>
    </sec>
    <sec id="sec2">
      <title>2. Methodology</title>
      <p>This section explores the methodology and required mathematical and statistical background for this paper. The study uses multiple regression analysis to model rent trends in Berlin. Although regression is a classical statistical method, its application in this context serves as a robust AI tool (machine learning algorithms) for predictive modeling in housing policy. We look at linear models, their formulations, assumptions, estimations, validation, predictions, and hypothesis testing. More details can be found in [<xref ref-type="bibr" rid="B10">10</xref>]. The data analysis was executed using the R programming language. </p>
      <sec id="sec2dot1">
        <title>2.1. Research Design</title>
        <p>This research uses a quantitative approach and applies AI-informed predictive modeling, focusing on multiple linear regression with nonlinear covariates, to analyze Berlin’s rental prices.</p>
      </sec>
      <sec id="sec2dot2">
        <title>2.2. Data Collection</title>
        <p>A secondary source of data collection was used for this study. The data was provided by the FDZ Ruhr at RWI (and ImmobilienScout24) institution. The Immobilien-Scout24 GmbH, founded in 1998, deals with real estate properties in Germany. The data set contains 2,651,885 observations and 59 attributes from 2007 to 2020. We selected Berlin City as it had the highest number of rental transactions in Germany. Thereafter, we chose the years 2015 and 2019, which had 49,724 and 49,536 records, respectively, based on the significant impact observed in the plotted scatter of years with rent prices as shown in the data description in <bold>Table 3</bold>.</p>
      </sec>
      <sec id="sec2dot3">
        <title>2.3. Data Analysis: Multiple Linear Regression with Nonlinear Covariates</title>
        <p>We cleaned the data and removed outliers using the interquartile range (IQR) method. The missing values recorded and the NAs were part of the labels for most categorical variables, as shown in <bold>Table 2</bold>. Exploratory data analysis (EDA) was used to visualize the behavior of rent per square meter and its covariates. The distribution of rent prices was first explored through histograms, overlaid with fitted Normal and Log-Normal density functions to assess its shape as shown in <xref ref-type="fig" rid="fig1">Figure 1</xref> and <xref ref-type="fig" rid="fig2">Figure 2</xref>. Scatter and box plots were used to observe the influential variables of rent price and how each variable enters the model. Eight models were fitted using multiple linear regression, and residual analysis, variance inflation factors (VIF), the Akaike information criterion (AIC), and the adjusted R-squared were used for model evaluation. Among the eight models, multiple linear regression with nonlinear covariates was used for the prediction of rent per square meter based on model evaluation.</p>
        <p>2.3.1. Concept of a Multiple Linear Regression Model</p>
        <p>Researchers frequently explore whether a relationship exists between variables and how they are connected if one is found. Regression models the relationship between a response variable and one or more independent variables (covariates); see [<xref ref-type="bibr" rid="B11">11</xref>]. For example, we might examine the relationship between apartment size (independent variable) and monthly rent (dependent or response variable). Regression analysis aims to estimate the parameters of the linear function that best describes the joint distribution of the dependent variable and the covariates [<xref ref-type="bibr" rid="B12">12</xref>]. Relationships between variables can be linear, nonlinear (e.g., quadratic or cubic), or absent. Exploratory Data Analysis (EDA) helps identify suitable model structures before fitting regression models. When multiple independent variables are used to predict a continuous response, the approach is called multiple linear regression. In this study, we aim to investigate the relationship between the rent per square meter in Berlin charged for an apartment, characterized by both continuous and discrete covariates.</p>
        <p>2.3.2. Concept of a Multiple Linear Regression Model</p>
        <p>Researchers frequently explore whether a relationship exists between variables and how they are connected if one is found. Regression models the relationship between a response variable and one or more independent variables (covariates); see [<xref ref-type="bibr" rid="B11">11</xref>]. For example, we might examine the relationship between apartment size (independent variable) and monthly rent (dependent or response variable). Regression analysis aims to estimate the parameters of the linear function that best describes the joint distribution of the dependent variable and the covariates [<xref ref-type="bibr" rid="B12">12</xref>]. Relationships between variables can be linear, nonlinear (e.g., quadratic or cubic), or absent. Exploratory Data Analysis (EDA) helps identify suitable model structures before fitting regression models. When multiple independent variables are used to predict a continuous response, the approach is called multiple linear regression. In this study, we aim to investigate the relationship between the rent per square meter in Berlin charged for an apartment, characterized by both continuous and discrete covariates.</p>
        <p>2.3.3. Model Formulation</p>
        <p>In a regression analysis with a continuous response variable <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math><mml:mi> p </mml:mi></mml:math></inline-formula> covariates or predictors <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> X </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mn> 1 </mml:mn></mml:mrow></mml:msub><mml:mo> , </mml:mo><mml:msub><mml:mi> X </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mn> 2 </mml:mn></mml:mrow></mml:msub><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:msub><mml:mi> X </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mi> k </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> which may be continuous or qualitative (ordinal or nominal) with <inline-formula><mml:math><mml:mi> n </mml:mi></mml:math></inline-formula> observations, let <inline-formula><mml:math><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> y </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> , </mml:mo><mml:msubsup><mml:mi> x </mml:mi><mml:mi> i </mml:mi><mml:mo> ⊤ </mml:mo></mml:msubsup></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mo> : </mml:mo><mml:mo> = </mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> y </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> , </mml:mo><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mn> 1 </mml:mn></mml:mrow></mml:msub><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mi> k </mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mo> ⊤ </mml:mo></mml:msup></mml:mrow></mml:math></inline-formula> , <inline-formula><mml:math><mml:mrow><mml:mi> i </mml:mi><mml:mo> = </mml:mo><mml:mn> 1 </mml:mn><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:mi> n </mml:mi></mml:mrow></mml:math></inline-formula> , <inline-formula><mml:math><mml:mrow><mml:mi> k </mml:mi><mml:mo> = </mml:mo><mml:mi> p </mml:mi><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:math></inline-formula> , be a pair of the <inline-formula><mml:math><mml:mrow><mml:mi> i </mml:mi><mml:mtext> th </mml:mtext></mml:mrow></mml:math></inline-formula> observation <inline-formula><mml:math><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> y </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> , </mml:mo><mml:msubsup><mml:mi> x </mml:mi><mml:mi> i </mml:mi><mml:mo> ⊤ </mml:mo></mml:msubsup></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> of the random vector <inline-formula><mml:math><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> , </mml:mo><mml:msubsup><mml:mi> x </mml:mi><mml:mi> i </mml:mi><mml:mo> ⊤ </mml:mo></mml:msubsup></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> , where <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> = </mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mn> 1 </mml:mn></mml:mrow></mml:msub><mml:mo> , </mml:mo><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mn> 2 </mml:mn></mml:mrow></mml:msub><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mi> k </mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mo> ⊤ </mml:mo></mml:msup></mml:mrow></mml:math></inline-formula> , then our objective is to analyze the effects of the covariates on the mean value of the response variable (<inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> μ </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> ≡ </mml:mo><mml:mi> E </mml:mi><mml:mrow><mml:mo> [ </mml:mo><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ] </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> ). The linear model models the response as a linear function of the predictors together plus an error term, i.e.</p>
        <disp-formula id="FD1">
          <label>(2.1)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>Y</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>1</mml:mn>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mn>2</mml:mn>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>k</mml:mi>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mi>k</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>ϵ</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:munderover>
                <mml:mstyle mathsize="140%" displaystyle="true">
                  <mml:mo>∑</mml:mo>
                </mml:mstyle>
                <mml:mrow>
                  <mml:mi>j</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
                <mml:mi>k</mml:mi>
              </mml:munderover>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>j</mml:mi>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mi>j</mml:mi>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>ϵ</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>with mean <inline-formula><mml:math><mml:mrow><mml:mi> E </mml:mi><mml:mrow><mml:mo> [ </mml:mo><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ] </mml:mo></mml:mrow><mml:mo> = </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mn> 0 </mml:mn></mml:msub><mml:mo> + </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mn> 1 </mml:mn></mml:msub><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mn> 1 </mml:mn></mml:mrow></mml:msub><mml:mo> + </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mn> 2 </mml:mn></mml:msub><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mn> 2 </mml:mn></mml:mrow></mml:msub><mml:mo> + </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> + </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mi> k </mml:mi></mml:msub><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mi> k </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> .</p>
        <p>Multiple linear regression model: The multiple linear regression model is defined as </p>
        <disp-formula id="FD2">
          <label>(2.2)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>Y</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>1</mml:mn>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>k</mml:mi>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mi>k</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>ε</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mi>i</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mn>1</mml:mn>
              <mml:mo>,</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>,</mml:mo>
              <mml:mi>n</mml:mi>
              <mml:mo>,</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>where <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> is the random error variable, <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> is the intercept, and the <inline-formula><mml:math><mml:mi> k </mml:mi></mml:math></inline-formula> parameters <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mn> 1 </mml:mn></mml:msub><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mi> k </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> are the unknown regression parameters to be estimated from <inline-formula><mml:math><mml:mi> n </mml:mi></mml:math></inline-formula> observations <inline-formula><mml:math><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> y </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> , </mml:mo><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mn> 1 </mml:mn></mml:mrow></mml:msub><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mi> k </mml:mi></mml:mrow></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> , for <inline-formula><mml:math><mml:mrow><mml:mi> i </mml:mi><mml:mo> = </mml:mo><mml:mn> 1 </mml:mn><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:mi> n </mml:mi></mml:mrow></mml:math></inline-formula> .</p>
        <p>2.3.4. Matrix Representation</p>
        <p>It is very easy to represent our linear model in a matrix form [<xref ref-type="bibr" rid="B13">13</xref>]. The four different model components below, are defined in order to represent the multiple linear regression model of (2.2) in the matrix-vector notation for our model formulation and calculation.</p>
        <p>a) Let <inline-formula><mml:math><mml:mrow><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> Y </mml:mi></mml:mstyle><mml:mo> = </mml:mo><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mtable><mml:mtr><mml:mtd><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mn> 1 </mml:mn></mml:msub></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mn> 2 </mml:mn></mml:msub></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mo> ⋮ </mml:mo></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> n </mml:mi></mml:msub></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mo> ∈ </mml:mo><mml:msup><mml:mi> ℝ </mml:mi><mml:mi> n </mml:mi></mml:msup></mml:mrow></mml:math></inline-formula> , be the vector of the response variables.</p>
        <p>b) Let <inline-formula><mml:math><mml:mrow><mml:mi> X </mml:mi><mml:mo> = </mml:mo><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mtable><mml:mtr><mml:mtd><mml:mn> 1 </mml:mn></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mn> 11 </mml:mn></mml:mrow></mml:msub></mml:mrow></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mn> 12 </mml:mn></mml:mrow></mml:msub></mml:mrow></mml:mtd><mml:mtd><mml:mo> ⋯ </mml:mo></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mn> 1 </mml:mn><mml:mi> k </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mn> 1 </mml:mn></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mn> 21 </mml:mn></mml:mrow></mml:msub></mml:mrow></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mn> 22 </mml:mn></mml:mrow></mml:msub></mml:mrow></mml:mtd><mml:mtd><mml:mo> ⋯ </mml:mo></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mn> 2 </mml:mn><mml:mi> k </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mo> ⋮ </mml:mo></mml:mtd><mml:mtd><mml:mo> ⋮ </mml:mo></mml:mtd><mml:mtd><mml:mo> ⋮ </mml:mo></mml:mtd><mml:mtd><mml:mo> ⋱ </mml:mo></mml:mtd><mml:mtd><mml:mo> ⋮ </mml:mo></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mn> 1 </mml:mn></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> n </mml:mi><mml:mn> 1 </mml:mn></mml:mrow></mml:msub></mml:mrow></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> n </mml:mi><mml:mn> 2 </mml:mn></mml:mrow></mml:msub></mml:mrow></mml:mtd><mml:mtd><mml:mo> ⋯ </mml:mo></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> n </mml:mi><mml:mi> k </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mo> ∈ </mml:mo><mml:msup><mml:mi> ℝ </mml:mi><mml:mrow><mml:mi> n </mml:mi><mml:mo> × </mml:mo><mml:mi> p </mml:mi></mml:mrow></mml:msup></mml:mrow></mml:math></inline-formula> , be the design matrix that contains </p>
        <p><inline-formula><mml:math><mml:mrow><mml:mi> p </mml:mi><mml:mo> = </mml:mo><mml:mi> k </mml:mi><mml:mo> + </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:math></inline-formula> predictors with their <inline-formula><mml:math><mml:mi> n </mml:mi></mml:math></inline-formula> observations in its rows. The columns correspond to the <inline-formula><mml:math><mml:mi> p </mml:mi></mml:math></inline-formula> unknown regression parameters. Note that the first column which corresponds to the intercept <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> equals 1 for all <inline-formula><mml:math><mml:mi> n </mml:mi></mml:math></inline-formula> entries. </p>
        <p>Denote by <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> ∈ </mml:mo><mml:msup><mml:mi> ℝ </mml:mi><mml:mi> p </mml:mi></mml:msup></mml:mrow></mml:math></inline-formula> the <inline-formula><mml:math><mml:mrow><mml:mi> i </mml:mi><mml:mtext> th </mml:mtext></mml:mrow></mml:math></inline-formula> row of the design matrix.</p>
        <p>c) Let <inline-formula><mml:math><mml:mrow><mml:mi> β </mml:mi><mml:mo> = </mml:mo><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mtable><mml:mtr><mml:mtd><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mn> 1 </mml:mn></mml:msub></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mo> ⋮ </mml:mo></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mi> p </mml:mi></mml:msub></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mo> ∈ </mml:mo><mml:msup><mml:mi> ℝ </mml:mi><mml:mi> p </mml:mi></mml:msup></mml:mrow></mml:math></inline-formula> , be the unknown vector of the regression coefficients.</p>
        <p>d) Let <inline-formula><mml:math><mml:mrow><mml:mi> ε </mml:mi><mml:mo> = </mml:mo><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mtable><mml:mtr><mml:mtd><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mn> 1 </mml:mn></mml:msub></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mn> 2 </mml:mn></mml:msub></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mo> ⋮ </mml:mo></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> n </mml:mi></mml:msub></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mo> ∈ </mml:mo><mml:msup><mml:mi> ℝ </mml:mi><mml:mi> n </mml:mi></mml:msup></mml:mrow></mml:math></inline-formula> , be the vector of random error variables.</p>
        <p>(<italic>Linear</italic><italic>regression</italic><italic>model</italic><italic>in</italic><italic>matrix</italic>-<italic>vector</italic><italic>notation</italic>) With these notations model (2.2) can be expressed as </p>
        <disp-formula id="FD3">
          <mml:math>
            <mml:mrow>
              <mml:munder>
                <mml:munder>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:mo>(</mml:mo>
                      <mml:mrow>
                        <mml:mtable>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>Y</mml:mi>
                                  <mml:mn>1</mml:mn>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>Y</mml:mi>
                                  <mml:mn>2</mml:mn>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mo>⋮</mml:mo>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>Y</mml:mi>
                                  <mml:mi>n</mml:mi>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                        </mml:mtable>
                      </mml:mrow>
                      <mml:mo>)</mml:mo>
                    </mml:mrow>
                  </mml:mrow>
                  <mml:mo stretchy="true">︸</mml:mo>
                </mml:munder>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>×</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:munder>
              <mml:mo>=</mml:mo>
              <mml:munder>
                <mml:munder>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:mo>(</mml:mo>
                      <mml:mrow>
                        <mml:mtable>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mn>1</mml:mn>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>x</mml:mi>
                                  <mml:mrow>
                                    <mml:mn>11</mml:mn>
                                  </mml:mrow>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>x</mml:mi>
                                  <mml:mrow>
                                    <mml:mn>12</mml:mn>
                                  </mml:mrow>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mo>⋯</mml:mo>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>x</mml:mi>
                                  <mml:mrow>
                                    <mml:mn>1</mml:mn>
                                    <mml:mi>k</mml:mi>
                                  </mml:mrow>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mn>1</mml:mn>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>x</mml:mi>
                                  <mml:mrow>
                                    <mml:mn>21</mml:mn>
                                  </mml:mrow>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>x</mml:mi>
                                  <mml:mrow>
                                    <mml:mn>22</mml:mn>
                                  </mml:mrow>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mo>⋯</mml:mo>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>x</mml:mi>
                                  <mml:mrow>
                                    <mml:mn>2</mml:mn>
                                    <mml:mi>k</mml:mi>
                                  </mml:mrow>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mo>⋮</mml:mo>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mo>⋮</mml:mo>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mo>⋮</mml:mo>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mo>⋱</mml:mo>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mo>⋮</mml:mo>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mn>1</mml:mn>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>x</mml:mi>
                                  <mml:mrow>
                                    <mml:mi>n</mml:mi>
                                    <mml:mn>1</mml:mn>
                                  </mml:mrow>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>x</mml:mi>
                                  <mml:mrow>
                                    <mml:mi>n</mml:mi>
                                    <mml:mn>2</mml:mn>
                                  </mml:mrow>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mo>⋯</mml:mo>
                            </mml:mtd>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>x</mml:mi>
                                  <mml:mrow>
                                    <mml:mi>n</mml:mi>
                                    <mml:mi>k</mml:mi>
                                  </mml:mrow>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                        </mml:mtable>
                      </mml:mrow>
                      <mml:mo>)</mml:mo>
                    </mml:mrow>
                  </mml:mrow>
                  <mml:mo stretchy="true">︸</mml:mo>
                </mml:munder>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>×</mml:mo>
                  <mml:mi>p</mml:mi>
                </mml:mrow>
              </mml:munder>
              <mml:munder>
                <mml:munder>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:mo>(</mml:mo>
                      <mml:mrow>
                        <mml:mtable>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>β</mml:mi>
                                  <mml:mn>0</mml:mn>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>β</mml:mi>
                                  <mml:mn>1</mml:mn>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mo>⋮</mml:mo>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>β</mml:mi>
                                  <mml:mi>k</mml:mi>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                        </mml:mtable>
                      </mml:mrow>
                      <mml:mo>)</mml:mo>
                    </mml:mrow>
                  </mml:mrow>
                  <mml:mo stretchy="true">︸</mml:mo>
                </mml:munder>
                <mml:mrow>
                  <mml:mi>p</mml:mi>
                  <mml:mo>×</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:munder>
              <mml:mo>+</mml:mo>
              <mml:munder>
                <mml:munder>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:mo>(</mml:mo>
                      <mml:mrow>
                        <mml:mtable>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>ϵ</mml:mi>
                                  <mml:mn>1</mml:mn>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>ϵ</mml:mi>
                                  <mml:mn>2</mml:mn>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mo>⋮</mml:mo>
                            </mml:mtd>
                          </mml:mtr>
                          <mml:mtr>
                            <mml:mtd>
                              <mml:mrow>
                                <mml:msub>
                                  <mml:mi>ϵ</mml:mi>
                                  <mml:mi>n</mml:mi>
                                </mml:msub>
                              </mml:mrow>
                            </mml:mtd>
                          </mml:mtr>
                        </mml:mtable>
                      </mml:mrow>
                      <mml:mo>)</mml:mo>
                    </mml:mrow>
                  </mml:mrow>
                  <mml:mo stretchy="true">︸</mml:mo>
                </mml:munder>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>×</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:munder>
              <mml:mo>,</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Thus, the multiple linear regression (2.2) can now be written as</p>
        <disp-formula id="FD4">
          <label>(2.3)</label>
          <mml:math display="inline">
            <mml:mrow>
              <mml:mi>Y</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mi>X</mml:mi>
              <mml:mi>β</mml:mi>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>ϵ</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>with</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msub>
                <mml:mi>ϵ</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>~</mml:mo>
              <mml:msub>
                <mml:mi>N</mml:mi>
                <mml:mi>n</mml:mi>
              </mml:msub>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mn>0</mml:mn>
                  <mml:mo>,</mml:mo>
                  <mml:msup>
                    <mml:mi>σ</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                  <mml:msub>
                    <mml:mi>I</mml:mi>
                    <mml:mi>n</mml:mi>
                  </mml:msub>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>where <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> I </mml:mi><mml:mi> n </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> is the <inline-formula><mml:math><mml:mrow><mml:mi> n </mml:mi><mml:mo> × </mml:mo><mml:mi> n </mml:mi></mml:mrow></mml:math></inline-formula> identity matrix and <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> N </mml:mi><mml:mi> m </mml:mi></mml:msub><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mi> μ </mml:mi><mml:mo> , </mml:mo><mml:mi> Σ </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> denotes the <italic>m</italic>-dimensional multivariate normal distribution with the mean vector <inline-formula><mml:math display="inline"><mml:mi> μ </mml:mi></mml:math></inline-formula> and covariance matrix <inline-formula><mml:math><mml:mi> Σ </mml:mi></mml:math></inline-formula> .</p>
        <p>2.3.5. Assumptions of the Linear Model</p>
        <p>a) <bold>Linearity in the covariates</bold>: In (2.1), we introduced that the relationship between the covariate vector <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> and the random response <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> has the form </p>
        <disp-formula id="FD5">
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>Y</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:munderover>
                <mml:mstyle mathsize="140%" displaystyle="true">
                  <mml:mo>∑</mml:mo>
                </mml:mstyle>
                <mml:mrow>
                  <mml:mi>j</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
                <mml:mi>p</mml:mi>
              </mml:munderover>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>j</mml:mi>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mi>j</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>ε</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>with random error variable <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> satisfying <inline-formula><mml:math><mml:mrow><mml:mi> E </mml:mi><mml:mrow><mml:mo> [ </mml:mo><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ] </mml:mo></mml:mrow><mml:mo> = </mml:mo><mml:mn> 0 </mml:mn></mml:mrow></mml:math></inline-formula> , so that </p>
        <disp-formula id="FD6">
          <mml:math>
            <mml:mrow>
              <mml:mi>E</mml:mi>
              <mml:mrow>
                <mml:mo>[</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>Y</mml:mi>
                    <mml:mi>i</mml:mi>
                  </mml:msub>
                </mml:mrow>
                <mml:mo>]</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:munderover>
                <mml:mstyle mathsize="140%" displaystyle="true">
                  <mml:mo>∑</mml:mo>
                </mml:mstyle>
                <mml:mrow>
                  <mml:mi>j</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
                <mml:mi>p</mml:mi>
              </mml:munderover>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>j</mml:mi>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mi>j</mml:mi>
                </mml:mrow>
              </mml:msub>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <disp-formula id="FD7">
          <mml:math>
            <mml:mrow>
              <mml:mi>i</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mn>1</mml:mn>
              <mml:mo>,</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>,</mml:mo>
              <mml:mi>n</mml:mi>
              <mml:mo>.</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>In matrix notation: <inline-formula><mml:math><mml:mrow><mml:mi> E </mml:mi><mml:mrow><mml:mo> [ </mml:mo><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> Y </mml:mi></mml:mstyle><mml:mo> ] </mml:mo></mml:mrow><mml:mo> = </mml:mo><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> X </mml:mi></mml:mstyle><mml:mi> β </mml:mi></mml:mrow></mml:math></inline-formula> . </p>
        <p>b)<bold>Homoscedasticity</bold>: The error variables <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> have constant variance </p>
        <disp-formula id="FD8">
          <mml:math>
            <mml:mrow>
              <mml:mtext>Var</mml:mtext>
              <mml:mrow>
                <mml:mo>[</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>Y</mml:mi>
                    <mml:mi>i</mml:mi>
                  </mml:msub>
                </mml:mrow>
                <mml:mo>]</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mtext>Var</mml:mtext>
              <mml:mrow>
                <mml:mo>[</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>ε</mml:mi>
                    <mml:mi>i</mml:mi>
                  </mml:msub>
                </mml:mrow>
                <mml:mo>]</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:msup>
                <mml:mi>σ</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mi>i</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mn>1</mml:mn>
              <mml:mo>,</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>,</mml:mo>
              <mml:mi>n</mml:mi>
              <mml:mo>.</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>c)<bold>Independence of the random errors</bold>: We assume that the error variables <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> are independent and identically distributed (i.i.d.). Then it follows</p>
        <disp-formula id="FD9">
          <mml:math>
            <mml:mrow>
              <mml:mtext>Cov</mml:mtext>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>Y</mml:mi>
                    <mml:mi>j</mml:mi>
                  </mml:msub>
                  <mml:mo>,</mml:mo>
                  <mml:msub>
                    <mml:mi>Y</mml:mi>
                    <mml:msup>
                      <mml:mi>j</mml:mi>
                      <mml:mo>′</mml:mo>
                    </mml:msup>
                  </mml:msub>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mtext>Cov</mml:mtext>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>ε</mml:mi>
                    <mml:mi>j</mml:mi>
                  </mml:msub>
                  <mml:mo>,</mml:mo>
                  <mml:msub>
                    <mml:mi>ε</mml:mi>
                    <mml:msup>
                      <mml:mi>j</mml:mi>
                      <mml:mo>′</mml:mo>
                    </mml:msup>
                  </mml:msub>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mn>0</mml:mn>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mo>∀</mml:mo>
              <mml:mi>j</mml:mi>
              <mml:mo>≠</mml:mo>
              <mml:msup>
                <mml:mi>j</mml:mi>
                <mml:mo>′</mml:mo>
              </mml:msup>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>d) <bold>Normality</bold>: The random error variables <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> follow a normal distribution.</p>
        <disp-formula id="FD10">
          <label>(2.4)</label>
          <mml:math>
            <mml:mrow>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mi>Y</mml:mi>
              </mml:mstyle>
              <mml:mo>~</mml:mo>
              <mml:msub>
                <mml:mi>N</mml:mi>
                <mml:mi>n</mml:mi>
              </mml:msub>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mstyle mathvariant="bold" mathsize="normal">
                    <mml:mi>X</mml:mi>
                  </mml:mstyle>
                  <mml:mi>β</mml:mi>
                  <mml:mo>,</mml:mo>
                  <mml:msup>
                    <mml:mi>σ</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                  <mml:msub>
                    <mml:mstyle mathvariant="bold" mathsize="normal">
                      <mml:mi>I</mml:mi>
                    </mml:mstyle>
                    <mml:mi>n</mml:mi>
                  </mml:msub>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>where <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> I </mml:mi><mml:mi> n </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> is the <inline-formula><mml:math><mml:mrow><mml:mi> n </mml:mi><mml:mo> × </mml:mo><mml:mi> n </mml:mi></mml:mrow></mml:math></inline-formula> identity matrix and <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> N </mml:mi><mml:mi> m </mml:mi></mml:msub><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mi> μ </mml:mi><mml:mo> , </mml:mo><mml:mi> Σ </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> denotes the <italic>m</italic>-dimensional multivariate normal distribution with the mean vector <inline-formula><mml:math display="inline"><mml:mi> μ </mml:mi></mml:math></inline-formula> and covariance matrix <inline-formula><mml:math><mml:mi> Σ </mml:mi></mml:math></inline-formula> , respectively. </p>
        <p>In general, we assume a Gaussian error <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> ~ </mml:mo><mml:msub><mml:mi> N </mml:mi><mml:mi> n </mml:mi></mml:msub><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mn> 0 </mml:mn><mml:mo> , </mml:mo><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup><mml:msub><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> I </mml:mi></mml:mstyle><mml:mi> n </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> . This allows us to construct confidence intervals and conduct statistical tests. </p>
        <p>Here, <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> I </mml:mi><mml:mi> n </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> is the <italic>n</italic>-dimensional identity matrix and <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> N </mml:mi><mml:mi> m </mml:mi></mml:msub><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mi> μ </mml:mi><mml:mo> , </mml:mo><mml:mi> Σ </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> denotes the <italic>m</italic>-dimensional multivariate normal distribution with mean vector <inline-formula><mml:math display="inline"><mml:mi> μ </mml:mi></mml:math></inline-formula> and covariance matrix <inline-formula><mml:math><mml:mi> Σ </mml:mi></mml:math></inline-formula> , respectively.</p>
        <p>2.3.6. Polynomial Regression</p>
        <p>Polynomial regression is often appropriate when there exists a relationship between the response and the covariates.</p>
        <p>(<italic>Polynomial</italic><italic>regression</italic>). Given a continuous covariate <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> V </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> with observations <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> v </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> that has a polynomial effect of degree <inline-formula><mml:math><mml:mi> d </mml:mi></mml:math></inline-formula> on the response, then the model <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> = </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mn> 0 </mml:mn></mml:msub><mml:mo> + </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mn> 1 </mml:mn></mml:msub><mml:msub><mml:mi> V </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> + </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mn> 2 </mml:mn></mml:msub><mml:msubsup><mml:mi> V </mml:mi><mml:mi> i </mml:mi><mml:mn> 2 </mml:mn></mml:msubsup><mml:mo> + </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> + </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mi> d </mml:mi></mml:msub><mml:msubsup><mml:mi> V </mml:mi><mml:mi> i </mml:mi><mml:mi> d </mml:mi></mml:msubsup><mml:mo> + </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> + </mml:mo><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> can be used. Note, it is a linear regression model of the form (2.2) with <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mi> j </mml:mi></mml:mrow></mml:msub><mml:mo> = </mml:mo><mml:msubsup><mml:mi> v </mml:mi><mml:mi> i </mml:mi><mml:mi> j </mml:mi></mml:msubsup></mml:mrow></mml:math></inline-formula> , <inline-formula><mml:math><mml:mrow><mml:mi> j </mml:mi><mml:mo> = </mml:mo><mml:mn> 1 </mml:mn><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:mi> d </mml:mi></mml:mrow></mml:math></inline-formula> [<xref ref-type="bibr" rid="B14">14</xref>] and [<xref ref-type="bibr" rid="B15">15</xref>]. </p>
        <p>In order to increase numerical stability, we orthonomalize the corresponding design matrix <inline-formula><mml:math><mml:mrow><mml:mi> X </mml:mi><mml:mo> = </mml:mo><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mtable><mml:mtr><mml:mtd><mml:mn> 1 </mml:mn></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> v </mml:mi><mml:mn> 1 </mml:mn></mml:msub></mml:mrow></mml:mtd><mml:mtd><mml:mrow><mml:msubsup><mml:mi> v </mml:mi><mml:mn> 1 </mml:mn><mml:mi> d </mml:mi></mml:msubsup></mml:mrow></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mo> ⋮ </mml:mo></mml:mtd><mml:mtd><mml:mo> ⋮ </mml:mo></mml:mtd><mml:mtd><mml:mo> ⋮ </mml:mo></mml:mtd></mml:mtr><mml:mtr><mml:mtd><mml:mn> 1 </mml:mn></mml:mtd><mml:mtd><mml:mrow><mml:msub><mml:mi> v </mml:mi><mml:mi> n </mml:mi></mml:msub></mml:mrow></mml:mtd><mml:mtd><mml:mrow><mml:msubsup><mml:mi> v </mml:mi><mml:mi> n </mml:mi><mml:mi> d </mml:mi></mml:msubsup></mml:mrow></mml:mtd></mml:mtr></mml:mtable></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> to <inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mtext> * </mml:mtext></mml:msup></mml:mrow></mml:math></inline-formula> , where all columns have unit norms and are orthogonal. In <inline-formula><mml:math><mml:mi> R </mml:mi></mml:math></inline-formula> , this is achieved by <inline-formula><mml:math><mml:mrow><mml:mtext> poly </mml:mtext><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mi> v </mml:mi><mml:mo> , </mml:mo><mml:mi> d </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> , see [<xref ref-type="bibr" rid="B16">16</xref>].</p>
        <p>2.3.7. Transformations of the Response Variable</p>
        <p>Sometimes, the transformation of the response variable is appropriate when non-normality and/or unequal error variances are present in the data. We will consider three different transformations of the response variable in this paper.</p>
        <p>(<italic>Logarithmic</italic><italic>and</italic><italic>inverse</italic><italic>transformation</italic>) Given a response variable <inline-formula><mml:math><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> Y </mml:mi></mml:mstyle></mml:math></inline-formula> that has an exponential relationship with the covariates. Let <inline-formula><mml:math><mml:mrow><mml:msubsup><mml:mi> Y </mml:mi><mml:mi> i </mml:mi><mml:mrow><mml:mi> l </mml:mi><mml:mi> n </mml:mi></mml:mrow></mml:msubsup><mml:mo> : </mml:mo><mml:mo> = </mml:mo><mml:mtext> ln </mml:mtext><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> , let <inline-formula><mml:math><mml:mrow><mml:msubsup><mml:mi> Y </mml:mi><mml:mi> i </mml:mi><mml:mrow><mml:mi> l </mml:mi><mml:mi> n </mml:mi><mml:mi> l </mml:mi><mml:mi> n </mml:mi></mml:mrow></mml:msubsup><mml:mo> : </mml:mo><mml:mo> = </mml:mo><mml:mtext> ln </mml:mtext><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mtext> ln </mml:mtext><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> , let <inline-formula><mml:math><mml:mrow><mml:msubsup><mml:mi> Y </mml:mi><mml:mi> i </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mi> n </mml:mi><mml:mi> v </mml:mi></mml:mrow></mml:msubsup><mml:mo> : </mml:mo><mml:mo> = </mml:mo><mml:mfrac><mml:mn> 1 </mml:mn><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:mfrac></mml:mrow></mml:math></inline-formula> , then the formulated model </p>
        <p><inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> = </mml:mo><mml:mtext> exp </mml:mtext><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mn> 0 </mml:mn></mml:msub><mml:mo> + </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mn> 1 </mml:mn></mml:msub><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mn> 1 </mml:mn></mml:mrow></mml:msub><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mi> k </mml:mi></mml:msub><mml:msub><mml:mi> x </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mi> k </mml:mi></mml:mrow></mml:msub><mml:mo> + </mml:mo><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> can be expressed in the form of the linear regression model (2.2) as </p>
        <disp-formula id="FD11">
          <label>(2.5)</label>
          <mml:math>
            <mml:mrow>
              <mml:msubsup>
                <mml:mi>Y</mml:mi>
                <mml:mi>i</mml:mi>
                <mml:mrow>
                  <mml:mi>l</mml:mi>
                  <mml:mi>n</mml:mi>
                </mml:mrow>
              </mml:msubsup>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>1</mml:mn>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>k</mml:mi>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mi>k</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>ε</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mi>i</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mn>1</mml:mn>
              <mml:mo>,</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>,</mml:mo>
              <mml:mi>n</mml:mi>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <disp-formula id="FD12">
          <label>(2.6)</label>
          <mml:math>
            <mml:mrow>
              <mml:msubsup>
                <mml:mi>Y</mml:mi>
                <mml:mi>i</mml:mi>
                <mml:mrow>
                  <mml:mi>l</mml:mi>
                  <mml:mi>n</mml:mi>
                  <mml:mi>l</mml:mi>
                  <mml:mi>n</mml:mi>
                </mml:mrow>
              </mml:msubsup>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>1</mml:mn>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>k</mml:mi>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mi>k</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>ε</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mi>i</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mn>1</mml:mn>
              <mml:mo>,</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>,</mml:mo>
              <mml:mi>n</mml:mi>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <disp-formula id="FD13">
          <label>(2.7)</label>
          <mml:math>
            <mml:mrow>
              <mml:msubsup>
                <mml:mi>Y</mml:mi>
                <mml:mi>i</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mi>n</mml:mi>
                  <mml:mi>v</mml:mi>
                </mml:mrow>
              </mml:msubsup>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>1</mml:mn>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>k</mml:mi>
              </mml:msub>
              <mml:msub>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mi>k</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>ε</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mi>i</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mn>1</mml:mn>
              <mml:mo>,</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>,</mml:mo>
              <mml:mi>n</mml:mi>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>2.3.8. Estimation of Model Parameters</p>
        <p>In this section, we will examine the methods for estimating the unknown parameters in the linear regression model defined in Equation (2.2). Our goal is to determine estimates</p>
        <disp-formula id="FD14">
          <label>(2.8)</label>
          <mml:math>
            <mml:mrow>
              <mml:mover accent="true">
                <mml:mi>β</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
              <mml:mo>=</mml:mo>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mover accent="true">
                          <mml:mi>β</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mn>0</mml:mn>
                      </mml:msub>
                      <mml:mo>,</mml:mo>
                      <mml:mo>⋯</mml:mo>
                      <mml:mo>,</mml:mo>
                      <mml:msub>
                        <mml:mover accent="true">
                          <mml:mi>β</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mi>k</mml:mi>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mo>⊤</mml:mo>
              </mml:msup>
              <mml:mo>∈</mml:mo>
              <mml:msup>
                <mml:mi>ℝ</mml:mi>
                <mml:mi>p</mml:mi>
              </mml:msup>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>and the error variance <inline-formula><mml:math><mml:mi> σ </mml:mi></mml:math></inline-formula> based on <inline-formula><mml:math><mml:mi> n </mml:mi></mml:math></inline-formula> observations. Here <inline-formula><mml:math display="inline"><mml:mi> β </mml:mi></mml:math></inline-formula> is the unknown regression parameter vector. </p>
        <p>Note that parameter <bold>estimators</bold>, which are random quantities are different from their realizations called <bold>estimates</bold>, which are determined by the values of the observations. We will consider two approaches, least squares (LS) estimation, and maximum likelihood (ML) estimation. These two estimation methods yield the same estimator if the assumptions of independence, homoscedasticity, and normality of errors are satisfied.</p>
        <p>2.3.9. Least Squares Estimation Method</p>
        <p>Let the fitted values of the Model (2.2) be given as</p>
        <disp-formula id="FD15">
          <label>(2.9)</label>
          <mml:math>
            <mml:mtable>
              <mml:mtr>
                <mml:mtd>
                  <mml:msub>
                    <mml:mover accent="true">
                      <mml:mi>Y</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mi>i</mml:mi>
                  </mml:msub>
                  <mml:mo>=</mml:mo>
                  <mml:msub>
                    <mml:mover accent="true">
                      <mml:mi>β</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mn>0</mml:mn>
                  </mml:msub>
                  <mml:mo>+</mml:mo>
                  <mml:msub>
                    <mml:mover accent="true">
                      <mml:mi>β</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mn>1</mml:mn>
                  </mml:msub>
                  <mml:msub>
                    <mml:mi>x</mml:mi>
                    <mml:mrow>
                      <mml:mi>i</mml:mi>
                      <mml:mn>1</mml:mn>
                    </mml:mrow>
                  </mml:msub>
                  <mml:mo>+</mml:mo>
                  <mml:mo>⋯</mml:mo>
                  <mml:mo>+</mml:mo>
                  <mml:msub>
                    <mml:mover accent="true">
                      <mml:mi>β</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mi>k</mml:mi>
                  </mml:msub>
                  <mml:msub>
                    <mml:mi>x</mml:mi>
                    <mml:mrow>
                      <mml:mi>i</mml:mi>
                      <mml:mi>k</mml:mi>
                    </mml:mrow>
                  </mml:msub>
                  <mml:mo>,</mml:mo>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mi>i</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                  <mml:mo>,</mml:mo>
                  <mml:mo>⋯</mml:mo>
                  <mml:mo>,</mml:mo>
                  <mml:mi>n</mml:mi>
                </mml:mtd>
              </mml:mtr>
              <mml:mtr>
                <mml:mtd>
                  <mml:mo>=</mml:mo>
                  <mml:msub>
                    <mml:msup>
                      <mml:mi>x</mml:mi>
                      <mml:mo>′</mml:mo>
                    </mml:msup>
                    <mml:mi>i</mml:mi>
                  </mml:msub>
                  <mml:mover accent="true">
                    <mml:mi>β</mml:mi>
                    <mml:mo>^</mml:mo>
                  </mml:mover>
                </mml:mtd>
              </mml:mtr>
            </mml:mtable>
          </mml:math>
        </disp-formula>
        <p>Also, let the residual denoted by <inline-formula><mml:math><mml:mrow><mml:mover accent="true"><mml:mi> ε </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mo> = </mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mover accent="true"><mml:mi> ε </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mn> 1 </mml:mn></mml:msub><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:msub><mml:mover accent="true"><mml:mi> ε </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mi> n </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mo> ′ </mml:mo></mml:msup><mml:mo> ∈ </mml:mo><mml:msup><mml:mi> ℝ </mml:mi><mml:mi> n </mml:mi></mml:msup></mml:mrow></mml:math></inline-formula> , which is the difference between the observed response values <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> and the corresponding fitted values of (2.11), be given as</p>
        <disp-formula id="FD16">
          <label>(2.10)</label>
          <mml:math display="inline">
            <mml:mrow>
              <mml:mover accent="true">
                <mml:mi>ε</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
              <mml:mo>=</mml:mo>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mi>y</mml:mi>
              </mml:mstyle>
              <mml:mo>−</mml:mo>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mover accent="true">
                  <mml:mi>y</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
              </mml:mstyle>
              <mml:mo>=</mml:mo>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mi>Y</mml:mi>
              </mml:mstyle>
              <mml:mo>−</mml:mo>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mi>X</mml:mi>
              </mml:mstyle>
              <mml:mover accent="true">
                <mml:mi>β</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
              <mml:mo>,</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>where <inline-formula><mml:math><mml:mrow><mml:mover accent="true"><mml:mi> y </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mo> = </mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mover accent="true"><mml:mi> y </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mn> 1 </mml:mn></mml:msub><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:msub><mml:mover accent="true"><mml:mi> y </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mi> n </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mo> ⊤ </mml:mo></mml:msup><mml:mo> ∈ </mml:mo><mml:msup><mml:mi> ℝ </mml:mi><mml:mi> n </mml:mi></mml:msup></mml:mrow></mml:math></inline-formula> in the vector notation. Then, least squares minimizes the residual sum of squares (the sum of the squared deviations) of Equation (2.12).</p>
        <p>(<italic>Sum of squared deviations</italic>) Given the data <inline-formula><mml:math><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> y </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> , </mml:mo><mml:msub><mml:mi> x </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mo> , </mml:mo><mml:mi> i </mml:mi><mml:mo> = </mml:mo><mml:mn> 1 </mml:mn><mml:mo> , </mml:mo><mml:mn> 2 </mml:mn><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:mi> n </mml:mi></mml:mrow></mml:math></inline-formula> , the sum of the squared deviations which is used in obtaining the estimates <inline-formula><mml:math display="inline"><mml:mover accent="true"><mml:mi> β </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:math></inline-formula> of Equation (2.10) for the unknown regression parameters <inline-formula><mml:math display="inline"><mml:mi> β </mml:mi></mml:math></inline-formula> is given as </p>
        <disp-formula id="FD17">
          <label>(2.11)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>Q</mml:mi>
                <mml:mrow>
                  <mml:mi>L</mml:mi>
                  <mml:mi>S</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mi>β</mml:mi>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:munderover>
                <mml:mstyle displaystyle="true" mathsize="140%">
                  <mml:mo>∑</mml:mo>
                </mml:mstyle>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
                <mml:mi>n</mml:mi>
              </mml:munderover>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>y</mml:mi>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                      <mml:mo>−</mml:mo>
                      <mml:msubsup>
                        <mml:mi>x</mml:mi>
                        <mml:mi>i</mml:mi>
                        <mml:mtext>T</mml:mtext>
                      </mml:msubsup>
                      <mml:mi>β</mml:mi>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>=</mml:mo>
              <mml:munderover>
                <mml:mstyle displaystyle="true" mathsize="140%">
                  <mml:mo>∑</mml:mo>
                </mml:mstyle>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
                <mml:mi>n</mml:mi>
              </mml:munderover>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msubsup>
                <mml:mover accent="true">
                  <mml:mi>ε</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
                <mml:mi>i</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:msubsup>
              <mml:mo>=</mml:mo>
              <mml:msup>
                <mml:mover accent="true">
                  <mml:mi>ε</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
                <mml:mtext>T</mml:mtext>
              </mml:msup>
              <mml:mover accent="true">
                <mml:mi>ε</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>In order to minimize <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Q </mml:mi><mml:mrow><mml:mi> L </mml:mi><mml:mi> S </mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo> ( </mml:mo><mml:mi> β </mml:mi><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> (2.13), we take the partial derivative of <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Q </mml:mi><mml:mrow><mml:mi> L </mml:mi><mml:mi> S </mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo> ( </mml:mo><mml:mi> β </mml:mi><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> with respect to <inline-formula><mml:math display="inline"><mml:mi> β </mml:mi></mml:math></inline-formula> and set the result to zero. Then, it follows</p>
        <disp-formula id="FD18">
          <label>(2.12)</label>
          <mml:math>
            <mml:mrow>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mo>∂</mml:mo>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>Q</mml:mi>
                        <mml:mrow>
                          <mml:mi>L</mml:mi>
                          <mml:mi>S</mml:mi>
                        </mml:mrow>
                      </mml:msub>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mi>β</mml:mi>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mo>∂</mml:mo>
                  <mml:mi>β</mml:mi>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>=</mml:mo>
              <mml:mn>0</mml:mn>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mo>⇔</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mo>−</mml:mo>
              <mml:mn>2</mml:mn>
              <mml:msup>
                <mml:mstyle mathvariant="bold" mathsize="normal">
                  <mml:mi>X</mml:mi>
                </mml:mstyle>
                <mml:mtext>T</mml:mtext>
              </mml:msup>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mi>y</mml:mi>
              </mml:mstyle>
              <mml:mo>+</mml:mo>
              <mml:mn>2</mml:mn>
              <mml:msup>
                <mml:mstyle mathvariant="bold" mathsize="normal">
                  <mml:mi>X</mml:mi>
                </mml:mstyle>
                <mml:mtext>T</mml:mtext>
              </mml:msup>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mi>X</mml:mi>
              </mml:mstyle>
              <mml:mi>β</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mn>0</mml:mn>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mo>⇔</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msup>
                <mml:mi>X</mml:mi>
                <mml:mo>⊤</mml:mo>
              </mml:msup>
              <mml:mi>X</mml:mi>
              <mml:mi>β</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:msup>
                <mml:mi>X</mml:mi>
                <mml:mo>⊤</mml:mo>
              </mml:msup>
              <mml:mi>y</mml:mi>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>We are now interested in solving the least squares normal equations given in (2.14). If the matrix <inline-formula><mml:math><mml:mi> X </mml:mi></mml:math></inline-formula> has a full rank <inline-formula><mml:math><mml:mi> p </mml:mi></mml:math></inline-formula> , then <inline-formula><mml:math><mml:mrow><mml:msup><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> X </mml:mi></mml:mstyle><mml:mtext> T </mml:mtext></mml:msup><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> X </mml:mi></mml:mstyle></mml:mrow></mml:math></inline-formula> will be positive definite and will have a unique solution. Thus, the minimum of <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Q </mml:mi><mml:mrow><mml:mi> L </mml:mi><mml:mi> S </mml:mi></mml:mrow></mml:msub><mml:mrow><mml:mo> ( </mml:mo><mml:mi> β </mml:mi><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> is attained at</p>
        <disp-formula id="FD19">
          <label>(2.13)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mover accent="true">
                  <mml:mi>β</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
                <mml:mrow>
                  <mml:mi>L</mml:mi>
                  <mml:mi>S</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msup>
                        <mml:mi>X</mml:mi>
                        <mml:mo>⊤</mml:mo>
                      </mml:msup>
                      <mml:mi>X</mml:mi>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msup>
              <mml:msup>
                <mml:mi>X</mml:mi>
                <mml:mo>⊤</mml:mo>
              </mml:msup>
              <mml:mi>y</mml:mi>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>which is the least squares estimate from the normal equations.</p>
        <p>2.3.10. Maximum Likelihood Estimation Method</p>
        <p>The method of maximum likelihood estimation is based on specifying the distribution we are sampling from and writing the joint density of our sample, unlike in the least squares method where we do not specify the distribution of the response variable <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> . Considering the assumptions of our linear model, we assumed in Equation (2.4) that the random variables <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> are normally distributed (<inline-formula><mml:math><mml:mrow><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> Y </mml:mi></mml:mstyle><mml:mo> ~ </mml:mo><mml:msub><mml:mi> N </mml:mi><mml:mi> n </mml:mi></mml:msub><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> X </mml:mi></mml:mstyle><mml:mi> β </mml:mi><mml:mo> , </mml:mo><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup><mml:msub><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> I </mml:mi></mml:mstyle><mml:mi> n </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> ). Thus, it follows that the likelihood of the vector <inline-formula><mml:math><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mi> β </mml:mi><mml:mo> , </mml:mo><mml:mi> σ </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> given the data values <inline-formula><mml:math><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> y </mml:mi></mml:mstyle></mml:math></inline-formula> is</p>
        <disp-formula id="FD20">
          <label>(2.14)</label>
          <mml:math>
            <mml:mrow>
              <mml:mi>L</mml:mi>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mi>β</mml:mi>
                  <mml:mo>,</mml:mo>
                  <mml:mi>σ</mml:mi>
                  <mml:mo>|</mml:mo>
                  <mml:mstyle mathvariant="bold" mathsize="normal">
                    <mml:mi>y</mml:mi>
                  </mml:mstyle>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mn>1</mml:mn>
                <mml:mrow>
                  <mml:msup>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mn>2</mml:mn>
                          <mml:mi>π</mml:mi>
                          <mml:msup>
                            <mml:mi>σ</mml:mi>
                            <mml:mn>2</mml:mn>
                          </mml:msup>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mrow>
                      <mml:mfrac>
                        <mml:mi>n</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:mfrac>
                    </mml:mrow>
                  </mml:msup>
                </mml:mrow>
              </mml:mfrac>
              <mml:mtext>exp</mml:mtext>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mfrac>
                    <mml:mn>1</mml:mn>
                    <mml:mrow>
                      <mml:mn>2</mml:mn>
                      <mml:msup>
                        <mml:mi>σ</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:msup>
                    </mml:mrow>
                  </mml:mfrac>
                  <mml:msup>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mstyle mathvariant="bold" mathsize="normal">
                            <mml:mi>y</mml:mi>
                          </mml:mstyle>
                          <mml:mo>−</mml:mo>
                          <mml:mstyle mathvariant="bold" mathsize="normal">
                            <mml:mi>X</mml:mi>
                          </mml:mstyle>
                          <mml:mi>β</mml:mi>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mtext>T</mml:mtext>
                  </mml:msup>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mstyle mathvariant="bold" mathsize="normal">
                        <mml:mi>y</mml:mi>
                      </mml:mstyle>
                      <mml:mo>−</mml:mo>
                      <mml:mstyle mathvariant="bold" mathsize="normal">
                        <mml:mi>X</mml:mi>
                      </mml:mstyle>
                      <mml:mi>β</mml:mi>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Therefore, the corresponding log likelihood is given by</p>
        <disp-formula id="FD21">
          <label>(2.15)</label>
          <mml:math>
            <mml:mrow>
              <mml:mi>l</mml:mi>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mi>β</mml:mi>
                  <mml:mo>,</mml:mo>
                  <mml:mi>σ</mml:mi>
                  <mml:mo>|</mml:mo>
                  <mml:mstyle mathvariant="bold" mathsize="normal">
                    <mml:mi>y</mml:mi>
                  </mml:mstyle>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mo>−</mml:mo>
              <mml:mfrac>
                <mml:mi>n</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:mfrac>
              <mml:mtext>log</mml:mtext>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mn>2</mml:mn>
                  <mml:mi>π</mml:mi>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>−</mml:mo>
              <mml:mfrac>
                <mml:mi>n</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:mfrac>
              <mml:mtext>log</mml:mtext>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:msup>
                    <mml:mi>σ</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>−</mml:mo>
              <mml:mfrac>
                <mml:mn>1</mml:mn>
                <mml:mrow>
                  <mml:mn>2</mml:mn>
                  <mml:msup>
                    <mml:mi>σ</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                </mml:mrow>
              </mml:mfrac>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mstyle mathvariant="bold" mathsize="normal">
                        <mml:mi>y</mml:mi>
                      </mml:mstyle>
                      <mml:mo>−</mml:mo>
                      <mml:mstyle mathvariant="bold" mathsize="normal">
                        <mml:mi>X</mml:mi>
                      </mml:mstyle>
                      <mml:mi>β</mml:mi>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mtext>T</mml:mtext>
              </mml:msup>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mstyle mathvariant="bold" mathsize="normal">
                    <mml:mi>y</mml:mi>
                  </mml:mstyle>
                  <mml:mo>−</mml:mo>
                  <mml:mstyle mathvariant="bold" mathsize="normal">
                    <mml:mi>X</mml:mi>
                  </mml:mstyle>
                  <mml:mi>β</mml:mi>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>To maximize this log-likelihood (2.17) with respect to <inline-formula><mml:math display="inline"><mml:mi> β </mml:mi></mml:math></inline-formula> , we differentiate Equation (2.17) with respect to <inline-formula><mml:math display="inline"><mml:mi> β </mml:mi></mml:math></inline-formula> and set it equal to zero [<xref ref-type="bibr" rid="B17">17</xref>]. Thus, we have</p>
        <disp-formula id="FD22">
          <label>(2.16)</label>
          <mml:math>
            <mml:mrow>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mo>∂</mml:mo>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mi>l</mml:mi>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mi>β</mml:mi>
                          <mml:mo>,</mml:mo>
                          <mml:mi>σ</mml:mi>
                          <mml:mo>|</mml:mo>
                          <mml:mstyle mathvariant="bold" mathsize="normal">
                            <mml:mi>y</mml:mi>
                          </mml:mstyle>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mo>∂</mml:mo>
                  <mml:mi>β</mml:mi>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>=</mml:mo>
              <mml:mn>0</mml:mn>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mo>⇔</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mo>−</mml:mo>
              <mml:mfrac>
                <mml:mn>1</mml:mn>
                <mml:mrow>
                  <mml:mn>2</mml:mn>
                  <mml:msup>
                    <mml:mi>σ</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                </mml:mrow>
              </mml:mfrac>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mn>2</mml:mn>
                  <mml:msup>
                    <mml:mstyle mathvariant="bold" mathsize="normal">
                      <mml:mi>X</mml:mi>
                    </mml:mstyle>
                    <mml:mtext>T</mml:mtext>
                  </mml:msup>
                  <mml:mstyle mathvariant="bold" mathsize="normal">
                    <mml:mi>y</mml:mi>
                  </mml:mstyle>
                  <mml:mo>+</mml:mo>
                  <mml:mn>2</mml:mn>
                  <mml:msup>
                    <mml:mstyle mathvariant="bold" mathsize="normal">
                      <mml:mi>X</mml:mi>
                    </mml:mstyle>
                    <mml:mtext>T</mml:mtext>
                  </mml:msup>
                  <mml:mstyle mathvariant="bold" mathsize="normal">
                    <mml:mi>X</mml:mi>
                  </mml:mstyle>
                  <mml:mi>β</mml:mi>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mn>0</mml:mn>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mo>⇔</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msup>
                <mml:mi>X</mml:mi>
                <mml:mo>⊤</mml:mo>
              </mml:msup>
              <mml:mi>X</mml:mi>
              <mml:mi>β</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:msup>
                <mml:mi>X</mml:mi>
                <mml:mo>⊤</mml:mo>
              </mml:msup>
              <mml:mi>y</mml:mi>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>This shows that <inline-formula><mml:math><mml:mrow><mml:msub><mml:mover accent="true"><mml:mi> β </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mrow><mml:mi> M </mml:mi><mml:mi> L </mml:mi></mml:mrow></mml:msub><mml:mo> = </mml:mo><mml:msub><mml:mover accent="true"><mml:mi> β </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mrow><mml:mi> L </mml:mi><mml:mi> S </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> .</p>
        <p>Also, differentiating Equation (2.17) with respect to <inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> and maximizing over <inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> , we have</p>
        <disp-formula id="FD23">
          <label>(2.17)</label>
          <mml:math>
            <mml:mrow>
              <mml:msup>
                <mml:mover accent="true">
                  <mml:mi>σ</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mn>1</mml:mn>
                <mml:mi>n</mml:mi>
              </mml:mfrac>
              <mml:munderover>
                <mml:mstyle mathsize="140%" displaystyle="true">
                  <mml:mo>∑</mml:mo>
                </mml:mstyle>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
                <mml:mi>n</mml:mi>
              </mml:munderover>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>y</mml:mi>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                      <mml:mo>−</mml:mo>
                      <mml:msub>
                        <mml:mover accent="true">
                          <mml:mi>y</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mn>1</mml:mn>
                <mml:mi>n</mml:mi>
              </mml:mfrac>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>‖</mml:mo>
                    <mml:mover accent="true">
                      <mml:mi>ε</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mo>‖</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msup>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>2.3.11. Distribution of the Estimators</p>
        <p>(<inline-formula><mml:math><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mover accent="true"><mml:mi> Y </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:mstyle></mml:math></inline-formula> and <inline-formula><mml:math><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> H </mml:mi></mml:mstyle></mml:math></inline-formula> ) We define the vector of the fitted random values <inline-formula><mml:math><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mover accent="true"><mml:mi> Y </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:mstyle></mml:math></inline-formula> as</p>
        <disp-formula id="FD24">
          <label>(2.18)</label>
          <mml:math>
            <mml:mrow>
              <mml:mover accent="true">
                <mml:mi>Y</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
              <mml:mo>=</mml:mo>
              <mml:mi>X</mml:mi>
              <mml:mover accent="true">
                <mml:mi>β</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
              <mml:mo>=</mml:mo>
              <mml:mi>X</mml:mi>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msup>
                        <mml:mi>X</mml:mi>
                        <mml:mo>⊤</mml:mo>
                      </mml:msup>
                      <mml:mi>X</mml:mi>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msup>
              <mml:msup>
                <mml:mi>X</mml:mi>
                <mml:mo>⊤</mml:mo>
              </mml:msup>
              <mml:mi>Y</mml:mi>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Also, we define the hat matrix <inline-formula><mml:math><mml:mi> H </mml:mi></mml:math></inline-formula> which gives the projection of the vector <inline-formula><mml:math><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> Y </mml:mi></mml:mstyle></mml:math></inline-formula> onto the space that is spanned by the columns of the design matrix <inline-formula><mml:math><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> X </mml:mi></mml:mstyle></mml:math></inline-formula> as</p>
        <disp-formula id="FD25">
          <label>(2.19)</label>
          <mml:math>
            <mml:mrow>
              <mml:mi>H</mml:mi>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:mi>X</mml:mi>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msup>
                        <mml:mi>X</mml:mi>
                        <mml:mo>⊤</mml:mo>
                      </mml:msup>
                      <mml:mi>X</mml:mi>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msup>
              <mml:msup>
                <mml:mi>X</mml:mi>
                <mml:mo>⊤</mml:mo>
              </mml:msup>
              <mml:mo>∈</mml:mo>
              <mml:msup>
                <mml:mi>ℝ</mml:mi>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>×</mml:mo>
                  <mml:mi>n</mml:mi>
                </mml:mrow>
              </mml:msup>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>It can be easily shown in Lemma (2.7.3) that <inline-formula><mml:math><mml:mi> H </mml:mi></mml:math></inline-formula> is both symmetric (<inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> H </mml:mi><mml:mtext> T </mml:mtext></mml:msup><mml:mo> = </mml:mo><mml:mi> H </mml:mi></mml:mrow></mml:math></inline-formula> ) and idempotent (<inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> H </mml:mi><mml:mn> 2 </mml:mn></mml:msup><mml:mo> = </mml:mo><mml:mi> H </mml:mi></mml:mrow></mml:math></inline-formula> ) using the fact that <inline-formula><mml:math><mml:mrow><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mi> X </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup></mml:mrow></mml:math></inline-formula> is symmetric (<inline-formula><mml:math><mml:mrow><mml:msup><mml:mrow><mml:mrow><mml:mo> [ </mml:mo><mml:mrow><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mi> X </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup></mml:mrow><mml:mo> ] </mml:mo></mml:mrow></mml:mrow><mml:mo> ′ </mml:mo></mml:msup><mml:mo> = </mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mi> X </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup></mml:mrow></mml:math></inline-formula> ).</p>
        <p><bold>Lemma 2.1</bold><bold>(Symmetry</bold>and <bold>Idempotence</bold>of <italic><bold>H</bold></italic><bold>)</bold><italic>Let</italic><inline-formula><mml:math><mml:mrow><mml:mi> H </mml:mi><mml:mo> = </mml:mo><mml:mi> X </mml:mi><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mi> X </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup></mml:mrow></mml:math></inline-formula><italic>. Then</italic><inline-formula><mml:math><mml:mi> H </mml:mi></mml:math></inline-formula><italic>is symmetric and idempotent, i.e.,</italic><inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> H </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mo> = </mml:mo><mml:mi> H </mml:mi></mml:mrow></mml:math></inline-formula><italic>and</italic><inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> H </mml:mi><mml:mn> 2 </mml:mn></mml:msup><mml:mo> = </mml:mo><mml:mi> H </mml:mi></mml:mrow></mml:math></inline-formula><italic>.</italic></p>
        <p><italic>Proof.</italic></p>
        <p><inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> H </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mo> = </mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mi> X </mml:mi><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mi> X </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mo> ′ </mml:mo></mml:msup><mml:mo> = </mml:mo><mml:mi> X </mml:mi><mml:msup><mml:mrow><mml:mrow><mml:mo> [ </mml:mo><mml:mrow><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mi> X </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup></mml:mrow><mml:mo> ] </mml:mo></mml:mrow></mml:mrow><mml:mo> ′ </mml:mo></mml:msup><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mo> = </mml:mo><mml:mi> X </mml:mi><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mi> X </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup><mml:msup><mml:mi> X </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mo> = </mml:mo><mml:mi> H </mml:mi></mml:mrow></mml:math></inline-formula> , using <inline-formula><mml:math><mml:mrow><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mi> A </mml:mi><mml:mi> B </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mo> ′ </mml:mo></mml:msup><mml:mo> = </mml:mo><mml:msup><mml:mi> B </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:msup><mml:mi> A </mml:mi><mml:mo> ′ </mml:mo></mml:msup></mml:mrow></mml:math></inline-formula> .</p>
        <disp-formula id="FD26">
          <mml:math>
            <mml:mrow>
              <mml:mi>H</mml:mi>
              <mml:mi>H</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mi>X</mml:mi>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msup>
                        <mml:mi>X</mml:mi>
                        <mml:mo>′</mml:mo>
                      </mml:msup>
                      <mml:mi>X</mml:mi>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msup>
              <mml:msup>
                <mml:mi>X</mml:mi>
                <mml:mo>′</mml:mo>
              </mml:msup>
              <mml:mi>X</mml:mi>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msup>
                        <mml:mi>X</mml:mi>
                        <mml:mo>′</mml:mo>
                      </mml:msup>
                      <mml:mi>X</mml:mi>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msup>
              <mml:msup>
                <mml:mi>X</mml:mi>
                <mml:mo>′</mml:mo>
              </mml:msup>
              <mml:mo>=</mml:mo>
              <mml:mi>H</mml:mi>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Since the estimators <inline-formula><mml:math display="inline"><mml:mover accent="true"><mml:mi> β </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:math></inline-formula> of the regression coefficients <inline-formula><mml:math display="inline"><mml:mi> β </mml:mi></mml:math></inline-formula> , the fitted values <inline-formula><mml:math><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mover accent="true"><mml:mi> Y </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:mstyle></mml:math></inline-formula> and the raw residuals <inline-formula><mml:math display="inline"><mml:mover accent="true"><mml:mi> ε </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:math></inline-formula> are all linear functions of the vector of random variables <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> , we can apply the transformation rules for expectation and variance-covariance matrix respectively, to show that</p>
        <disp-formula id="FD27">
          <label>(2.20)</label>
          <mml:math>
            <mml:mrow>
              <mml:mtable columnalign="left">
                <mml:mtr columnalign="left">
                  <mml:mtd columnalign="left">
                    <mml:mrow>
                      <mml:mi>E</mml:mi>
                      <mml:mrow>
                        <mml:mo>[</mml:mo>
                        <mml:mover accent="true">
                          <mml:mi>β</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mo>]</mml:mo>
                      </mml:mrow>
                      <mml:mo>=</mml:mo>
                      <mml:mi>β</mml:mi>
                      <mml:mo>,</mml:mo>
                    </mml:mrow>
                  </mml:mtd>
                  <mml:mtd columnalign="left">
                    <mml:mrow>
                      <mml:mtext>Var</mml:mtext>
                      <mml:mrow>
                        <mml:mo>[</mml:mo>
                        <mml:mover accent="true">
                          <mml:mi>β</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mo>]</mml:mo>
                      </mml:mrow>
                      <mml:mo>=</mml:mo>
                      <mml:msup>
                        <mml:mi>σ</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:msup>
                      <mml:msup>
                        <mml:mrow>
                          <mml:mrow>
                            <mml:mo>(</mml:mo>
                            <mml:mrow>
                              <mml:msup>
                                <mml:mi>X</mml:mi>
                                <mml:mo>⊤</mml:mo>
                              </mml:msup>
                              <mml:mi>X</mml:mi>
                            </mml:mrow>
                            <mml:mo>)</mml:mo>
                          </mml:mrow>
                        </mml:mrow>
                        <mml:mrow>
                          <mml:mo>−</mml:mo>
                          <mml:mn>1</mml:mn>
                        </mml:mrow>
                      </mml:msup>
                      <mml:mo>,</mml:mo>
                    </mml:mrow>
                  </mml:mtd>
                </mml:mtr>
                <mml:mtr columnalign="left">
                  <mml:mtd columnalign="left">
                    <mml:mrow>
                      <mml:mi>E</mml:mi>
                      <mml:mrow>
                        <mml:mo>[</mml:mo>
                        <mml:mover accent="true">
                          <mml:mi>Y</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mo>]</mml:mo>
                      </mml:mrow>
                      <mml:mo>=</mml:mo>
                      <mml:mstyle mathsize="normal" mathvariant="bold">
                        <mml:mi>X</mml:mi>
                      </mml:mstyle>
                      <mml:mi>β</mml:mi>
                      <mml:mo>,</mml:mo>
                    </mml:mrow>
                  </mml:mtd>
                  <mml:mtd columnalign="left">
                    <mml:mrow>
                      <mml:mtext>Var</mml:mtext>
                      <mml:mrow>
                        <mml:mo>[</mml:mo>
                        <mml:mover accent="true">
                          <mml:mi>Y</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mo>]</mml:mo>
                      </mml:mrow>
                      <mml:mo>=</mml:mo>
                      <mml:msup>
                        <mml:mi>σ</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:msup>
                      <mml:mi>H</mml:mi>
                      <mml:mo>,</mml:mo>
                    </mml:mrow>
                  </mml:mtd>
                </mml:mtr>
                <mml:mtr columnalign="left">
                  <mml:mtd columnalign="left">
                    <mml:mrow>
                      <mml:mi>E</mml:mi>
                      <mml:mrow>
                        <mml:mo>[</mml:mo>
                        <mml:mover accent="true">
                          <mml:mi>ε</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mo>]</mml:mo>
                      </mml:mrow>
                      <mml:mo>=</mml:mo>
                      <mml:mn>0</mml:mn>
                      <mml:mo>,</mml:mo>
                    </mml:mrow>
                  </mml:mtd>
                  <mml:mtd columnalign="left">
                    <mml:mrow>
                      <mml:mtext>Var</mml:mtext>
                      <mml:mrow>
                        <mml:mo>[</mml:mo>
                        <mml:mover accent="true">
                          <mml:mi>ε</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mo>]</mml:mo>
                      </mml:mrow>
                      <mml:mo>=</mml:mo>
                      <mml:msup>
                        <mml:mi>σ</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:msup>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>I</mml:mi>
                            <mml:mi>n</mml:mi>
                          </mml:msub>
                          <mml:mo>−</mml:mo>
                          <mml:mi>H</mml:mi>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:mtd>
                </mml:mtr>
              </mml:mtable>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Considering the normality assumption since <inline-formula><mml:math display="inline"><mml:mover accent="true"><mml:mi> β </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:math></inline-formula> , <inline-formula><mml:math><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mover accent="true"><mml:mi> Y </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:mstyle></mml:math></inline-formula> , and <inline-formula><mml:math display="inline"><mml:mover accent="true"><mml:mi> ε </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:math></inline-formula> are linear functions of <inline-formula><mml:math><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> Y </mml:mi></mml:mstyle></mml:math></inline-formula> , we have</p>
        <disp-formula id="FD28">
          <label>(2.21)</label>
          <mml:math>
            <mml:mtable columnalign="left">
              <mml:mtr>
                <mml:mtd>
                  <mml:mover accent="true">
                    <mml:mi>β</mml:mi>
                    <mml:mo>^</mml:mo>
                  </mml:mover>
                  <mml:mo>~</mml:mo>
                  <mml:msub>
                    <mml:mi>N</mml:mi>
                    <mml:mi>p</mml:mi>
                  </mml:msub>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mi>β</mml:mi>
                      <mml:mo>,</mml:mo>
                      <mml:msup>
                        <mml:mi>σ</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:msup>
                      <mml:msup>
                        <mml:mrow>
                          <mml:mrow>
                            <mml:mo>(</mml:mo>
                            <mml:mrow>
                              <mml:msup>
                                <mml:mi>X</mml:mi>
                                <mml:mo>⊤</mml:mo>
                              </mml:msup>
                              <mml:mi>X</mml:mi>
                            </mml:mrow>
                            <mml:mo>)</mml:mo>
                          </mml:mrow>
                        </mml:mrow>
                        <mml:mrow>
                          <mml:mo>−</mml:mo>
                          <mml:mn>1</mml:mn>
                        </mml:mrow>
                      </mml:msup>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mtd>
              </mml:mtr>
              <mml:mtr>
                <mml:mtd>
                  <mml:mover accent="true">
                    <mml:mi>Y</mml:mi>
                    <mml:mo>^</mml:mo>
                  </mml:mover>
                  <mml:mo>~</mml:mo>
                  <mml:msub>
                    <mml:mi>N</mml:mi>
                    <mml:mi>n</mml:mi>
                  </mml:msub>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mstyle mathvariant="bold" mathsize="normal">
                        <mml:mi>X</mml:mi>
                      </mml:mstyle>
                      <mml:mi>β</mml:mi>
                      <mml:mo>,</mml:mo>
                      <mml:msup>
                        <mml:mi>σ</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:msup>
                      <mml:mi>H</mml:mi>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mtd>
              </mml:mtr>
              <mml:mtr>
                <mml:mtd>
                  <mml:mover accent="true">
                    <mml:mi>ε</mml:mi>
                    <mml:mo>^</mml:mo>
                  </mml:mover>
                  <mml:mo>~</mml:mo>
                  <mml:msub>
                    <mml:mi>N</mml:mi>
                    <mml:mi>n</mml:mi>
                  </mml:msub>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mn>0</mml:mn>
                      <mml:mo>,</mml:mo>
                      <mml:msup>
                        <mml:mi>σ</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:msup>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>I</mml:mi>
                            <mml:mi>n</mml:mi>
                          </mml:msub>
                          <mml:mo>−</mml:mo>
                          <mml:mi>H</mml:mi>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mtd>
              </mml:mtr>
            </mml:mtable>
          </mml:math>
        </disp-formula>
        <p>It can be shown that the variance estimator <inline-formula><mml:math><mml:mrow><mml:msup><mml:mover accent="true"><mml:mi> σ </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> given in <inline-formula><mml:math><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mn> 2.19 </mml:mn></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> is given by </p>
        <disp-formula id="FD29">
          <mml:math>
            <mml:mrow>
              <mml:mtext>E</mml:mtext>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:msup>
                    <mml:mover accent="true">
                      <mml:mi>σ</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mi>p</mml:mi>
                </mml:mrow>
                <mml:mi>n</mml:mi>
              </mml:mfrac>
              <mml:msup>
                <mml:mi>σ</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>.</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>and an unbiased estimator <inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> s </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> of <inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> is given by</p>
        <disp-formula id="FD30">
          <label>(2.22)</label>
          <mml:math>
            <mml:mrow>
              <mml:msup>
                <mml:mi>s</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mn>1</mml:mn>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mi>p</mml:mi>
                </mml:mrow>
              </mml:mfrac>
              <mml:munderover>
                <mml:mstyle mathsize="140%" displaystyle="true">
                  <mml:mo>∑</mml:mo>
                </mml:mstyle>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
                <mml:mi>n</mml:mi>
              </mml:munderover>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>Y</mml:mi>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                      <mml:mo>−</mml:mo>
                      <mml:msub>
                        <mml:mover accent="true">
                          <mml:mi>Y</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mi>n</mml:mi>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mi>p</mml:mi>
                </mml:mrow>
              </mml:mfrac>
              <mml:msup>
                <mml:mover accent="true">
                  <mml:mi>σ</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mn>1</mml:mn>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mi>p</mml:mi>
                </mml:mrow>
              </mml:mfrac>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>‖</mml:mo>
                    <mml:mover accent="true">
                      <mml:mi>ε</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mo>‖</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>.</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
      </sec>
      <sec id="sec2dot4">
        <title>2.4. Goodness of Fit and Model Selection</title>
        <p>It is of great importance to know the goodness of the fitted model after estimating the parameters of the linear regression model of (2.2). Thus, we need suitable measures of the goodness of fit. Therefore, we will introduce one of the appropriate measures of the goodness of fit called the coefficient of determination (R<sup>2</sup>), which determines the proportion of variation of the response variable that is explained by the covariates.</p>
        <p>2.4.1. Sum of Squares</p>
        <p><bold>(Sum</bold><bold>of</bold><bold>squares)</bold> We define the sum of squares SST <bold>(total sum of squares)</bold>, SSR <bold>(regression sum of squares)</bold> and SSE <bold>(error sum of squares)</bold> to quantify the amount of variability explained by the regression model as follows</p>
        <disp-formula id="FD31">
          <label>(2.23)</label>
          <mml:math display="inline">
            <mml:mtable columnalign="left">
              <mml:mtr>
                <mml:mtd>
                  <mml:mtext>SST</mml:mtext>
                  <mml:mo>:</mml:mo>
                  <mml:mo>=</mml:mo>
                  <mml:munderover>
                    <mml:mstyle displaystyle="true" mathsize="140%">
                      <mml:mo>∑</mml:mo>
                    </mml:mstyle>
                    <mml:mrow>
                      <mml:mi>i</mml:mi>
                      <mml:mo>=</mml:mo>
                      <mml:mn>1</mml:mn>
                    </mml:mrow>
                    <mml:mi>n</mml:mi>
                  </mml:munderover>
                  <mml:msup>
                    <mml:mrow>
                      <mml:mo>(</mml:mo>
                      <mml:mrow>
                        <mml:msub>
                          <mml:mi>y</mml:mi>
                          <mml:mi>i</mml:mi>
                        </mml:msub>
                        <mml:mo>−</mml:mo>
                        <mml:mover accent="true">
                          <mml:mi>y</mml:mi>
                          <mml:mo>¯</mml:mo>
                        </mml:mover>
                      </mml:mrow>
                      <mml:mo>)</mml:mo>
                    </mml:mrow>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mo>⇔</mml:mo>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mtext>total sum of squares</mml:mtext>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mtd>
              </mml:mtr>
              <mml:mtr>
                <mml:mtd>
                  <mml:mtext>SSR</mml:mtext>
                  <mml:mo>:</mml:mo>
                  <mml:mo>=</mml:mo>
                  <mml:munderover>
                    <mml:mstyle displaystyle="true" mathsize="140%">
                      <mml:mo>∑</mml:mo>
                    </mml:mstyle>
                    <mml:mrow>
                      <mml:mi>i</mml:mi>
                      <mml:mo>=</mml:mo>
                      <mml:mn>1</mml:mn>
                    </mml:mrow>
                    <mml:mi>n</mml:mi>
                  </mml:munderover>
                  <mml:msup>
                    <mml:mrow>
                      <mml:mo>(</mml:mo>
                      <mml:mrow>
                        <mml:msub>
                          <mml:mover accent="true">
                            <mml:mi>y</mml:mi>
                            <mml:mo>^</mml:mo>
                          </mml:mover>
                          <mml:mi>i</mml:mi>
                        </mml:msub>
                        <mml:mo>−</mml:mo>
                        <mml:mover accent="true">
                          <mml:mi>y</mml:mi>
                          <mml:mo>¯</mml:mo>
                        </mml:mover>
                      </mml:mrow>
                      <mml:mo>)</mml:mo>
                    </mml:mrow>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mo>⇔</mml:mo>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mtext>regression sum ofsquares</mml:mtext>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mtd>
              </mml:mtr>
              <mml:mtr>
                <mml:mtd>
                  <mml:mtext>SSE</mml:mtext>
                  <mml:mo>:</mml:mo>
                  <mml:mo>=</mml:mo>
                  <mml:munderover>
                    <mml:mstyle displaystyle="true" mathsize="140%">
                      <mml:mo>∑</mml:mo>
                    </mml:mstyle>
                    <mml:mrow>
                      <mml:mi>i</mml:mi>
                      <mml:mo>=</mml:mo>
                      <mml:mn>1</mml:mn>
                    </mml:mrow>
                    <mml:mi>n</mml:mi>
                  </mml:munderover>
                  <mml:msup>
                    <mml:mrow>
                      <mml:mo>(</mml:mo>
                      <mml:mrow>
                        <mml:msub>
                          <mml:mi>y</mml:mi>
                          <mml:mi>i</mml:mi>
                        </mml:msub>
                        <mml:mo>−</mml:mo>
                        <mml:msub>
                          <mml:mover accent="true">
                            <mml:mi>y</mml:mi>
                            <mml:mo>^</mml:mo>
                          </mml:mover>
                          <mml:mi>i</mml:mi>
                        </mml:msub>
                      </mml:mrow>
                      <mml:mo>)</mml:mo>
                    </mml:mrow>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mo>⇔</mml:mo>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mtext>error sum of squares</mml:mtext>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mtd>
              </mml:mtr>
            </mml:mtable>
          </mml:math>
        </disp-formula>
        <p>where <inline-formula><mml:math><mml:mrow><mml:mover accent="true"><mml:mi> y </mml:mi><mml:mo> ¯ </mml:mo></mml:mover><mml:mo> = </mml:mo><mml:mfrac><mml:mn> 1 </mml:mn><mml:mi> n </mml:mi></mml:mfrac><mml:mstyle displaystyle="true"><mml:msubsup><mml:mo> ∑ </mml:mo><mml:mrow><mml:mi> i </mml:mi><mml:mo> = </mml:mo><mml:mn> 1 </mml:mn></mml:mrow><mml:mi> n </mml:mi></mml:msubsup><mml:mrow><mml:msub><mml:mi> y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:mstyle></mml:mrow></mml:math></inline-formula> . Thus, we can have the decomposition as</p>
        <disp-formula id="FD32">
          <label>(2.24)</label>
          <mml:math>
            <mml:mrow>
              <mml:munderover>
                <mml:mstyle mathsize="140%" displaystyle="true">
                  <mml:mo>∑</mml:mo>
                </mml:mstyle>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
                <mml:mi>n</mml:mi>
              </mml:munderover>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>y</mml:mi>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                      <mml:mo>−</mml:mo>
                      <mml:mover accent="true">
                        <mml:mi>y</mml:mi>
                        <mml:mo>¯</mml:mo>
                      </mml:mover>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>=</mml:mo>
              <mml:munderover>
                <mml:mstyle mathsize="140%" displaystyle="true">
                  <mml:mo>∑</mml:mo>
                </mml:mstyle>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
                <mml:mi>n</mml:mi>
              </mml:munderover>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mover accent="true">
                          <mml:mi>y</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                      <mml:mo>−</mml:mo>
                      <mml:mover accent="true">
                        <mml:mi>y</mml:mi>
                        <mml:mo>¯</mml:mo>
                      </mml:mover>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>+</mml:mo>
              <mml:munderover>
                <mml:mstyle mathsize="140%" displaystyle="true">
                  <mml:mo>∑</mml:mo>
                </mml:mstyle>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
                <mml:mi>n</mml:mi>
              </mml:munderover>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>y</mml:mi>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                      <mml:mo>−</mml:mo>
                      <mml:msub>
                        <mml:mover accent="true">
                          <mml:mi>y</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msup>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>and using the fact that <inline-formula><mml:math><mml:mrow><mml:mstyle displaystyle="true"><mml:msubsup><mml:mo> ∑ </mml:mo><mml:mrow><mml:mi> i </mml:mi><mml:mo> = </mml:mo><mml:mn> 1 </mml:mn></mml:mrow><mml:mi> n </mml:mi></mml:msubsup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mover accent="true"><mml:mi> y </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mi> i </mml:mi></mml:msub><mml:mo> − </mml:mo><mml:mover accent="true"><mml:mi> y </mml:mi><mml:mo> ¯ </mml:mo></mml:mover></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> y </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> − </mml:mo><mml:msub><mml:mover accent="true"><mml:mi> y </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:mstyle><mml:mo> = </mml:mo><mml:mn> 0 </mml:mn></mml:mrow></mml:math></inline-formula> , it follows from (2.26) that</p>
        <disp-formula id="FD33">
          <label>(2.25)</label>
          <mml:math>
            <mml:mrow>
              <mml:mtext>SST</mml:mtext>
              <mml:mo>=</mml:mo>
              <mml:mtext>SSR</mml:mtext>
              <mml:mo>+</mml:mo>
              <mml:mtext>SSE</mml:mtext>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>2.4.2. Selection of Model (R<sup>2</sup> and Adjusted R<sup>2</sup>)</p>
        <p>The multiple coefficient of determination R<sup>2</sup> is a measure of goodness of fit. It measures how well the covariates in the model explain the variance in the response variable, see [<xref ref-type="bibr" rid="B18">18</xref>].</p>
        <p>(Multiple coefficient of determination ) We define the <bold>multiple coefficient of determination</bold> R<sup>2</sup> as </p>
        <disp-formula id="FD34">
          <label>(2.26)</label>
          <mml:math>
            <mml:mrow>
              <mml:msup>
                <mml:mtext>R</mml:mtext>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mtext>SSR</mml:mtext>
                </mml:mrow>
                <mml:mrow>
                  <mml:mtext>SST</mml:mtext>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>=</mml:mo>
              <mml:mn>1</mml:mn>
              <mml:mo>−</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mtext>SSE</mml:mtext>
                </mml:mrow>
                <mml:mrow>
                  <mml:mtext>SST</mml:mtext>
                </mml:mrow>
              </mml:mfrac>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>We also define the <bold>adjusted multiple coefficient of determination</bold><inline-formula><mml:math><mml:mrow><mml:msubsup><mml:mtext> R </mml:mtext><mml:mrow><mml:mtext> adj </mml:mtext></mml:mrow><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> as </p>
        <disp-formula id="FD35">
          <label>(2.27)</label>
          <mml:math>
            <mml:mrow>
              <mml:msubsup>
                <mml:mtext>R</mml:mtext>
                <mml:mrow>
                  <mml:mtext>adj</mml:mtext>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msubsup>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:mn>1</mml:mn>
              <mml:mo>−</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:mtext>SSE</mml:mtext>
                    </mml:mrow>
                    <mml:mo>/</mml:mo>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mi>n</mml:mi>
                          <mml:mo>−</mml:mo>
                          <mml:mi>p</mml:mi>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:mtext>SST</mml:mtext>
                    </mml:mrow>
                    <mml:mo>/</mml:mo>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mi>n</mml:mi>
                          <mml:mo>−</mml:mo>
                          <mml:mn>1</mml:mn>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:mrow>
                </mml:mrow>
              </mml:mfrac>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>The values of the multiple coefficient of determination range from zero to one (<inline-formula><mml:math><mml:mrow><mml:mn> 0 </mml:mn><mml:mo> ≤ </mml:mo><mml:msup><mml:mtext> R </mml:mtext><mml:mn> 2 </mml:mn></mml:msup><mml:mo> ≤ </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:math></inline-formula> ). Our model accounts for a larger amount of variation of the response when the R<sup>2</sup> is closer to 1. However, the weakness of R<sup>2</sup> is that, it always increases when we add more covariates to our model, and therefore cannot be used to compare the goodness of fit for models with different numbers of covariates, see [<xref ref-type="bibr" rid="B19">19</xref>]. Thus, the need to establish an appropriate measure <inline-formula><mml:math><mml:mrow><mml:msubsup><mml:mtext> R </mml:mtext><mml:mrow><mml:mtext> adj </mml:mtext></mml:mrow><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> which compares models with different numbers of covariates. We will therefore make use of the adjusted multiple coefficient of determination (<inline-formula><mml:math><mml:mrow><mml:msubsup><mml:mtext> R </mml:mtext><mml:mrow><mml:mtext> adj </mml:mtext></mml:mrow><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> ) as a measure of our model selection in this paper.</p>
        <p>2.4.3. Correlation Analysis</p>
        <p>To measure the strength and direction of the linear relationship between two continuous variables, we use the correlation analysis. The most commonly used metric is the Pearson correlation coefficient, denoted by <inline-formula><mml:math><mml:mi> ρ </mml:mi></mml:math></inline-formula> for the population and <inline-formula><mml:math><mml:mi> r </mml:mi></mml:math></inline-formula> for the sample. It ranges from −1 to 1, where values close to 1 or −1 indicate strong positive or negative linear relationships, respectively, and values near 0 suggest no linear relationship.</p>
        <p>The sample Pearson correlation coefficient between two variables <inline-formula><mml:math><mml:mi> X </mml:mi></mml:math></inline-formula> and <inline-formula><mml:math><mml:mi> Y </mml:mi></mml:math></inline-formula> is given by:</p>
        <disp-formula id="FD36">
          <mml:math>
            <mml:mrow>
              <mml:mi>r</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:msubsup>
                    <mml:mstyle mathsize="140%" displaystyle="true">
                      <mml:mo>∑</mml:mo>
                    </mml:mstyle>
                    <mml:mrow>
                      <mml:mi>i</mml:mi>
                      <mml:mo>=</mml:mo>
                      <mml:mn>1</mml:mn>
                    </mml:mrow>
                    <mml:mi>n</mml:mi>
                  </mml:msubsup>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>X</mml:mi>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                      <mml:mo>−</mml:mo>
                      <mml:mover accent="true">
                        <mml:mi>X</mml:mi>
                        <mml:mo>¯</mml:mo>
                      </mml:mover>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>Y</mml:mi>
                        <mml:mi>i</mml:mi>
                      </mml:msub>
                      <mml:mo>−</mml:mo>
                      <mml:mover accent="true">
                        <mml:mi>Y</mml:mi>
                        <mml:mo>¯</mml:mo>
                      </mml:mover>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:msqrt>
                    <mml:mrow>
                      <mml:msubsup>
                        <mml:mstyle mathsize="140%" displaystyle="true">
                          <mml:mo>∑</mml:mo>
                        </mml:mstyle>
                        <mml:mrow>
                          <mml:mi>i</mml:mi>
                          <mml:mo>=</mml:mo>
                          <mml:mn>1</mml:mn>
                        </mml:mrow>
                        <mml:mi>n</mml:mi>
                      </mml:msubsup>
                      <mml:msup>
                        <mml:mrow>
                          <mml:mrow>
                            <mml:mo>(</mml:mo>
                            <mml:mrow>
                              <mml:msub>
                                <mml:mi>X</mml:mi>
                                <mml:mi>i</mml:mi>
                              </mml:msub>
                              <mml:mo>−</mml:mo>
                              <mml:mover accent="true">
                                <mml:mi>X</mml:mi>
                                <mml:mo>¯</mml:mo>
                              </mml:mover>
                            </mml:mrow>
                            <mml:mo>)</mml:mo>
                          </mml:mrow>
                        </mml:mrow>
                        <mml:mn>2</mml:mn>
                      </mml:msup>
                    </mml:mrow>
                  </mml:msqrt>
                  <mml:msqrt>
                    <mml:mrow>
                      <mml:msubsup>
                        <mml:mstyle mathsize="140%" displaystyle="true">
                          <mml:mo>∑</mml:mo>
                        </mml:mstyle>
                        <mml:mrow>
                          <mml:mi>i</mml:mi>
                          <mml:mo>=</mml:mo>
                          <mml:mn>1</mml:mn>
                        </mml:mrow>
                        <mml:mi>n</mml:mi>
                      </mml:msubsup>
                      <mml:msup>
                        <mml:mrow>
                          <mml:mrow>
                            <mml:mo>(</mml:mo>
                            <mml:mrow>
                              <mml:msub>
                                <mml:mi>Y</mml:mi>
                                <mml:mi>i</mml:mi>
                              </mml:msub>
                              <mml:mo>−</mml:mo>
                              <mml:mover accent="true">
                                <mml:mi>Y</mml:mi>
                                <mml:mo>¯</mml:mo>
                              </mml:mover>
                            </mml:mrow>
                            <mml:mo>)</mml:mo>
                          </mml:mrow>
                        </mml:mrow>
                        <mml:mn>2</mml:mn>
                      </mml:msup>
                    </mml:mrow>
                  </mml:msqrt>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>,</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>where <inline-formula><mml:math><mml:mover accent="true"><mml:mi> X </mml:mi><mml:mo> ¯ </mml:mo></mml:mover></mml:math></inline-formula> and <inline-formula><mml:math><mml:mover accent="true"><mml:mi> Y </mml:mi><mml:mo> ¯ </mml:mo></mml:mover></mml:math></inline-formula> are the sample means of <inline-formula><mml:math><mml:mi> X </mml:mi></mml:math></inline-formula> and <inline-formula><mml:math><mml:mi> Y </mml:mi></mml:math></inline-formula> , respectively. This metric provides a preliminary indication of potential multicollinearity when applied to predictor variables.</p>
      </sec>
      <sec id="sec2dot5">
        <title>2.5. Hypothesis Testing</title>
        <p>A statistical hypothesis is an assumption about the form of a population, which based on sample information from the population, seeks to support or reject this assumption. If there is evidence that the null hypothesis (hypothesis of no difference) denoted by <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> is not true, then it is rejected and its alternative denoted by <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 1 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> is accepted. Thus, a test of hypothesis is a rule or a procedure used for deciding whether to accept or reject <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> or to determine whether the observed sample differs significantly from expected results under <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> [<xref ref-type="bibr" rid="B20">20</xref>]. This concept can be extended in statistical inference for the model parameters of linear regression [<xref ref-type="bibr" rid="B21">21</xref>]. For instance, we may want to know if the response variable is significantly influenced by a particular set of covariate variables, which can be expressed in terms of linear combinations of the unknown regression parameters <inline-formula><mml:math><mml:mrow><mml:mi> β </mml:mi><mml:mo> = </mml:mo><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mn> 0 </mml:mn></mml:msub><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:msub><mml:mi> β </mml:mi><mml:mi> k </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mo> ⊤ </mml:mo></mml:msup></mml:mrow></mml:math></inline-formula> . We will use the Chi-square, F and the univariate t-distribution since the t-test and the F-test rely on quantities of these distributions.</p>
        <p><bold>(Chi-square distribution)</bold>A continuous random variable <italic>X</italic> is said to have a <bold>Chi-square distribution</bold> with parameter, <inline-formula><mml:math><mml:mi> ν </mml:mi></mml:math></inline-formula> , if its probability density function is given by</p>
        <disp-formula id="FD37">
          <mml:math display="inline">
            <mml:mrow>
              <mml:msub>
                <mml:mi>f</mml:mi>
                <mml:mi>X</mml:mi>
              </mml:msub>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mi>x</mml:mi>
                  <mml:mo>|</mml:mo>
                  <mml:mi>ν</mml:mi>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:msup>
                    <mml:mn>2</mml:mn>
                    <mml:mrow>
                      <mml:mo>−</mml:mo>
                      <mml:mrow>
                        <mml:mi>ν</mml:mi>
                        <mml:mo>/</mml:mo>
                        <mml:mn>2</mml:mn>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:msup>
                </mml:mrow>
                <mml:mrow>
                  <mml:mi>Γ</mml:mi>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mi>ν</mml:mi>
                        <mml:mo>/</mml:mo>
                        <mml:mn>2</mml:mn>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
              </mml:mfrac>
              <mml:msup>
                <mml:mi>x</mml:mi>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mi>ν</mml:mi>
                    <mml:mo>/</mml:mo>
                    <mml:mn>2</mml:mn>
                  </mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msup>
              <mml:msup>
                <mml:mtext>e</mml:mtext>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mrow>
                    <mml:mi>x</mml:mi>
                    <mml:mo>/</mml:mo>
                    <mml:mn>2</mml:mn>
                  </mml:mrow>
                </mml:mrow>
              </mml:msup>
              <mml:mo>,</mml:mo>
              <mml:mi>ν</mml:mi>
              <mml:mo>&gt;</mml:mo>
              <mml:mn>0</mml:mn>
              <mml:mo>,</mml:mo>
              <mml:mi>x</mml:mi>
              <mml:mo>&gt;</mml:mo>
              <mml:mn>0</mml:mn>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Here, <inline-formula><mml:math><mml:mi> ν </mml:mi></mml:math></inline-formula> is the degree of freedom, <inline-formula><mml:math><mml:mrow><mml:mtext> E </mml:mtext><mml:mrow><mml:mo> ( </mml:mo><mml:mi> X </mml:mi><mml:mo> ) </mml:mo></mml:mrow><mml:mo> = </mml:mo><mml:mi> ν </mml:mi></mml:mrow></mml:math></inline-formula> , <inline-formula><mml:math><mml:mrow><mml:mtext> Var </mml:mtext><mml:mrow><mml:mo> ( </mml:mo><mml:mi> X </mml:mi><mml:mo> ) </mml:mo></mml:mrow><mml:mo> = </mml:mo><mml:mn> 2 </mml:mn><mml:mi> ν </mml:mi></mml:mrow></mml:math></inline-formula> . Thus, we say that <italic>X</italic> follows a Chi-square distribution with <inline-formula><mml:math><mml:mi> ν </mml:mi></mml:math></inline-formula> degree of freedom (<inline-formula><mml:math><mml:mrow><mml:mi> X </mml:mi><mml:mo> ~ </mml:mo><mml:msubsup><mml:mi> χ </mml:mi><mml:mi> ν </mml:mi><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> ).</p>
        <p><bold>(F-distribution)</bold> A continuous random variable <italic>X</italic> is said to have an <bold>F-distribution</bold> with degrees of freedom (df) <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ν </mml:mi><mml:mn> 1 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ν </mml:mi><mml:mn> 2 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> , if its pdf is given by</p>
        <disp-formula id="FD38">
          <label>(2.28)</label>
          <mml:math>
            <mml:mrow>
              <mml:mi>f</mml:mi>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mi>x</mml:mi>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mi>Γ</mml:mi>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mfrac>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>ν</mml:mi>
                            <mml:mn>1</mml:mn>
                          </mml:msub>
                          <mml:mo>+</mml:mo>
                          <mml:msub>
                            <mml:mi>ν</mml:mi>
                            <mml:mn>2</mml:mn>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mn>2</mml:mn>
                      </mml:mfrac>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:msup>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mfrac>
                            <mml:mrow>
                              <mml:msub>
                                <mml:mi>ν</mml:mi>
                                <mml:mn>1</mml:mn>
                              </mml:msub>
                            </mml:mrow>
                            <mml:mrow>
                              <mml:msub>
                                <mml:mi>ν</mml:mi>
                                <mml:mn>2</mml:mn>
                              </mml:msub>
                            </mml:mrow>
                          </mml:mfrac>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mrow>
                      <mml:mfrac>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>ν</mml:mi>
                            <mml:mn>1</mml:mn>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mn>2</mml:mn>
                      </mml:mfrac>
                    </mml:mrow>
                  </mml:msup>
                  <mml:msup>
                    <mml:mi>x</mml:mi>
                    <mml:mrow>
                      <mml:mfrac>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>ν</mml:mi>
                            <mml:mn>1</mml:mn>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mn>2</mml:mn>
                      </mml:mfrac>
                      <mml:mo>−</mml:mo>
                      <mml:mn>1</mml:mn>
                    </mml:mrow>
                  </mml:msup>
                </mml:mrow>
                <mml:mrow>
                  <mml:mi>Γ</mml:mi>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mfrac>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>ν</mml:mi>
                            <mml:mn>1</mml:mn>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mn>2</mml:mn>
                      </mml:mfrac>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:mi>Γ</mml:mi>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mfrac>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>ν</mml:mi>
                            <mml:mn>2</mml:mn>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mn>2</mml:mn>
                      </mml:mfrac>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:msup>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mn>1</mml:mn>
                          <mml:mo>+</mml:mo>
                          <mml:mfrac>
                            <mml:mrow>
                              <mml:msub>
                                <mml:mi>ν</mml:mi>
                                <mml:mn>1</mml:mn>
                              </mml:msub>
                              <mml:mi>x</mml:mi>
                            </mml:mrow>
                            <mml:mrow>
                              <mml:msub>
                                <mml:mi>ν</mml:mi>
                                <mml:mn>2</mml:mn>
                              </mml:msub>
                            </mml:mrow>
                          </mml:mfrac>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mrow>
                      <mml:mfrac>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>ν</mml:mi>
                            <mml:mn>1</mml:mn>
                          </mml:msub>
                          <mml:mo>+</mml:mo>
                          <mml:msub>
                            <mml:mi>ν</mml:mi>
                            <mml:mn>2</mml:mn>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mn>2</mml:mn>
                      </mml:mfrac>
                    </mml:mrow>
                  </mml:msup>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mi>x</mml:mi>
              <mml:mo>≥</mml:mo>
              <mml:mn>0.</mml:mn>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>If <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> X </mml:mi><mml:mn> 1 </mml:mn></mml:msub><mml:mo> ~ </mml:mo><mml:msubsup><mml:mi> χ </mml:mi><mml:mrow><mml:msub><mml:mi> v </mml:mi><mml:mn> 1 </mml:mn></mml:msub></mml:mrow><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> X </mml:mi><mml:mn> 2 </mml:mn></mml:msub><mml:mo> ~ </mml:mo><mml:msubsup><mml:mi> χ </mml:mi><mml:mrow><mml:msub><mml:mi> ν </mml:mi><mml:mn> 2 </mml:mn></mml:msub></mml:mrow><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> and are independent, it follows in (2.30) that X is F-distributed with <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ν </mml:mi><mml:mn> 1 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ν </mml:mi><mml:mn> 1 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> df.</p>
        <disp-formula id="FD39">
          <label>(2.29)</label>
          <mml:math>
            <mml:mrow>
              <mml:mi>X</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>X</mml:mi>
                        <mml:mn>1</mml:mn>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>/</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>ν</mml:mi>
                        <mml:mn>1</mml:mn>
                      </mml:msub>
                    </mml:mrow>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>X</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>/</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>ν</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:msub>
                    </mml:mrow>
                  </mml:mrow>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>~</mml:mo>
              <mml:msub>
                <mml:mi>F</mml:mi>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>ν</mml:mi>
                    <mml:mn>1</mml:mn>
                  </mml:msub>
                  <mml:mo>,</mml:mo>
                  <mml:msub>
                    <mml:mi>ν</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msub>
                </mml:mrow>
              </mml:msub>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p><bold>(Univariate t-distribution)</bold> A continuous random variable <italic>X</italic> is said to have a <bold>Univariate t-distribution</bold> with degree of freedom df <inline-formula><mml:math><mml:mi> ν </mml:mi></mml:math></inline-formula> , if its pdf is given by</p>
        <disp-formula id="FD40">
          <label>(2.30)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>f</mml:mi>
                <mml:mi>ν</mml:mi>
              </mml:msub>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mi>x</mml:mi>
                  <mml:mo>;</mml:mo>
                  <mml:mi>μ</mml:mi>
                  <mml:mo>,</mml:mo>
                  <mml:msup>
                    <mml:mi>σ</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mi>Γ</mml:mi>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mfrac>
                        <mml:mrow>
                          <mml:mi>ν</mml:mi>
                          <mml:mo>+</mml:mo>
                          <mml:mn>1</mml:mn>
                        </mml:mrow>
                        <mml:mn>2</mml:mn>
                      </mml:mfrac>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mi>Γ</mml:mi>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mfrac>
                        <mml:mi>ν</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:mfrac>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:msqrt>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mi>π</mml:mi>
                          <mml:mi>ν</mml:mi>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:msqrt>
                  <mml:mi>σ</mml:mi>
                </mml:mrow>
              </mml:mfrac>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>{</mml:mo>
                    <mml:mrow>
                      <mml:mn>1</mml:mn>
                      <mml:mo>+</mml:mo>
                      <mml:msup>
                        <mml:mrow>
                          <mml:mrow>
                            <mml:mo>(</mml:mo>
                            <mml:mrow>
                              <mml:mfrac>
                                <mml:mrow>
                                  <mml:mi>x</mml:mi>
                                  <mml:mo>−</mml:mo>
                                  <mml:mi>μ</mml:mi>
                                </mml:mrow>
                                <mml:mi>σ</mml:mi>
                              </mml:mfrac>
                            </mml:mrow>
                            <mml:mo>)</mml:mo>
                          </mml:mrow>
                        </mml:mrow>
                        <mml:mn>2</mml:mn>
                      </mml:msup>
                      <mml:mfrac>
                        <mml:mn>1</mml:mn>
                        <mml:mi>ν</mml:mi>
                      </mml:mfrac>
                    </mml:mrow>
                    <mml:mo>}</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mfrac>
                    <mml:mrow>
                      <mml:mi>ν</mml:mi>
                      <mml:mo>+</mml:mo>
                      <mml:mn>1</mml:mn>
                    </mml:mrow>
                    <mml:mn>2</mml:mn>
                  </mml:mfrac>
                </mml:mrow>
              </mml:msup>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mi>ν</mml:mi>
              <mml:mo>≥</mml:mo>
              <mml:mn>1</mml:mn>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <disp-formula id="FD41">
          <mml:math>
            <mml:mrow>
              <mml:mtext>E</mml:mtext>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mi>X</mml:mi>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mi>μ</mml:mi>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>and</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>Var</mml:mtext>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mi>X</mml:mi>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mi>ν</mml:mi>
                <mml:mrow>
                  <mml:mi>ν</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mn>2</mml:mn>
                </mml:mrow>
              </mml:mfrac>
              <mml:msup>
                <mml:mi>σ</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mo>.</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>If <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> X </mml:mi><mml:mn> 1 </mml:mn></mml:msub><mml:mo> ~ </mml:mo><mml:mi> N </mml:mi><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mn> 0 </mml:mn><mml:mo> , </mml:mo><mml:mn> 1 </mml:mn></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> X </mml:mi><mml:mn> 2 </mml:mn></mml:msub><mml:mo> ~ </mml:mo><mml:msubsup><mml:mi> χ </mml:mi><mml:mi> n </mml:mi><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> and are independent, it can be shown in (2.32) that T has a t-distribution with <inline-formula><mml:math><mml:mi> ν </mml:mi></mml:math></inline-formula> df.</p>
        <disp-formula id="FD42">
          <label>(2.31)</label>
          <mml:math>
            <mml:mrow>
              <mml:mi>T</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>X</mml:mi>
                    <mml:mn>1</mml:mn>
                  </mml:msub>
                </mml:mrow>
                <mml:mrow>
                  <mml:msqrt>
                    <mml:mrow>
                      <mml:mfrac>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>X</mml:mi>
                            <mml:mn>2</mml:mn>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mi>ν</mml:mi>
                      </mml:mfrac>
                    </mml:mrow>
                  </mml:msqrt>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>~</mml:mo>
              <mml:msub>
                <mml:mi>t</mml:mi>
                <mml:mi>ν</mml:mi>
              </mml:msub>
              <mml:mo>.</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
      </sec>
      <sec id="sec2dot6">
        <title>2.6. F-Test</title>
        <p><bold>(General testing problem)</bold>We define the general testing problem as </p>
        <disp-formula id="FD43">
          <label>(2.32)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>H</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:mi>C</mml:mi>
              <mml:mi>β</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mi>d</mml:mi>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>versus</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msub>
                <mml:mi>H</mml:mi>
                <mml:mn>1</mml:mn>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:mi>C</mml:mi>
              <mml:mi>β</mml:mi>
              <mml:mo>≠</mml:mo>
              <mml:mi>d</mml:mi>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>where matrix <inline-formula><mml:math><mml:mrow><mml:mi> C </mml:mi><mml:mo> ∈ </mml:mo><mml:msup><mml:mi> ℝ </mml:mi><mml:mrow><mml:mi> q </mml:mi><mml:mo> × </mml:mo><mml:mi> p </mml:mi></mml:mrow></mml:msup></mml:mrow></mml:math></inline-formula> with <inline-formula><mml:math><mml:mrow><mml:mtext> rank </mml:mtext><mml:mrow><mml:mo> ( </mml:mo><mml:mi> C </mml:mi><mml:mo> ) </mml:mo></mml:mrow><mml:mo> = </mml:mo><mml:mi> q </mml:mi></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math><mml:mrow><mml:mi> d </mml:mi><mml:mo> ∈ </mml:mo><mml:msup><mml:mi> ℝ </mml:mi><mml:mi> q </mml:mi></mml:msup></mml:mrow></mml:math></inline-formula> is called the <bold>general linear hypothesis</bold>. Using the distribution of the estimated regression coefficients <inline-formula><mml:math display="inline"><mml:mover accent="true"><mml:mi> β </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:math></inline-formula> given in (2.23), if <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> is true, it follows that</p>
        <disp-formula id="FD44">
          <label>(2.33)</label>
          <mml:math>
            <mml:mrow>
              <mml:mover accent="true">
                <mml:mi>ϑ</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
              <mml:mo>=</mml:mo>
              <mml:mi>C</mml:mi>
              <mml:mover accent="true">
                <mml:mi>β</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
              <mml:mo>−</mml:mo>
              <mml:mi>d</mml:mi>
              <mml:mover>
                <mml:mo>~</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>H</mml:mi>
                    <mml:mn>0</mml:mn>
                  </mml:msub>
                </mml:mrow>
              </mml:mover>
              <mml:msub>
                <mml:mi>N</mml:mi>
                <mml:mi>q</mml:mi>
              </mml:msub>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mn>0</mml:mn>
                  <mml:mo>,</mml:mo>
                  <mml:msup>
                    <mml:mi>σ</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                  <mml:mi>C</mml:mi>
                  <mml:msup>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:msup>
                            <mml:mi>X</mml:mi>
                            <mml:mo>⊤</mml:mo>
                          </mml:msup>
                          <mml:mi>X</mml:mi>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mrow>
                      <mml:mo>−</mml:mo>
                      <mml:mn>1</mml:mn>
                    </mml:mrow>
                  </mml:msup>
                  <mml:msup>
                    <mml:mi>C</mml:mi>
                    <mml:mo>⊤</mml:mo>
                  </mml:msup>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>.</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>We used the fact that</p>
        <disp-formula id="FD45">
          <label>(2.34)</label>
          <mml:math>
            <mml:mtable columnalign="left">
              <mml:mtr>
                <mml:mtd>
                  <mml:mtext>E</mml:mtext>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mover accent="true">
                      <mml:mi>ϑ</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:mo>=</mml:mo>
                  <mml:mi>C</mml:mi>
                  <mml:mtext>E</mml:mtext>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mover accent="true">
                      <mml:mi>β</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mi>d</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mi>C</mml:mi>
                  <mml:mtext>E</mml:mtext>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mi>β</mml:mi>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mi>d</mml:mi>
                  <mml:mo>=</mml:mo>
                  <mml:mn>0</mml:mn>
                </mml:mtd>
              </mml:mtr>
              <mml:mtr>
                <mml:mtd>
                  <mml:mtext>Var</mml:mtext>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mover accent="true">
                      <mml:mi>ϑ</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:mo>=</mml:mo>
                  <mml:mi>C</mml:mi>
                  <mml:mtext>Var</mml:mtext>
                  <mml:mtext>
                     
                  </mml:mtext>
                  <mml:mover accent="true">
                    <mml:mi>β</mml:mi>
                    <mml:mo>^</mml:mo>
                  </mml:mover>
                  <mml:msup>
                    <mml:mi>C</mml:mi>
                    <mml:mo>⊤</mml:mo>
                  </mml:msup>
                  <mml:mo>=</mml:mo>
                  <mml:msup>
                    <mml:mi>σ</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                  <mml:mi>C</mml:mi>
                  <mml:msup>
                    <mml:mrow>
                      <mml:mo>(</mml:mo>
                      <mml:mrow>
                        <mml:msup>
                          <mml:mi>X</mml:mi>
                          <mml:mo>⊤</mml:mo>
                        </mml:msup>
                        <mml:mi>X</mml:mi>
                      </mml:mrow>
                      <mml:mo>)</mml:mo>
                    </mml:mrow>
                    <mml:mrow>
                      <mml:mo>−</mml:mo>
                      <mml:mn>1</mml:mn>
                    </mml:mrow>
                  </mml:msup>
                  <mml:msup>
                    <mml:mi>C</mml:mi>
                    <mml:mo>⊤</mml:mo>
                  </mml:msup>
                  <mml:mo>.</mml:mo>
                </mml:mtd>
              </mml:mtr>
            </mml:mtable>
          </mml:math>
        </disp-formula>
        <p>Also, using the spectral decomposition for a specific covariance and considering the definition of <inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> χ </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> -distribution, it can be shown that</p>
        <disp-formula id="FD46">
          <label>(2.35)</label>
          <mml:math>
            <mml:mrow>
              <mml:mfrac>
                <mml:mn>1</mml:mn>
                <mml:mrow>
                  <mml:msup>
                    <mml:mi>σ</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                </mml:mrow>
              </mml:mfrac>
              <mml:msup>
                <mml:mover accent="true">
                  <mml:mi>ϑ</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
                <mml:mo>⊤</mml:mo>
              </mml:msup>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mi>C</mml:mi>
                      <mml:msup>
                        <mml:mrow>
                          <mml:mrow>
                            <mml:mo>(</mml:mo>
                            <mml:mrow>
                              <mml:msup>
                                <mml:mi>X</mml:mi>
                                <mml:mo>⊤</mml:mo>
                              </mml:msup>
                              <mml:mi>X</mml:mi>
                            </mml:mrow>
                            <mml:mo>)</mml:mo>
                          </mml:mrow>
                        </mml:mrow>
                        <mml:mrow>
                          <mml:mo>−</mml:mo>
                          <mml:mn>1</mml:mn>
                        </mml:mrow>
                      </mml:msup>
                      <mml:msup>
                        <mml:mi>C</mml:mi>
                        <mml:mo>⊤</mml:mo>
                      </mml:msup>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msup>
              <mml:mover accent="true">
                <mml:mi>ϑ</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
              <mml:mover>
                <mml:mo>~</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>H</mml:mi>
                    <mml:mn>0</mml:mn>
                  </mml:msub>
                </mml:mrow>
              </mml:mover>
              <mml:msubsup>
                <mml:mi>χ</mml:mi>
                <mml:mi>q</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:msubsup>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>One can also show that <inline-formula><mml:math><mml:mrow><mml:mfrac><mml:mn> 1 </mml:mn><mml:mrow><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:mfrac><mml:msup><mml:mover accent="true"><mml:mi> ϑ </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mo> ⊤ </mml:mo></mml:msup><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mi> C </mml:mi><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mo> ⊤ </mml:mo></mml:msup><mml:mi> X </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup><mml:msup><mml:mi> C </mml:mi><mml:mo> ⊤ </mml:mo></mml:msup></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup><mml:mover accent="true"><mml:mi> ϑ </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mo> ~ </mml:mo><mml:msubsup><mml:mi> χ </mml:mi><mml:mi> q </mml:mi><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math><mml:mrow><mml:mrow><mml:mrow><mml:mtext> SSE </mml:mtext></mml:mrow><mml:mo> / </mml:mo><mml:mrow><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:mrow><mml:mo> ~ </mml:mo><mml:msubsup><mml:mi> χ </mml:mi><mml:mrow><mml:mi> n </mml:mi><mml:mo> − </mml:mo><mml:mi> p </mml:mi></mml:mrow><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> , and are independent <inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> χ </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> distributed. We therefore define the statistic under <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> as</p>
        <disp-formula id="FD47">
          <label>(2.36)</label>
          <mml:math>
            <mml:mrow>
              <mml:mi>F</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:msup>
                        <mml:mover accent="true">
                          <mml:mi>ϑ</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mo>⊤</mml:mo>
                      </mml:msup>
                      <mml:msup>
                        <mml:mrow>
                          <mml:mrow>
                            <mml:mo>(</mml:mo>
                            <mml:mrow>
                              <mml:mi>C</mml:mi>
                              <mml:msup>
                                <mml:mrow>
                                  <mml:mrow>
                                    <mml:mo>(</mml:mo>
                                    <mml:mrow>
                                      <mml:msup>
                                        <mml:mi>X</mml:mi>
                                        <mml:mo>⊤</mml:mo>
                                      </mml:msup>
                                      <mml:mi>X</mml:mi>
                                    </mml:mrow>
                                    <mml:mo>)</mml:mo>
                                  </mml:mrow>
                                </mml:mrow>
                                <mml:mrow>
                                  <mml:mo>−</mml:mo>
                                  <mml:mn>1</mml:mn>
                                </mml:mrow>
                              </mml:msup>
                              <mml:msup>
                                <mml:mi>C</mml:mi>
                                <mml:mo>⊤</mml:mo>
                              </mml:msup>
                            </mml:mrow>
                            <mml:mo>)</mml:mo>
                          </mml:mrow>
                        </mml:mrow>
                        <mml:mrow>
                          <mml:mo>−</mml:mo>
                          <mml:mn>1</mml:mn>
                        </mml:mrow>
                      </mml:msup>
                      <mml:mover accent="true">
                        <mml:mi>ϑ</mml:mi>
                        <mml:mo>^</mml:mo>
                      </mml:mover>
                    </mml:mrow>
                    <mml:mo>/</mml:mo>
                    <mml:mi>q</mml:mi>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:mtext>SSE</mml:mtext>
                    </mml:mrow>
                    <mml:mo>/</mml:mo>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mi>n</mml:mi>
                          <mml:mo>−</mml:mo>
                          <mml:mi>p</mml:mi>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:mrow>
                </mml:mrow>
              </mml:mfrac>
              <mml:mover>
                <mml:mo>~</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>H</mml:mi>
                    <mml:mn>0</mml:mn>
                  </mml:msub>
                </mml:mrow>
              </mml:mover>
              <mml:msub>
                <mml:mi>F</mml:mi>
                <mml:mrow>
                  <mml:mi>q</mml:mi>
                  <mml:mo>,</mml:mo>
                  <mml:mi>n</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mi>p</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>.</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>If the null hypothesis <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub><mml:mo> : </mml:mo><mml:mi> C </mml:mi><mml:mi> β </mml:mi><mml:mo> = </mml:mo><mml:mi> d </mml:mi></mml:mrow></mml:math></inline-formula> holds (ie, <inline-formula><mml:math><mml:mrow><mml:mi> C </mml:mi><mml:mi> β </mml:mi><mml:mo> − </mml:mo><mml:mi> d </mml:mi><mml:mo> = </mml:mo><mml:mn> 0 </mml:mn></mml:mrow></mml:math></inline-formula> ), then we will reject <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> for large values of <inline-formula><mml:math><mml:mi> F </mml:mi></mml:math></inline-formula> since small value of <inline-formula><mml:math><mml:mrow><mml:mi> C </mml:mi><mml:mover accent="true"><mml:mi> β </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mo> − </mml:mo><mml:mi> d </mml:mi></mml:mrow></mml:math></inline-formula> is expected.</p>
        <p>Let the least square estimate among those <inline-formula><mml:math display="inline"><mml:mi> β </mml:mi></mml:math></inline-formula> vectors which satisfy <inline-formula><mml:math><mml:mrow><mml:mi> C </mml:mi><mml:mi> β </mml:mi><mml:mo> = </mml:mo><mml:mi> d </mml:mi></mml:mrow></mml:math></inline-formula> be denoted as <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> , i.e. it minimizes (2.13) under the condition <inline-formula><mml:math><mml:mrow><mml:mi> C </mml:mi><mml:mi> β </mml:mi><mml:mo> = </mml:mo><mml:mi> d </mml:mi></mml:mrow></mml:math></inline-formula> . We define the corresponding sum of squares error for the LS fit under <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> as </p>
        <disp-formula id="FD48">
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mrow>
                  <mml:mtext>SSE</mml:mtext>
                </mml:mrow>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>H</mml:mi>
                    <mml:mn>0</mml:mn>
                  </mml:msub>
                </mml:mrow>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:msup>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>‖</mml:mo>
                    <mml:mrow>
                      <mml:mi>y</mml:mi>
                      <mml:mo>−</mml:mo>
                      <mml:mi>X</mml:mi>
                      <mml:msub>
                        <mml:mover accent="true">
                          <mml:mi>β</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>H</mml:mi>
                            <mml:mn>0</mml:mn>
                          </mml:msub>
                        </mml:mrow>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>‖</mml:mo>
                  </mml:mrow>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msup>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>It can also be shown that <inline-formula><mml:math><mml:mrow><mml:msup><mml:mover accent="true"><mml:mi> ϑ </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mo> ⊤ </mml:mo></mml:msup><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mi> C </mml:mi><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mo> ⊤ </mml:mo></mml:msup><mml:mi> X </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup><mml:msup><mml:mi> C </mml:mi><mml:mo> ⊤ </mml:mo></mml:msup></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup><mml:mover accent="true"><mml:mi> ϑ </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mo> = </mml:mo><mml:msub><mml:mrow><mml:mtext> SSE </mml:mtext></mml:mrow><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:msub><mml:mo> − </mml:mo><mml:mtext> SSE </mml:mtext></mml:mrow></mml:math></inline-formula> is true which allows us to give the general F-test.</p>
        <p><bold>(General F test in linear regression)</bold> We define the test statistic <italic><bold>F</bold></italic> under the null hypothesis <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub><mml:mo> : </mml:mo><mml:mi> C </mml:mi><mml:mi> β </mml:mi><mml:mo> = </mml:mo><mml:mi> d </mml:mi></mml:mrow></mml:math></inline-formula> versus <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 1 </mml:mn></mml:msub><mml:mo> : </mml:mo><mml:mi> C </mml:mi><mml:mi> β </mml:mi><mml:mo> ≠ </mml:mo><mml:mi> d </mml:mi></mml:mrow></mml:math></inline-formula> in the linear regression model of (2.2) as</p>
        <disp-formula id="FD49">
          <label>(2.37)</label>
          <mml:math>
            <mml:mrow>
              <mml:mi>F</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mrow>
                              <mml:mtext>SSE</mml:mtext>
                            </mml:mrow>
                            <mml:mrow>
                              <mml:msub>
                                <mml:mi>H</mml:mi>
                                <mml:mn>0</mml:mn>
                              </mml:msub>
                            </mml:mrow>
                          </mml:msub>
                          <mml:mo>−</mml:mo>
                          <mml:mtext>SSE</mml:mtext>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mo>/</mml:mo>
                    <mml:mi>q</mml:mi>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:mtext>SSE</mml:mtext>
                    </mml:mrow>
                    <mml:mo>/</mml:mo>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mi>n</mml:mi>
                          <mml:mo>−</mml:mo>
                          <mml:mi>p</mml:mi>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:mrow>
                </mml:mrow>
              </mml:mfrac>
              <mml:mover>
                <mml:mo>~</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>H</mml:mi>
                    <mml:mn>0</mml:mn>
                  </mml:msub>
                </mml:mrow>
              </mml:mover>
              <mml:msub>
                <mml:mi>F</mml:mi>
                <mml:mrow>
                  <mml:mi>q</mml:mi>
                  <mml:mo>,</mml:mo>
                  <mml:mi>n</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mi>p</mml:mi>
                </mml:mrow>
              </mml:msub>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>We reject <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> against <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 1 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> at level <inline-formula><mml:math><mml:mi> α </mml:mi></mml:math></inline-formula> if</p>
        <disp-formula id="FD50">
          <label>(2.38)</label>
          <mml:math>
            <mml:mrow>
              <mml:mi>F</mml:mi>
              <mml:mo>&gt;</mml:mo>
              <mml:msub>
                <mml:mi>F</mml:mi>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:mn>1</mml:mn>
                      <mml:mo>−</mml:mo>
                      <mml:mi>α</mml:mi>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:mo>,</mml:mo>
                  <mml:mi>q</mml:mi>
                  <mml:mo>,</mml:mo>
                  <mml:mi>n</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mi>p</mml:mi>
                </mml:mrow>
              </mml:msub>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Here, <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> F </mml:mi><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mn> 1 </mml:mn><mml:mo> − </mml:mo><mml:mi> α </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mo> , </mml:mo><mml:mi> q </mml:mi><mml:mo> , </mml:mo><mml:mi> n </mml:mi><mml:mo> − </mml:mo><mml:mi> p </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> is the <inline-formula><mml:math><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mn> 1 </mml:mn><mml:mo> − </mml:mo><mml:mi> α </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> quantile of an <inline-formula><mml:math><mml:mtext> F </mml:mtext></mml:math></inline-formula> distribution with <inline-formula><mml:math><mml:mi> q </mml:mi></mml:math></inline-formula> and <inline-formula><mml:math><mml:mrow><mml:mi> n </mml:mi><mml:mo> − </mml:mo><mml:mi> p </mml:mi></mml:mrow></mml:math></inline-formula> df. The quantity <inline-formula><mml:math><mml:mrow><mml:mi> n </mml:mi><mml:mo> − </mml:mo><mml:mi> p </mml:mi></mml:mrow></mml:math></inline-formula> is also called the <bold>residual degree of freedom</bold>. Thus, we can now summarize the F-test procedure for our model (2.2) as follows: </p>
        <p><bold>Hypothesis</bold></p>
        <disp-formula id="FD51">
          <mml:math>
            <mml:mtable columnalign="left">
              <mml:mtr>
                <mml:mtd>
                  <mml:msub>
                    <mml:mi>H</mml:mi>
                    <mml:mn>0</mml:mn>
                  </mml:msub>
                  <mml:mo>:</mml:mo>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>β</mml:mi>
                        <mml:mn>1</mml:mn>
                      </mml:msub>
                      <mml:mo>,</mml:mo>
                      <mml:mo>⋯</mml:mo>
                      <mml:mo>,</mml:mo>
                      <mml:msub>
                        <mml:mi>β</mml:mi>
                        <mml:mi>k</mml:mi>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:mo>=</mml:mo>
                  <mml:mn>0</mml:mn>
                </mml:mtd>
              </mml:mtr>
              <mml:mtr>
                <mml:mtd>
                  <mml:msub>
                    <mml:mi>H</mml:mi>
                    <mml:mn>1</mml:mn>
                  </mml:msub>
                  <mml:mo>:</mml:mo>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>β</mml:mi>
                        <mml:mn>1</mml:mn>
                      </mml:msub>
                      <mml:mo>,</mml:mo>
                      <mml:mo>⋯</mml:mo>
                      <mml:mo>,</mml:mo>
                      <mml:msub>
                        <mml:mi>β</mml:mi>
                        <mml:mi>k</mml:mi>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                  <mml:mo>≠</mml:mo>
                  <mml:mn>0</mml:mn>
                </mml:mtd>
              </mml:mtr>
            </mml:mtable>
          </mml:math>
        </disp-formula>
        <disp-formula id="FD52">
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>H</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>1</mml:mn>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:mo>⋯</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>k</mml:mi>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:mn>0</mml:mn>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>(No significant relationship exists between rent sqm and the predictors.)</p>
        <disp-formula id="FD53">
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>H</mml:mi>
                <mml:mn>1</mml:mn>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:mtext>At</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>least</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>one</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>j</mml:mi>
              </mml:msub>
              <mml:mo>≠</mml:mo>
              <mml:mn>0</mml:mn>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>for</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>some</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mi>j</mml:mi>
              <mml:mo>∈</mml:mo>
              <mml:mrow>
                <mml:mo>{</mml:mo>
                <mml:mrow>
                  <mml:mn>1</mml:mn>
                  <mml:mo>,</mml:mo>
                  <mml:mn>2</mml:mn>
                  <mml:mo>,</mml:mo>
                  <mml:mo>⋯</mml:mo>
                  <mml:mo>,</mml:mo>
                  <mml:mi>k</mml:mi>
                </mml:mrow>
                <mml:mo>}</mml:mo>
              </mml:mrow>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>(A significant relationship exists between rent sqm and at least one predictor.)</p>
        <p><bold>Test statistic</bold> = <italic>F</italic>, defined in (2.37)</p>
        <p><bold>Rejection Rule</bold>: Reject <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> at level <inline-formula><mml:math><mml:mi> α </mml:mi></mml:math></inline-formula> , if <inline-formula><mml:math><mml:mrow><mml:mi> F </mml:mi><mml:mo> &gt; </mml:mo><mml:msub><mml:mi> F </mml:mi><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mn> 1 </mml:mn><mml:mo> − </mml:mo><mml:mi> α </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mo> , </mml:mo><mml:mi> q </mml:mi><mml:mo> , </mml:mo><mml:mi> n </mml:mi><mml:mo> − </mml:mo><mml:mi> p </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula></p>
      </sec>
      <sec id="sec2dot7">
        <title>2.7. T-Test</title>
        <p><bold>(t-test)</bold> We define the <bold>t-test procedure</bold> for our model (2.2) as follows, since in a t-test, the test statistic is computed for each <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mi> j </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> , see [<xref ref-type="bibr" rid="B22">22</xref>]. </p>
        <p><bold>Hypotheses:</bold></p>
        <disp-formula id="FD54">
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>H</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>j</mml:mi>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:mn>0</mml:mn>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>versus</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msub>
                <mml:mi>H</mml:mi>
                <mml:mn>1</mml:mn>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>j</mml:mi>
              </mml:msub>
              <mml:mo>≠</mml:mo>
              <mml:mn>0</mml:mn>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p><bold>Test statistic:</bold></p>
        <disp-formula id="FD55">
          <label>(2.39)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>T</mml:mi>
                <mml:mi>j</mml:mi>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:msub>
                    <mml:mover accent="true">
                      <mml:mi>β</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mi>j</mml:mi>
                  </mml:msub>
                </mml:mrow>
                <mml:mrow>
                  <mml:mover accent="true">
                    <mml:mrow>
                      <mml:mi>s</mml:mi>
                      <mml:mi>e</mml:mi>
                    </mml:mrow>
                    <mml:mo stretchy="true">^</mml:mo>
                  </mml:mover>
                  <mml:mrow>
                    <mml:mo>(</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mover accent="true">
                          <mml:mi>β</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mi>j</mml:mi>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>)</mml:mo>
                  </mml:mrow>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>~</mml:mo>
              <mml:msub>
                <mml:mi>t</mml:mi>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mi>p</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>,</mml:mo>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>under</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msub>
                <mml:mi>H</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <disp-formula id="FD56">
          <label>(2.22)</label>
          <mml:math>
            <mml:mrow>
              <mml:mover accent="true">
                <mml:mrow>
                  <mml:mi>s</mml:mi>
                  <mml:mi>e</mml:mi>
                </mml:mrow>
                <mml:mo stretchy="true">^</mml:mo>
              </mml:mover>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mover accent="true">
                      <mml:mi>β</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mi>j</mml:mi>
                  </mml:msub>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:mi>s</mml:mi>
              <mml:msqrt>
                <mml:mrow>
                  <mml:msub>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:msup>
                            <mml:mrow>
                              <mml:mrow>
                                <mml:mo>(</mml:mo>
                                <mml:mrow>
                                  <mml:msup>
                                    <mml:mi>X</mml:mi>
                                    <mml:mo>⊤</mml:mo>
                                  </mml:msup>
                                  <mml:mi>X</mml:mi>
                                </mml:mrow>
                                <mml:mo>)</mml:mo>
                              </mml:mrow>
                            </mml:mrow>
                            <mml:mrow>
                              <mml:mo>−</mml:mo>
                              <mml:mn>1</mml:mn>
                            </mml:mrow>
                          </mml:msup>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mrow>
                      <mml:mi>j</mml:mi>
                      <mml:mi>j</mml:mi>
                    </mml:mrow>
                  </mml:msub>
                </mml:mrow>
              </mml:msqrt>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p><bold>Rejection Rule</bold>: Reject <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> at level <inline-formula><mml:math><mml:mi> α </mml:mi></mml:math></inline-formula> , if <inline-formula><mml:math><mml:mrow><mml:mrow><mml:mo> | </mml:mo><mml:mrow><mml:msub><mml:mi> T </mml:mi><mml:mi> j </mml:mi></mml:msub></mml:mrow><mml:mo> | </mml:mo></mml:mrow><mml:mo> &gt; </mml:mo><mml:msub><mml:mi> t </mml:mi><mml:mrow><mml:mi> n </mml:mi><mml:mo> − </mml:mo><mml:mi> p </mml:mi><mml:mo> , </mml:mo><mml:mn> 1 </mml:mn><mml:mo> − </mml:mo><mml:mrow><mml:mi> α </mml:mi><mml:mo> / </mml:mo><mml:mn> 2 </mml:mn></mml:mrow></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula></p>
        <p>Note that <bold>t-test</bold> is a special case of the <bold>F-test</bold>, in particular we have <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> F </mml:mi><mml:mi> j </mml:mi></mml:msub><mml:mo> = </mml:mo><mml:msubsup><mml:mi> T </mml:mi><mml:mi> j </mml:mi><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> since if</p>
        <disp-formula id="FD57">
          <label>(2.40)</label>
          <mml:math>
            <mml:mtable columnalign="left">
              <mml:mtr>
                <mml:mtd>
                  <mml:msub>
                    <mml:mi>F</mml:mi>
                    <mml:mi>j</mml:mi>
                  </mml:msub>
                  <mml:mo>:</mml:mo>
                  <mml:mo>=</mml:mo>
                  <mml:mfrac>
                    <mml:mrow>
                      <mml:msubsup>
                        <mml:mover accent="true">
                          <mml:mi>β</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mi>j</mml:mi>
                        <mml:mn>2</mml:mn>
                      </mml:msubsup>
                    </mml:mrow>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mrow>
                              <mml:mrow>
                                <mml:mo>(</mml:mo>
                                <mml:mrow>
                                  <mml:msup>
                                    <mml:mrow>
                                      <mml:mrow>
                                        <mml:mo>(</mml:mo>
                                        <mml:mrow>
                                          <mml:msup>
                                            <mml:mi>X</mml:mi>
                                            <mml:mo>⊤</mml:mo>
                                          </mml:msup>
                                          <mml:mi>X</mml:mi>
                                        </mml:mrow>
                                        <mml:mo>)</mml:mo>
                                      </mml:mrow>
                                    </mml:mrow>
                                    <mml:mrow>
                                      <mml:mo>−</mml:mo>
                                      <mml:mn>1</mml:mn>
                                    </mml:mrow>
                                  </mml:msup>
                                </mml:mrow>
                                <mml:mo>)</mml:mo>
                              </mml:mrow>
                            </mml:mrow>
                            <mml:mrow>
                              <mml:mi>j</mml:mi>
                              <mml:mi>j</mml:mi>
                            </mml:mrow>
                          </mml:msub>
                          <mml:mtext>SSE</mml:mtext>
                        </mml:mrow>
                        <mml:mo>/</mml:mo>
                        <mml:mrow>
                          <mml:mrow>
                            <mml:mo>(</mml:mo>
                            <mml:mrow>
                              <mml:mi>n</mml:mi>
                              <mml:mo>−</mml:mo>
                              <mml:mi>p</mml:mi>
                            </mml:mrow>
                            <mml:mo>)</mml:mo>
                          </mml:mrow>
                        </mml:mrow>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:mfrac>
                  <mml:mover>
                    <mml:mo>~</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>H</mml:mi>
                        <mml:mn>0</mml:mn>
                      </mml:msub>
                    </mml:mrow>
                  </mml:mover>
                  <mml:msub>
                    <mml:mi>F</mml:mi>
                    <mml:mrow>
                      <mml:mn>1</mml:mn>
                      <mml:mo>,</mml:mo>
                      <mml:mi>n</mml:mi>
                      <mml:mo>−</mml:mo>
                      <mml:mi>p</mml:mi>
                    </mml:mrow>
                  </mml:msub>
                </mml:mtd>
              </mml:mtr>
              <mml:mtr>
                <mml:mtd>
                  <mml:msub>
                    <mml:mi>T</mml:mi>
                    <mml:mi>j</mml:mi>
                  </mml:msub>
                  <mml:mo>:</mml:mo>
                  <mml:mo>=</mml:mo>
                  <mml:mfrac>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mover accent="true">
                          <mml:mi>β</mml:mi>
                          <mml:mo>^</mml:mo>
                        </mml:mover>
                        <mml:mi>j</mml:mi>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mrow>
                      <mml:mover accent="true">
                        <mml:mrow>
                          <mml:mi>s</mml:mi>
                          <mml:mi>e</mml:mi>
                        </mml:mrow>
                        <mml:mo stretchy="true">^</mml:mo>
                      </mml:mover>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mover accent="true">
                              <mml:mi>β</mml:mi>
                              <mml:mo>^</mml:mo>
                            </mml:mover>
                            <mml:mi>j</mml:mi>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:mfrac>
                  <mml:mover>
                    <mml:mo>~</mml:mo>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mi>H</mml:mi>
                        <mml:mn>0</mml:mn>
                      </mml:msub>
                    </mml:mrow>
                  </mml:mover>
                  <mml:msub>
                    <mml:mi>t</mml:mi>
                    <mml:mrow>
                      <mml:mi>n</mml:mi>
                      <mml:mo>−</mml:mo>
                      <mml:mi>p</mml:mi>
                    </mml:mrow>
                  </mml:msub>
                </mml:mtd>
              </mml:mtr>
            </mml:mtable>
          </mml:math>
        </disp-formula>
      </sec>
      <sec id="sec2dot8">
        <title>2.8. Analysis of Variance (ANOVA)</title>
        <p><bold>ANOVA</bold> is mostly used to summarize the hypothesis tests results in linear models in a tabular form. Given two models <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> M </mml:mi><mml:mrow><mml:mtext> reduced </mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> M </mml:mi><mml:mrow><mml:mtext> full </mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> which are nested: <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> M </mml:mi><mml:mrow><mml:mtext> reduced </mml:mtext></mml:mrow></mml:msub><mml:mo> ⊂ </mml:mo><mml:msub><mml:mi> M </mml:mi><mml:mrow><mml:mtext> full </mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> , that is, all covariates of the reduced model are contained in the full model, we define the <bold>ANOVA-test ratio</bold> for the comparison of <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> M </mml:mi><mml:mrow><mml:mtext> reduced </mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> M </mml:mi><mml:mrow><mml:mtext> full </mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> as follows</p>
        <disp-formula id="FD58">
          <label>(2.41)</label>
          <mml:math display="inline">
            <mml:mrow>
              <mml:mi>F</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mrow>
                              <mml:mtext>SSE</mml:mtext>
                            </mml:mrow>
                            <mml:mrow>
                              <mml:mtext>reduced</mml:mtext>
                            </mml:mrow>
                          </mml:msub>
                          <mml:mo>−</mml:mo>
                          <mml:msub>
                            <mml:mrow>
                              <mml:mtext>SSE</mml:mtext>
                            </mml:mrow>
                            <mml:mrow>
                              <mml:mtext>full</mml:mtext>
                            </mml:mrow>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mo>/</mml:mo>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:mi>n</mml:mi>
                          <mml:mo>−</mml:mo>
                          <mml:msub>
                            <mml:mi>p</mml:mi>
                            <mml:mrow>
                              <mml:mtext>full</mml:mtext>
                            </mml:mrow>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:mrow>
                </mml:mrow>
                <mml:mrow>
                  <mml:mrow>
                    <mml:mrow>
                      <mml:msub>
                        <mml:mrow>
                          <mml:mtext>SSE</mml:mtext>
                        </mml:mrow>
                        <mml:mrow>
                          <mml:mtext>reduced</mml:mtext>
                        </mml:mrow>
                      </mml:msub>
                    </mml:mrow>
                    <mml:mo>/</mml:mo>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>p</mml:mi>
                            <mml:mrow>
                              <mml:mtext>full</mml:mtext>
                            </mml:mrow>
                          </mml:msub>
                          <mml:mo>−</mml:mo>
                          <mml:msub>
                            <mml:mi>p</mml:mi>
                            <mml:mrow>
                              <mml:mtext>reduced</mml:mtext>
                            </mml:mrow>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                  </mml:mrow>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>~</mml:mo>
              <mml:msub>
                <mml:mi>F</mml:mi>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:msub>
                    <mml:mi>p</mml:mi>
                    <mml:mrow>
                      <mml:mtext>full</mml:mtext>
                    </mml:mrow>
                  </mml:msub>
                  <mml:mo>,</mml:mo>
                  <mml:msub>
                    <mml:mi>p</mml:mi>
                    <mml:mrow>
                      <mml:mtext>full</mml:mtext>
                    </mml:mrow>
                  </mml:msub>
                  <mml:mo>−</mml:mo>
                  <mml:msub>
                    <mml:mi>p</mml:mi>
                    <mml:mrow>
                      <mml:mtext>reduced</mml:mtext>
                    </mml:mrow>
                  </mml:msub>
                </mml:mrow>
              </mml:msub>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p><bold>Hypotheses</bold></p>
        <disp-formula id="FD59">
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>H</mml:mi>
                <mml:mn>0</mml:mn>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:mn>0</mml:mn>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>versus</mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:mtext>
                 
              </mml:mtext>
              <mml:msub>
                <mml:mi>H</mml:mi>
                <mml:mn>1</mml:mn>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>≠</mml:mo>
              <mml:mn>0</mml:mn>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <disp-formula id="FD60">
          <label>(2.41)</label>
          <mml:math>
            <mml:mi>F</mml:mi>
          </mml:math>
        </disp-formula>
        <p><bold>Rejection Rule:</bold> Reject <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> H </mml:mi><mml:mn> 0 </mml:mn></mml:msub></mml:mrow></mml:math></inline-formula> at level <inline-formula><mml:math><mml:mi> α </mml:mi></mml:math></inline-formula> , if <inline-formula><mml:math><mml:mrow><mml:mi> F </mml:mi><mml:mo> &gt; </mml:mo><mml:msub><mml:mi> F </mml:mi><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mn> 1 </mml:mn><mml:mo> − </mml:mo><mml:mi> α </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mo> , </mml:mo><mml:mi> n </mml:mi><mml:mo> − </mml:mo><mml:msub><mml:mi> p </mml:mi><mml:mrow><mml:mtext> full </mml:mtext></mml:mrow></mml:msub><mml:mo> , </mml:mo><mml:msub><mml:mi> p </mml:mi><mml:mrow><mml:mtext> full </mml:mtext></mml:mrow></mml:msub><mml:mo> − </mml:mo><mml:msub><mml:mi> p </mml:mi><mml:mrow><mml:mtext> reduced </mml:mtext></mml:mrow></mml:msub></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula></p>
      </sec>
      <sec id="sec2dot9">
        <title>2.9. Analysis of Residuals</title>
        <p>After estimating the model parameters, the credibility of the assumptions of linearity, normality of errors, and homoscedasticity for the given data can be assessed using residuals. It is therefore of importance to study the residual in order to examine in what extent our model assumptions may be violated. Therefore, taking a look at the patterns in the residual plots could help us understand if our model assumptions are violated or not. This is called analysis of residual. Residual plots can equally help us to decide whether to transform any of the covariates which we may want to include in the model or not. We will introduce three types of residuals for the <inline-formula><mml:math><mml:mrow><mml:mi> i </mml:mi><mml:mtext> th </mml:mtext></mml:mrow></mml:math></inline-formula> observation namely: <bold>raw residuals</bold>, <bold>internally</bold><bold>studentized residuals</bold> and <bold>externally studentized residuals</bold>.</p>
      </sec>
      <sec id="sec2dot10">
        <title>2.10. Raw Residuals Check</title>
        <p>The <bold>raw residual vector</bold><inline-formula><mml:math display="inline"><mml:mover accent="true"><mml:mi> ε </mml:mi><mml:mo> ^ </mml:mo></mml:mover></mml:math></inline-formula> was defined in (2.12), and its distribution in (2.22). Thus, we have that</p>
        <disp-formula id="FD61">
          <mml:math>
            <mml:mrow>
              <mml:mover accent="true">
                <mml:mi>ε</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
              <mml:mo>=</mml:mo>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mi>y</mml:mi>
              </mml:mstyle>
              <mml:mo>−</mml:mo>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mover accent="true">
                  <mml:mi>y</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
              </mml:mstyle>
              <mml:mo>=</mml:mo>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mi>Y</mml:mi>
              </mml:mstyle>
              <mml:mo>−</mml:mo>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mi>X</mml:mi>
              </mml:mstyle>
              <mml:mover accent="true">
                <mml:mi>β</mml:mi>
                <mml:mo>^</mml:mo>
              </mml:mover>
              <mml:mo>=</mml:mo>
              <mml:mstyle mathvariant="bold" mathsize="normal">
                <mml:mi>Y</mml:mi>
              </mml:mstyle>
              <mml:mo>−</mml:mo>
              <mml:munder>
                <mml:munder>
                  <mml:mrow>
                    <mml:mi>X</mml:mi>
                    <mml:msup>
                      <mml:mrow>
                        <mml:mrow>
                          <mml:mo>(</mml:mo>
                          <mml:mrow>
                            <mml:msup>
                              <mml:mi>X</mml:mi>
                              <mml:mo>′</mml:mo>
                            </mml:msup>
                            <mml:mi>X</mml:mi>
                          </mml:mrow>
                          <mml:mo>)</mml:mo>
                        </mml:mrow>
                      </mml:mrow>
                      <mml:mrow>
                        <mml:mo>−</mml:mo>
                        <mml:mn>1</mml:mn>
                      </mml:mrow>
                    </mml:msup>
                    <mml:msup>
                      <mml:mi>X</mml:mi>
                      <mml:mo>′</mml:mo>
                    </mml:msup>
                  </mml:mrow>
                  <mml:mo stretchy="true">︸</mml:mo>
                </mml:munder>
                <mml:mi>H</mml:mi>
              </mml:munder>
              <mml:mi>Y</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mi>Y</mml:mi>
              <mml:mo>−</mml:mo>
              <mml:mi>H</mml:mi>
              <mml:mi>Y</mml:mi>
              <mml:mo>=</mml:mo>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>I</mml:mi>
                    <mml:mi>n</mml:mi>
                  </mml:msub>
                  <mml:mo>−</mml:mo>
                  <mml:mi>H</mml:mi>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mi>Y</mml:mi>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>and</p>
        <disp-formula id="FD62">
          <label>(2.42)</label>
          <mml:math>
            <mml:mrow>
              <mml:mtext>Var</mml:mtext>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:msub>
                    <mml:mover accent="true">
                      <mml:mi>ε</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mi>i</mml:mi>
                  </mml:msub>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>=</mml:mo>
              <mml:msup>
                <mml:mi>σ</mml:mi>
                <mml:mn>2</mml:mn>
              </mml:msup>
              <mml:mrow>
                <mml:mo>(</mml:mo>
                <mml:mrow>
                  <mml:mn>1</mml:mn>
                  <mml:mo>−</mml:mo>
                  <mml:msub>
                    <mml:mi>h</mml:mi>
                    <mml:mrow>
                      <mml:mi>i</mml:mi>
                      <mml:mi>i</mml:mi>
                    </mml:mrow>
                  </mml:msub>
                </mml:mrow>
                <mml:mo>)</mml:mo>
              </mml:mrow>
              <mml:mo>,</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>where <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> h </mml:mi><mml:mrow><mml:mi> i </mml:mi><mml:mi> i </mml:mi></mml:mrow></mml:msub><mml:mo> = </mml:mo><mml:msubsup><mml:mi> x </mml:mi><mml:mi> i </mml:mi><mml:mo> ⊤ </mml:mo></mml:msubsup><mml:msup><mml:mrow><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msup><mml:mi> X </mml:mi><mml:mo> ⊤ </mml:mo></mml:msup><mml:mi> X </mml:mi></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow><mml:mrow><mml:mo> − </mml:mo><mml:mn> 1 </mml:mn></mml:mrow></mml:msup><mml:msub><mml:mi> x </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> is the <inline-formula><mml:math><mml:mi> i </mml:mi></mml:math></inline-formula> th diagonal element of the hat-matrix <inline-formula><mml:math><mml:mi> H </mml:mi></mml:math></inline-formula> defined in (2.21). Since <inline-formula><mml:math><mml:mrow><mml:mtext> Var </mml:mtext><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mover accent="true"><mml:mi> ε </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> still changes under the homoscedasticity condition, we need to standardize the raw residuals. This standardization gives rise to both <bold>internally studentized residuals</bold> and <bold>externally studentized residuals</bold>.</p>
        <p>Internally studentized residuals</p>
        <p>The internally studentized residuals are defined by</p>
        <disp-formula id="FD63">
          <label>(2.43)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>s</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:msub>
                    <mml:mover accent="true">
                      <mml:mi>ε</mml:mi>
                      <mml:mo>^</mml:mo>
                    </mml:mover>
                    <mml:mi>i</mml:mi>
                  </mml:msub>
                </mml:mrow>
                <mml:mrow>
                  <mml:msqrt>
                    <mml:mrow>
                      <mml:mn>1</mml:mn>
                      <mml:mo>−</mml:mo>
                      <mml:msub>
                        <mml:mi>h</mml:mi>
                        <mml:mrow>
                          <mml:mi>i</mml:mi>
                          <mml:mi>i</mml:mi>
                        </mml:mrow>
                      </mml:msub>
                    </mml:mrow>
                  </mml:msqrt>
                  <mml:mi>s</mml:mi>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>,</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Here, <inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> s </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> is the estimate of <inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> defined in (2.19). One can now analyze the variances and conclude whether the assumption of homoscedasticity is violated or not using the standardized residuals by plotting the standardized residuals versus the predicted values <inline-formula><mml:math><mml:mrow><mml:msub><mml:mover accent="true"><mml:mi> y </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> . However, the deficiency of the internally studentized residuals is that it is not robust against outliers since all data is used to estimate <inline-formula><mml:math><mml:mi> σ </mml:mi></mml:math></inline-formula> and Equation (2.43) is t-distributed. This leads to the definition of externally studentized residuals which is more robust against outliers.</p>
      </sec>
      <sec id="sec2dot11">
        <title>2.11. Externally Studentized Residuals or Jackknifed Residuals</title>
        <p>To solve the problem of the non robustness of the internally studentized residuals, we define a new model just like the model of (2.3), but it is based on “drop-one-observation” of the data, which contains all observations except the <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> i </mml:mi><mml:mrow><mml:mi> t </mml:mi><mml:mi> h </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> observation as</p>
        <disp-formula id="FD64">
          <label>(2.44)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>Y</mml:mi>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mi>i</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>X</mml:mi>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mi>i</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:msub>
                <mml:mi>β</mml:mi>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mi>i</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>+</mml:mo>
              <mml:msub>
                <mml:mi>ε</mml:mi>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mi>i</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>,</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Here, <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> X </mml:mi><mml:mrow><mml:mo> − </mml:mo><mml:mi> i </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> denotes the design matrix without the row <inline-formula><mml:math><mml:mrow><mml:mi> i </mml:mi><mml:mtext> th </mml:mtext></mml:mrow></mml:math></inline-formula> and <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mrow><mml:mo> − </mml:mo><mml:mi> i </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> is the response vector <inline-formula><mml:math><mml:mi> Y </mml:mi></mml:math></inline-formula> with the <inline-formula><mml:math><mml:mrow><mml:mi> i </mml:mi><mml:mtext> th </mml:mtext></mml:mrow></mml:math></inline-formula> observation <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> removed. We define the fitted values corresponding to the model given in (2.44) as</p>
        <disp-formula id="FD65">
          <label>(2.45)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mover accent="true">
                  <mml:mi>y</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mo>,</mml:mo>
                  <mml:mo>−</mml:mo>
                  <mml:mi>i</mml:mi>
                </mml:mrow>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:msubsup>
                <mml:mi>x</mml:mi>
                <mml:mi>i</mml:mi>
                <mml:mo>⊤</mml:mo>
              </mml:msubsup>
              <mml:msub>
                <mml:mover accent="true">
                  <mml:mi>β</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mi>i</mml:mi>
                </mml:mrow>
              </mml:msub>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>where <inline-formula><mml:math><mml:mrow><mml:msub><mml:mover accent="true"><mml:mi> β </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mrow><mml:mo> − </mml:mo><mml:mi> i </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> is the associated least squares estimates of <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> β </mml:mi><mml:mrow><mml:mo> − </mml:mo><mml:mi> i </mml:mi></mml:mrow></mml:msub></mml:mrow></mml:math></inline-formula> . We define the corresponding residual also called the <inline-formula><mml:math><mml:mrow><mml:mi> i </mml:mi><mml:mtext> th </mml:mtext></mml:mrow></mml:math></inline-formula><bold>predictive residual</bold> as</p>
        <disp-formula id="FD66">
          <label>(2.46)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mover accent="true">
                  <mml:mi>ε</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mo>,</mml:mo>
                  <mml:mo>−</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:msub>
                <mml:mi>y</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>−</mml:mo>
              <mml:msub>
                <mml:mover accent="true">
                  <mml:mi>y</mml:mi>
                  <mml:mo>^</mml:mo>
                </mml:mover>
                <mml:mrow>
                  <mml:mi>i</mml:mi>
                  <mml:mo>,</mml:mo>
                  <mml:mo>−</mml:mo>
                  <mml:mi>i</mml:mi>
                </mml:mrow>
              </mml:msub>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Using (2.46), we obtain the estimate <inline-formula><mml:math><mml:mrow><mml:msubsup><mml:mi> s </mml:mi><mml:mrow><mml:mo> − </mml:mo><mml:mi> i </mml:mi></mml:mrow><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> of the error variance <inline-formula><mml:math><mml:mrow><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> which does not include the <inline-formula><mml:math><mml:mrow><mml:mi> i </mml:mi><mml:mtext> th </mml:mtext></mml:mrow></mml:math></inline-formula> observation as</p>
        <disp-formula id="FD67">
          <label>(2.47)</label>
          <mml:math>
            <mml:mrow>
              <mml:msubsup>
                <mml:mi>s</mml:mi>
                <mml:mrow>
                  <mml:mo>−</mml:mo>
                  <mml:mi>i</mml:mi>
                </mml:mrow>
                <mml:mn>2</mml:mn>
              </mml:msubsup>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:msubsup>
                    <mml:mstyle mathsize="140%" displaystyle="true">
                      <mml:mo>∑</mml:mo>
                    </mml:mstyle>
                    <mml:mrow>
                      <mml:mi>j</mml:mi>
                      <mml:mo>=</mml:mo>
                      <mml:mn>1</mml:mn>
                      <mml:mo>,</mml:mo>
                      <mml:mi>j</mml:mi>
                      <mml:mo>≠</mml:mo>
                      <mml:mi>i</mml:mi>
                    </mml:mrow>
                    <mml:mi>n</mml:mi>
                  </mml:msubsup>
                  <mml:msup>
                    <mml:mrow>
                      <mml:mrow>
                        <mml:mo>(</mml:mo>
                        <mml:mrow>
                          <mml:msub>
                            <mml:mi>y</mml:mi>
                            <mml:mi>j</mml:mi>
                          </mml:msub>
                          <mml:mo>−</mml:mo>
                          <mml:msubsup>
                            <mml:mi>x</mml:mi>
                            <mml:mi>j</mml:mi>
                            <mml:mo>⊤</mml:mo>
                          </mml:msubsup>
                          <mml:msub>
                            <mml:mover accent="true">
                              <mml:mi>β</mml:mi>
                              <mml:mo>^</mml:mo>
                            </mml:mover>
                            <mml:mrow>
                              <mml:mo>−</mml:mo>
                              <mml:mi>i</mml:mi>
                            </mml:mrow>
                          </mml:msub>
                        </mml:mrow>
                        <mml:mo>)</mml:mo>
                      </mml:mrow>
                    </mml:mrow>
                    <mml:mn>2</mml:mn>
                  </mml:msup>
                </mml:mrow>
                <mml:mrow>
                  <mml:mi>n</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mi>p</mml:mi>
                  <mml:mo>−</mml:mo>
                  <mml:mn>1</mml:mn>
                </mml:mrow>
              </mml:mfrac>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>Finally, we now define the externally studentized residuals which is also called jackknifed residual. The externally studentized residuals <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> t </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> which is based on the “drop-one-observation” of the data, are defined as</p>
        <disp-formula id="FD68">
          <label>(2.48)</label>
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mi>t</mml:mi>
                <mml:mi>i</mml:mi>
              </mml:msub>
              <mml:mo>:</mml:mo>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mrow>
                  <mml:msub>
                    <mml:mi>r</mml:mi>
                    <mml:mrow>
                      <mml:mi>i</mml:mi>
                      <mml:mo>,</mml:mo>
                      <mml:mo>−</mml:mo>
                      <mml:mi>i</mml:mi>
                    </mml:mrow>
                  </mml:msub>
                </mml:mrow>
                <mml:mrow>
                  <mml:msqrt>
                    <mml:mrow>
                      <mml:mn>1</mml:mn>
                      <mml:mo>−</mml:mo>
                      <mml:msub>
                        <mml:mi>h</mml:mi>
                        <mml:mrow>
                          <mml:mi>i</mml:mi>
                          <mml:mi>i</mml:mi>
                        </mml:mrow>
                      </mml:msub>
                    </mml:mrow>
                  </mml:msqrt>
                  <mml:msub>
                    <mml:mi>s</mml:mi>
                    <mml:mrow>
                      <mml:mo>−</mml:mo>
                      <mml:mi>i</mml:mi>
                    </mml:mrow>
                  </mml:msub>
                </mml:mrow>
              </mml:mfrac>
            </mml:mrow>
          </mml:math>
        </disp-formula>
      </sec>
      <sec id="sec2dot12">
        <title>2.12. Statistical Checks for the Plausibility of the Linear Model Assumptions</title>
        <p>2.12.1. Linearity</p>
        <p>The check we are going to use is the residuals versus the fitted values plot. If this plot has no trend, then we assume the linearity assumption as plausible [<xref ref-type="bibr" rid="B23">23</xref>].</p>
        <p>2.12.2. Homoscedasticity</p>
        <p>We are interested in checking if <inline-formula><mml:math><mml:mrow><mml:mtext> Var </mml:mtext><mml:mrow><mml:mo> [ </mml:mo><mml:mrow><mml:msub><mml:mi> Y </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ] </mml:mo></mml:mrow><mml:mo> = </mml:mo><mml:mtext> Var </mml:mtext><mml:mrow><mml:mo> [ </mml:mo><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub></mml:mrow><mml:mo> ] </mml:mo></mml:mrow><mml:mo> = </mml:mo><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup></mml:mrow></mml:math></inline-formula> holds. To check this, we use again the standardized residual versus the residual plots. If the standardized residuals are not spread equally along the range of the fitted values, then we interpret the homoscedasticity assumption as not plausible, see [<xref ref-type="bibr" rid="B24">24</xref>].</p>
        <p>2.12.3. Independence</p>
        <p>To check if <inline-formula><mml:math><mml:mrow><mml:mtext> Cov </mml:mtext><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> j </mml:mi></mml:msub><mml:mo> , </mml:mo><mml:msub><mml:msup><mml:mi> ε </mml:mi><mml:mo> ′ </mml:mo></mml:msup><mml:mi> j </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow><mml:mo> = </mml:mo><mml:mi> ρ </mml:mi><mml:mo> = </mml:mo><mml:mn> 0 </mml:mn></mml:mrow></mml:math></inline-formula> holds, we plot the residuals versus the covariates to see if the residuals are randomly and symmetrically distributed around zero. If this is true, we assume that the independence assumption is plausible [<xref ref-type="bibr" rid="B23">23</xref>].</p>
        <p>2.12.4. Normality</p>
        <p>To check for <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> ε </mml:mi><mml:mi> i </mml:mi></mml:msub><mml:mo> ~ </mml:mo><mml:msub><mml:mi> N </mml:mi><mml:mi> n </mml:mi></mml:msub><mml:mrow><mml:mo> ( </mml:mo><mml:mrow><mml:mn> 0 </mml:mn><mml:mo> , </mml:mo><mml:msup><mml:mi> σ </mml:mi><mml:mn> 2 </mml:mn></mml:msup><mml:msub><mml:mstyle mathvariant="bold" mathsize="normal"><mml:mi> I </mml:mi></mml:mstyle><mml:mi> n </mml:mi></mml:msub></mml:mrow><mml:mo> ) </mml:mo></mml:mrow></mml:mrow></mml:math></inline-formula> , we use the Quantile versus Quantile plot (QQPlot). If we do not have a straight line on the QQ plots of our variable versus the theoretical normal quantile, then we assume that the normality assumption is not plausible [<xref ref-type="bibr" rid="B25">25</xref>].</p>
        <p>2.12.5. Multicollinearity</p>
        <p>To check for multicollinearity among explanatory variables <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> X </mml:mi><mml:mn> 1 </mml:mn></mml:msub><mml:mo> , </mml:mo><mml:msub><mml:mi> X </mml:mi><mml:mn> 2 </mml:mn></mml:msub><mml:mo> , </mml:mo><mml:mo> ⋯ </mml:mo><mml:mo> , </mml:mo><mml:msub><mml:mi> X </mml:mi><mml:mi> p </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> , we assess whether there is a strong linear relationship between them, which can inflate the standard errors of the estimated coefficients <inline-formula><mml:math><mml:mrow><mml:msub><mml:mover accent="true"><mml:mi> β </mml:mi><mml:mo> ^ </mml:mo></mml:mover><mml:mi> j </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> . This is commonly evaluated using the Variance Inflation Factor (VIF), defined as </p>
        <disp-formula id="FD69">
          <mml:math>
            <mml:mrow>
              <mml:msub>
                <mml:mrow>
                  <mml:mtext>VIF</mml:mtext>
                </mml:mrow>
                <mml:mi>j</mml:mi>
              </mml:msub>
              <mml:mo>=</mml:mo>
              <mml:mfrac>
                <mml:mn>1</mml:mn>
                <mml:mrow>
                  <mml:mn>1</mml:mn>
                  <mml:mo>−</mml:mo>
                  <mml:msubsup>
                    <mml:mi>R</mml:mi>
                    <mml:mi>j</mml:mi>
                    <mml:mn>2</mml:mn>
                  </mml:msubsup>
                </mml:mrow>
              </mml:mfrac>
              <mml:mo>,</mml:mo>
            </mml:mrow>
          </mml:math>
        </disp-formula>
        <p>where <inline-formula><mml:math><mml:mrow><mml:msubsup><mml:mi> R </mml:mi><mml:mi> j </mml:mi><mml:mn> 2 </mml:mn></mml:msubsup></mml:mrow></mml:math></inline-formula> is the coefficient of determination from regressing <inline-formula><mml:math><mml:mrow><mml:msub><mml:mi> X </mml:mi><mml:mi> j </mml:mi></mml:msub></mml:mrow></mml:math></inline-formula> on the remaining predictors. A <inline-formula><mml:math><mml:mrow><mml:msub><mml:mrow><mml:mtext> VIF </mml:mtext></mml:mrow><mml:mi> j </mml:mi></mml:msub><mml:mo> &gt; </mml:mo><mml:mn> 5 </mml:mn></mml:mrow></mml:math></inline-formula> suggests a potentially problematic level of multicollinearity. Variables exceeding this threshold must be examined and removed if necessary to enhance model stability and interpretability. [<xref ref-type="bibr" rid="B26">26</xref>][<xref ref-type="bibr" rid="B27">27</xref>]. </p>
      </sec>
    </sec>
    <sec id="sec3">
      <title>3. Data Description and Management</title>
      <p>The data set contains 2,651,885 observations and 59 attributes from 2007 to 2020. The data has both quantitative and qualitative covariates with <bold>rent per square meter (rent_sqm)</bold> as the response variable. We focus on the most relevant 31 variables such as “the additional cost”, “heat cost”, “construction year”, etc. The quantitative covariates are summarized as follows: Min = Minimum, 25% = 1st quartile, 50% = Median, <inline-formula><mml:math><mml:mover accent="true"><mml:mi> X </mml:mi><mml:mo> ¯ </mml:mo></mml:mover></mml:math></inline-formula> = Mean, 75% = 3rd quartile, Max = Maximum and Not available = NA. On the other hand, the qualitative covariates are summarized with their respective categories. Note that costs are expressed in EUR and rounded to two decimal digits and the following data summaries in <bold>Table 1</bold> and <bold>Table 2</bold> represent the whole data set.</p>
      <p><bold>Table 1</bold><bold>.</bold> Description of quantitative variables.</p>
      <table-wrap id="tbl1">
        <label>Table 1</label>
        <table>
          <tbody>
            <tr>
              <td>
                <bold>Variables</bold>
              </td>
              <td>
                <bold>Description</bold>
              </td>
            </tr>
            <tr>
              <td>
                <bold>rent_sqm</bold>
              </td>
              <td>
                Calculated rent per sqm by rent and size of apartment.Min = 3, 25% = 7, 50% = 9,
                <inline-formula>
                  <mml:math>
                    <mml:mover accent="true">
                      <mml:mi>X</mml:mi>
                      <mml:mo>¯</mml:mo>
                    </mml:mover>
                  </mml:math>
                </inline-formula>
                = 9.39, 75% = 12, Max = 28
              </td>
            </tr>
            <tr>
              <td>
                <bold>addcost</bold>
              </td>
              <td>
                The extra monthly costs that need to be paid for other bills on top of the base rent excluding electricity.Min = 0, 25% = 100, 50% = 140,
                <inline-formula>
                  <mml:math>
                    <mml:mover accent="true">
                      <mml:mi>X</mml:mi>
                      <mml:mo>¯</mml:mo>
                    </mml:mover>
                  </mml:math>
                </inline-formula>
                = 153.8, 75% = 196, Max = 599, NA = 97186
              </td>
            </tr>
            <tr>
              <td>
                <bold>heatcost</bold>
              </td>
              <td>
                The monthly heating cost.Min = 0, 25% = 50, 50% = 70,
                <inline-formula>
                  <mml:math>
                    <mml:mover accent="true">
                      <mml:mi>X</mml:mi>
                      <mml:mo>¯</mml:mo>
                    </mml:mover>
                  </mml:math>
                </inline-formula>
                = 75.2, 75% = 94, Max = 300, NA = 898984
              </td>
            </tr>
            <tr>
              <td>
                <bold>conyear</bold>
              </td>
              <td>
                The year in which the object was builtMin = 1851, 25% = 1930, 50% = 1970,
                <inline-formula>
                  <mml:math>
                    <mml:mover accent="true">
                      <mml:mi>X</mml:mi>
                      <mml:mo>¯</mml:mo>
                    </mml:mover>
                  </mml:math>
                </inline-formula>
                = 1964, 75% = 1996, Max = 2020, NA = 447372
              </td>
            </tr>
            <tr>
              <td>
                <bold>lmod</bold>
              </td>
              <td>
                The year of the last modernizationMin=1981, 25% =2009, 50%=2012,
                <inline-formula>
                  <mml:math>
                    <mml:mover accent="true">
                      <mml:mi>X</mml:mi>
                      <mml:mo>¯</mml:mo>
                    </mml:mover>
                  </mml:math>
                </inline-formula>
                =2011, 75%=2015, Max=2018, NA=1113056
              </td>
            </tr>
            <tr>
              <td>
                <bold>lspace</bold>
              </td>
              <td>
                Living space in square metersMin = 19, 25% = 53, 50% = 68,
                <inline-formula>
                  <mml:math>
                    <mml:mover accent="true">
                      <mml:mi>X</mml:mi>
                      <mml:mo>¯</mml:mo>
                    </mml:mover>
                  </mml:math>
                </inline-formula>
                = 71.15, 75% = 85, Max = 165
              </td>
            </tr>
            <tr>
              <td>
                <bold>fspace</bold>
              </td>
              <td>
                The usable floor space in square metersMin = 0, 25% = 16, 50% = 57,
                <inline-formula>
                  <mml:math>
                    <mml:mover accent="true">
                      <mml:mi>X</mml:mi>
                      <mml:mo>¯</mml:mo>
                    </mml:mover>
                  </mml:math>
                </inline-formula>
                = 54.8, 75% = 79, Max = 250, NA = 1053922
              </td>
            </tr>
            <tr>
              <td>
                <bold>energycon</bold>
              </td>
              <td>
                The energy consumption per year and square meter in kWhMin = 0, 25% = 82, 50% = 117,
                <inline-formula>
                  <mml:math>
                    <mml:mover accent="true">
                      <mml:mi>X</mml:mi>
                      <mml:mo>¯</mml:mo>
                    </mml:mover>
                  </mml:math>
                </inline-formula>
                = 120.4, 75% = 152, Max = 350, NA = 977343
              </td>
            </tr>
            <tr>
              <td>
                <bold>adlength</bold>
              </td>
              <td>
                The difference between edat and adat.Min = 0, 25% = 0, 50% = 0,
                <inline-formula>
                  <mml:math>
                    <mml:mover accent="true">
                      <mml:mi>X</mml:mi>
                      <mml:mo>¯</mml:mo>
                    </mml:mover>
                  </mml:math>
                </inline-formula>
                = 0.71, 75% = 1, Max = 20
              </td>
            </tr>
          </tbody>
        </table>
      </table-wrap>
      <p>The descriptive statistics reveal notable variation across key quantitative variables relevant to rent modeling. Rent per square meter varies significantly, indicating differences in property value influenced by factors such as location, condition, and amenities. Additional cost (adcost) and heating costs (heatcost) also show a wide spread, with some properties incurring substantially higher energy costs, possibly due to inefficiency. The construction (conyear) and modernization years (lmod) extend across several decades, which capture both historic and newly renovated buildings. Living (lspace) and floor space (fspace) differ widely, which shows a mix of compact and spacious apartments in the dataset. Energy consumption (energycon) values highlight a range of efficiency levels, which likely impact rental prices. The duration of the advertisement ranges from zero to several weeks, suggesting varying market demand and listing strategies. These differences confirm the complexity of accurately predicting rental prices. As a result, the study proposes the use of a log-normal model incorporating nonlinear covariates to better capture the heterogeneity and improve prediction accuracy in rent data.</p>
      <p><bold>Table 2</bold><bold>.</bold> Description of qualitative variables.</p>
      <table-wrap id="tbl2">
        <label>Table 2</label>
        <table>
          <tbody>
            <tr>
              <td>
                <bold>Variables</bold>
              </td>
              <td>
                <bold>Description</bold>
              </td>
            </tr>
            <tr>
              <td>
                <bold>afloor</bold>
              </td>
              <td>
                Apartment-specific variable indicates the floor the apartment is located in.
                <bold>afloorg</bold>
                is used to group afloor as follows:(−1) - 0, 1 - 2, 3 - 9, &gt;9, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>bfloor</bold>
              </td>
              <td>
                This indicates the number of floors in the building.
                <bold>bfloorg</bold>
                is used to group bfloor as follows:0 - 2, 3, 4, 5, &gt;5, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>nrooms</bold>
              </td>
              <td>
                Number of rooms, excluding kitchen, bath or corridors.
                <bold>nroomsg</bold>
                is used to group nrooms as follows:1 - 1.5, 2 - 2.5, 3 - 3.5, &gt;3.5, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>nbed</bold>
              </td>
              <td>
                Number of bedrooms of the property.
                <bold>nbedg</bold>
                is used to group nbed as follows:0 - 1, 2, &gt;2, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>nbath</bold>
              </td>
              <td>
                Number of bathrooms of the property
                <bold>nbathg</bold>
                is used to group nbath as follows:0 - 1, &gt;1, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>elevator</bold>
              </td>
              <td>
                This variable indicates if a property has an elevator.
                <bold>elevatorg</bold>
                is used to group elevator as follows:Yes, No, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>balcony</bold>
              </td>
              <td>
                This variable indicates the presence of a balcony.
                <bold>balconyg</bold>
                is used to group balcony as follows:Yes, No, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>kitchen</bold>
              </td>
              <td>
                This variable indicates the presence of a fitted kitchen.
                <bold>kitcheng</bold>
                is used to group kitchen as follows:Yes, No, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>eww</bold>
              </td>
              <td>
                if the warm water consumption was included in the energy consumption value calculation.
                <bold>ewwg</bold>
                variable is used to group eww as follows:Yes, No, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>subh</bold>
              </td>
              <td>
                It indicates if a certificate of eligibility to public housing is needed to rent the apartment.
                <bold>subhg</bold>
                is used to group subh as follows:Yes, No, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>gtoilet</bold>
              </td>
              <td>
                This indicates the presence of a guest toilet.
                <bold>gtoiletg</bold>
                is used to group gtoilet as follows:Yes, No, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>garden</bold>
              </td>
              <td>
                This indicates the presence of a garden.
                <bold>gardeng</bold>
                is used to group garden as follows:Yes, No, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>hww</bold>
              </td>
              <td>
                if the warm water consumption was included in the heating cost value calculation.
                <bold>hwwg</bold>
                is used to group hww as follows:Yes, No, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>cellar</bold>
              </td>
              <td>
                This indicates if an property has a cellar room
                <bold>cellarg</bold>
                is used to group cellar as follows:Yes, No, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>parking</bold>
              </td>
              <td>
                This variable indicates whether a parking space is available.
                <bold>parking</bold>
                is used to group parking as follows:Yes, No, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>furnishing</bold>
              </td>
              <td>
                This is an artificial category number indicating the facilities of the property.
                <bold>furnishingg</bold>
                is used to group furnishing as follows:(Upscale, Luxury) = Upscale, (Normal, Simple) = Normal, no specification = NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>eeff</bold>
              </td>
              <td>
                This indicates the energy efficiency rating.
                <bold>eeffg</bold>
                is used to group eeff as follows:(A, APLUS, B) = High, (C, D, E) = Medium, (F, G, H) = Low, no specification = NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>ecert</bold>
              </td>
              <td>
                The type of energy performance certificate that the customer has for the object
                <bold>ecertg</bold>
                is used to group ecert as follows:Final energy demand = building, Energy consumption characteristic = consumption, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>pets:</bold>
              </td>
              <td>
                This indicates whether pets are allowed in the property.
                <bold>petsg</bold>
                is used to group pets as follows:(Yes, by Agreement) = Yes, No = No, no specification = NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>heat</bold>
              </td>
              <td>
                This indicates the type of heating.
                <bold>heatg</bold>
                is used to group heat as follows:Central Heating (CH), Non Central Heating (NCH), NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>apcat</bold>
              </td>
              <td>
                This variable categorizes the property into different classes.
                <bold>apcatg</bold>
                is used to group apcat as follows:(Penthouse, Maisonette, Attic Apartment) = top, Apartment = middle,(Mezzanine, Terrace apartment) = low, Basement = below, NA
              </td>
            </tr>
            <tr>
              <td>
                <bold>pcon</bold>
              </td>
              <td>
                This indicates the condition of a property.
                <bold>pcong</bold>
                is used to group pcon as follows:(First occupancy, First occupancy after renovation) = First, (Maintained, as good as new)= Mt, In need of renovation = Inr, (Modernized, Renovated, Fully Renovated) = Md, NA
              </td>
            </tr>
          </tbody>
        </table>
      </table-wrap>
      <sec id="sec3dot1">
        <title>3.1. Data Sets</title>
        <p>We split the date set described in <bold>T</bold><bold>able 1</bold> and <bold>Table 2</bold> into two sub data sets: Berlin 2015 and Berlin 2019. The number of rental properties contained in each data set is given in <bold>Table 3</bold>. The summaries of the response variable and the quantitative covariates are given in <bold>Table 4</bold>, while in <bold>Table 5</bold>, we give the summary of each qualitative variable followed by their percentage.</p>
        <p><bold>Table 3</bold><bold>.</bold> Number of rental properties in the two data sets.</p>
        <table-wrap id="tbl3">
          <label>Table 3</label>
          <table>
            <tbody>
              <tr>
                <td>
                  <bold>city</bold>
                </td>
                <td>
                  <bold>2015</bold>
                </td>
                <td>
                  <bold>2019</bold>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>Berlin</bold>
                </td>
                <td>49,724</td>
                <td>49,536</td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
        <p><bold>Table 4</bold> Univariate data summaries of quantitative covariates: first row = Berlin 2015, second row = Berlin 2019.</p>
        <table-wrap id="tbl4">
          <label>Table 4</label>
          <table>
            <tbody>
              <tr>
                <td colspan="8">
                  <bold>Summary</bold>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>Variable</bold>
                </td>
                <td>Min</td>
                <td>25%</td>
                <td>50%</td>
                <td>Mean</td>
                <td>75%</td>
                <td>Max</td>
                <td>NA</td>
              </tr>
              <tr>
                <td>
                  <bold>rent_sqm 2015</bold>
                </td>
                <td>3.00</td>
                <td>7.00</td>
                <td>8.00</td>
                <td>8.66</td>
                <td>10.00</td>
                <td>17.00</td>
                <td>0</td>
              </tr>
              <tr>
                <td>
                  <bold>rent_sqm 2019</bold>
                </td>
                <td>4.00</td>
                <td>8.00</td>
                <td>11.00</td>
                <td>11.62</td>
                <td>14.00</td>
                <td>27.00</td>
                <td>0</td>
              </tr>
              <tr>
                <td>
                  <bold>addcost</bold>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>0.00</td>
                <td>97.00</td>
                <td>140.00</td>
                <td>154.24</td>
                <td>195.00</td>
                <td>592.00</td>
                <td>2021</td>
              </tr>
              <tr>
                <td>
                </td>
                <td>0.00</td>
                <td>100.00</td>
                <td>141.00</td>
                <td>157.21</td>
                <td>200.00</td>
                <td>599.00</td>
                <td>1070</td>
              </tr>
              <tr>
                <td>
                  <bold>heatcost</bold>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>0.00</td>
                <td>54.00</td>
                <td>75.00</td>
                <td>81.18</td>
                <td>100.00</td>
                <td>300.00</td>
                <td>21126</td>
              </tr>
              <tr>
                <td>
                </td>
                <td>0.00</td>
                <td>49.00</td>
                <td>65.00</td>
                <td>71.44</td>
                <td>90.00</td>
                <td>300.00</td>
                <td>19077</td>
              </tr>
              <tr>
                <td>
                  <bold>conyear</bold>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>1851</td>
                <td>1910</td>
                <td>1961</td>
                <td>1954</td>
                <td>1992</td>
                <td>2016</td>
                <td>7647</td>
              </tr>
              <tr>
                <td>
                </td>
                <td>1853</td>
                <td>1918</td>
                <td>1972</td>
                <td>1964</td>
                <td>1998</td>
                <td>2020</td>
                <td>6437</td>
              </tr>
              <tr>
                <td>
                  <bold>lmod</bold>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>1983</td>
                <td>2012</td>
                <td>2014</td>
                <td>2012</td>
                <td>2015</td>
                <td>2016</td>
                <td>34384</td>
              </tr>
              <tr>
                <td>
                </td>
                <td>1982</td>
                <td>2013</td>
                <td>2016</td>
                <td>2014</td>
                <td>2018</td>
                <td>2018</td>
                <td>42152</td>
              </tr>
              <tr>
                <td>
                  <bold>lspace</bold>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>23.00</td>
                <td>55.00</td>
                <td>69.00</td>
                <td>73.80</td>
                <td>89.00</td>
                <td>161.00</td>
                <td>0</td>
              </tr>
              <tr>
                <td>
                </td>
                <td>19.00</td>
                <td>52.00</td>
                <td>65.00</td>
                <td>68.64</td>
                <td>82.00</td>
                <td>158.00</td>
                <td>0</td>
              </tr>
              <tr>
                <td>
                  <bold>fspace</bold>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>0.00</td>
                <td>50.00</td>
                <td>67.00</td>
                <td>69.51</td>
                <td>89.00</td>
                <td>220.00</td>
                <td>35475</td>
              </tr>
              <tr>
                <td>
                </td>
                <td>0.00</td>
                <td>48.00</td>
                <td>65.00</td>
                <td>67.69</td>
                <td>87.00</td>
                <td>250.00</td>
                <td>41068</td>
              </tr>
              <tr>
                <td>
                  <bold>energycon</bold>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>0.00</td>
                <td>88.00</td>
                <td>117.00</td>
                <td>121.47</td>
                <td>149.00</td>
                <td>350.00</td>
                <td>16665</td>
              </tr>
              <tr>
                <td>
                </td>
                <td>0.00</td>
                <td>74.00</td>
                <td>105.00</td>
                <td>110.69</td>
                <td>140.00</td>
                <td>347.00</td>
                <td>13863</td>
              </tr>
              <tr>
                <td>
                  <bold>adlength</bold>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>0.00</td>
                <td>0.00</td>
                <td>0.00</td>
                <td>0.71</td>
                <td>1.00</td>
                <td>20.00</td>
                <td>0</td>
              </tr>
              <tr>
                <td>
                </td>
                <td>0.00</td>
                <td>0.00</td>
                <td>0.00</td>
                <td>0.49</td>
                <td>1.00</td>
                <td>20.00</td>
                <td>0</td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
        <p><bold>Table 5.</bold> Univariate data summaries of qualitative covariates: first row = Berlin 2015, second row = Berlin 2019.</p>
        <table-wrap id="tbl5">
          <label>Table 5</label>
          <table>
            <tbody>
              <tr>
                <td>
                  <bold>Variable</bold>
                </td>
                <td colspan="6">Categories</td>
              </tr>
              <tr>
                <td>
                  <bold>afloorg</bold>
                </td>
                <td>(−1) - 0</td>
                <td>1 - 2</td>
                <td>3 - 9</td>
                <td>&gt;9</td>
                <td>NA</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>4174 (0.08%)</td>
                <td>18918 (0.38%)</td>
                <td>19719 (0.4%)</td>
                <td>868 (0.02%)</td>
                <td>6045 (0.12%)</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>4320 (0.09%)</td>
                <td>18759 (0.38%)</td>
                <td>21016 (0.42%)</td>
                <td>1020 (0.02%)</td>
                <td>4421 (0.09%)</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>bfloorg</bold>
                </td>
                <td>0 - 2</td>
                <td>3</td>
                <td>4</td>
                <td>5</td>
                <td>&gt;5</td>
                <td>NA</td>
              </tr>
              <tr>
                <td>
                </td>
                <td>3222 (0.06%)</td>
                <td>4938 (0.1%)</td>
                <td>10313 (0.21%)</td>
                <td>8974 (0.18%)</td>
                <td>8030 (0.16%)</td>
                <td>14247 (0.29%)</td>
              </tr>
              <tr>
                <td>
                </td>
                <td>2659 (0.05%)</td>
                <td>4426 (0.09%)</td>
                <td>8838 (0.18%)</td>
                <td>9291 (0.19%)</td>
                <td>8698 (0.18%)</td>
                <td>15624 (0.32%)</td>
              </tr>
              <tr>
                <td>
                  <bold>nroomsg</bold>
                </td>
                <td>1 - 1.5</td>
                <td>2 - 2.5</td>
                <td>3 - 3.5</td>
                <td>&gt;3.5</td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>7283 (0.15%)</td>
                <td>20391 (0.41%)</td>
                <td>15612 (0.31%)</td>
                <td>6438 (0.13%)</td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>8959 (0.18%)</td>
                <td>21660 (0.44%)</td>
                <td>14465 (0.29%)</td>
                <td>4452 (0.09%)</td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>nbedg</bold>
                </td>
                <td>0 - 1</td>
                <td>2</td>
                <td>&gt;2</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>14796 (0.3%)</td>
                <td>8465 (0.17%)</td>
                <td>3710 (0.07%)</td>
                <td>22753 (0.46%)</td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>10951 (0.22%)</td>
                <td>6107 (0.12%)</td>
                <td>2204 (0.04%)</td>
                <td>30274 (0.61%)</td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>nbathg:</bold>
                </td>
                <td>0-1</td>
                <td>&gt;1</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>28941 (0.58%)</td>
                <td>3681 (0.07%)</td>
                <td>17102 (0.34%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>25237 (0.51%)</td>
                <td>3151 (0.06%)</td>
                <td>21148 (0.43%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>elevator:</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>17145 (0.34%)</td>
                <td>30648 (0.62%)</td>
                <td>1931 (0.04%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>21019 (0.42%)</td>
                <td>28517 (0.58%)</td>
                <td>0 (0%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>balconyg:</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>33799 (0.68%)</td>
                <td>15207 (0.31%)</td>
                <td>718 (0.01%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>35112 (0.71%)</td>
                <td>14424 (0.29%)</td>
                <td>0 (0%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>kitcheng:</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>23510 (0.47%)</td>
                <td>24111 (0.48%)</td>
                <td>2103 (0.04%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>23390 (0.47%)</td>
                <td>26146 (0.53%)</td>
                <td>0 (0%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>ewwg:</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>12923 (0.26%)</td>
                <td>36042 (0.72%)</td>
                <td>759 (0.02%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>4701 (0.09%)</td>
                <td>3449 (0.07%)</td>
                <td>41386 (0.84%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>subhg:</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>1123 (0.02%)</td>
                <td>43181 (0.87%)</td>
                <td>5420 (0.11%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>3550 (0.07%)</td>
                <td>45986 (0.93%)</td>
                <td>0 (0%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>gtoiletg:</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>6404 (0.13%)</td>
                <td>43237 (0.87%)</td>
                <td>83 (0.00%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>4995 (0.10%)</td>
                <td>44541 (0.90%)</td>
                <td>0 (0%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>gardeng</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>6740 (0.14%)</td>
                <td>39412 (0.79%)</td>
                <td>3572 (0.07%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>5250 (0.11%)</td>
                <td>44286 (0.89%)</td>
                <td>0 (0%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>hwwg:</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>23355 (0.47%)</td>
                <td>23785 (0.48%)</td>
                <td>2584 (0.05%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>24338 (0.49%)</td>
                <td>24114 (0.49%)</td>
                <td>1084 (0.02%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>cellarg:</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>27227 (0.55%)</td>
                <td>22194 (0.45%)</td>
                <td>303 (0.01%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>24999 (0.50%)</td>
                <td>24537 (0.50%)</td>
                <td>0 (0%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>parkingg:</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>113 (0.00%)</td>
                <td>2 (0.00%)</td>
                <td>49609 (1.00%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>8133 (0.16%)</td>
                <td>486 (0.01%)</td>
                <td>40917 (0.83%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>furnishingg:</bold>
                </td>
                <td>Upscale</td>
                <td>Normal</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>15678 (0.32%)</td>
                <td>11993 (0.24%)</td>
                <td>22053 (0.44%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>14417 (0.29%)</td>
                <td>8664 (0.17%)</td>
                <td>26455 (0.53%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>eeffg:</bold>
                </td>
                <td>High</td>
                <td>Medium</td>
                <td>Low</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>796 (0.02%)</td>
                <td>1084 (0.02%)</td>
                <td>256 (0.01%)</td>
                <td>47588 (0.96%)</td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>1434 (0.03%)</td>
                <td>2039 (0.04%)</td>
                <td>348 (0.01%)</td>
                <td>45715 (0.92%)</td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>ecertg:</bold>
                </td>
                <td>building</td>
                <td>consumption</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>11362 (0.23%)</td>
                <td>22607 (0.45%)</td>
                <td>15755 (0.32%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>15767 (0.32%)</td>
                <td>20771 (0.42%)</td>
                <td>12998 (0.26%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>petsg:</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>1603 (0.03%)</td>
                <td>3479 (0.07%)</td>
                <td>44642 (0.90%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>16251 (0.33%)</td>
                <td>5250 (0.11%)</td>
                <td>28035 (0.57%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>heatg:</bold>
                </td>
                <td>CH</td>
                <td>NCH</td>
                <td>NA</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>24827 (0.50%)</td>
                <td>14874 (0.30%)</td>
                <td>10023 (0.20%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>17205 (0.35%)</td>
                <td>20432 (0.41%)</td>
                <td>11899 (0.24%)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>apcatg:</bold>
                </td>
                <td>top</td>
                <td>middle</td>
                <td>low</td>
                <td>below</td>
                <td>NA</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>4884 (0.10%)</td>
                <td>33758 (0.68%)</td>
                <td>1444 (0.03%)</td>
                <td>188 (0.00%)</td>
                <td>9450 (0.19%)</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>4372 (0.09%)</td>
                <td>34608 (0.70%)</td>
                <td>2289 (0.05%)</td>
                <td>389 (0.01%)</td>
                <td>7878 (0.16%)</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>pcong:</bold>
                </td>
                <td>First</td>
                <td>Mt</td>
                <td>Md</td>
                <td>Inr</td>
                <td>NA</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>9013 (0.18%)</td>
                <td>12680 (0.26%)</td>
                <td>12731 (0.26%)</td>
                <td>362 (0.01%)</td>
                <td>14938 (0.30%)</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>9409 (0.19%)</td>
                <td>11535 (0.23%)</td>
                <td>11289 (0.23%)</td>
                <td>364 (0.01%)</td>
                <td>16939 (0.34%)</td>
                <td>
                </td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
      </sec>
      <sec id="sec3dot2">
        <title>3.2. Exploratory Data Analysis (EDA)</title>
        <p>We can observe the superiority of the log-normal distribution over the normal distribution, as it provides a better fit to the rent_sqm data in Berlin for both 2015 and 2019, as shown in <xref ref-type="fig" rid="fig1">Figure 1</xref> and <xref ref-type="fig" rid="fig2">Figure 2</xref>. This requires further statistical investigation.</p>
        <fig id="fig1">
          <label>Figure 1</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId643.jpeg?20260129025244" />
        </fig>
        <p><bold>Figure 1</bold><bold>.</bold> Normal and Log-Normal fittings of <bold>rent_sqm for Berlin 2015</bold><bold>.</bold></p>
        <fig id="fig2">
          <label>Figure 2</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId644.jpeg?20260129025244" />
        </fig>
        <p><bold>Figure 2</bold><bold>.</bold> Normal and Log-Normal fittings of <bold>rent_sqm for Berlin 2019</bold><bold>.</bold></p>
        <fig id="fig3">
          <label>Figure 3</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId645.jpeg?20260129025243" />
        </fig>
        <p><bold>Figure 3.</bold> Histograms of response variable (<bold>rent_sqm</bold>): first column = <bold>counts</bold>, second column = <bold>percentage</bold><bold>.</bold></p>
        <p>We also observe a significant shift in the histogram plots of rent_sqm for counts and percentages, as rent increased from below 20 in 2015 to above 20 in 2019.</p>
      </sec>
      <sec id="sec3dot3">
        <title>3.3. Interpretation of Main Effects for the Quantitative and Qualitative Covariates</title>
        <p>Looking at the above transformations on <bold>rent_sqm</bold> in <bold>Table 6</bold>, we may likely go with the log transformation for linear and non-linear covariates based on its suitability with respect to constant variance discussed in Section 2 and the effects of the covariates on <bold>rent_sqm</bold>.</p>
        <fig id="fig4">
          <label>Figure 4</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId646.jpeg?20260129025245" />
        </fig>
        <fig id="fig5">
          <label>Figure 5</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId647.jpeg?20260129025246" />
        </fig>
        <fig id="fig6">
          <label>Figure 6</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId648.jpeg?20260129025245" />
        </fig>
        <fig id="fig7">
          <label>Figure 7</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId649.jpeg?20260129025246" />
        </fig>
        <fig id="fig8">
          <label>Figure 8</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId650.jpeg?20260129025245" />
        </fig>
        <fig id="fig9">
          <label>Figure 9</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId651.jpeg?20260129025245" />
        </fig>
        <fig id="fig10">
          <label>Figure 10</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId652.jpeg?20260129025246" />
        </fig>
        <fig id="fig11">
          <label>Figure 11</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId653.jpeg?20260129025246" />
        </fig>
        <p><bold>Figure 4</bold><bold>.</bold> Scatter plots of quantitative covariates versus response (<bold>rent_sqm</bold>) with <bold>linear smooth (LS)</bold> and <bold>non</bold><bold>-</bold><bold>linear smooth (NLS)</bold>: first column = <bold>rent_sqm</bold> and second column = <bold>log(rent_sqm)</bold>. (First row) = <bold>Berlin 2015 with LS</bold>, (second row) = <bold>Berlin 2019 with LS</bold>, (third row) = <bold>Berlin 2015 with NLS</bold>, (fourth row) = <bold>Berlin 2019 with NLS</bold><bold>.</bold></p>
        <fig id="fig12">
          <label>Figure 12</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId654.jpeg?20260129025246" />
        </fig>
        <fig id="fig13">
          <label>Figure 13</label>
          <graphic xlink:href="https://html.scirp.org/file/1724458-rId655.jpeg?20260129025246" />
        </fig>
        <p><bold>Figure 5</bold><bold>.</bold> Box plots of qualitative covariates versus response (rent_sqm): first column = <bold>Berlin 2015</bold>, second column = <bold>Berlin 2019</bold><bold>.</bold></p>
        <p><bold>Table 6</bold><bold>.</bold> Interpretation of main effects for the quantitative covariates on <bold>rent_sqm</bold> and <bold>log(rent_sqm)</bold>in <xref ref-type="fig" rid="fig4">Figure 4</xref>: first block = <bold>Linear smooth</bold>, second block = <bold>Nonlinear smooth</bold>.</p>
        <table-wrap id="tbl6">
          <label>Table 6</label>
          <table>
            <tbody>
              <tr>
                <td>
                  <bold>Variables</bold>
                </td>
                <td>
                  <bold>Berlin 2015</bold>
                  <bold>rent_sqm</bold>
                </td>
                <td>
                  <bold>Berlin 2019</bold>
                  <bold>rent_sqm</bold>
                </td>
                <td>
                  <bold>Berlin 2015</bold>
                  <bold>log(rent_sqm)</bold>
                </td>
                <td>
                  <bold>Berlin 2019</bold>
                  <bold>log(rent_sqm)</bold>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>addcost</bold>
                </td>
                <td>Linear(increasing)</td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
              </tr>
              <tr>
                <td>
                  <bold>heatcost</bold>
                </td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
              </tr>
              <tr>
                <td>
                  <bold>conyear</bold>
                </td>
                <td>constant</td>
                <td>constant</td>
                <td>constant</td>
                <td>constant</td>
              </tr>
              <tr>
                <td>
                  <bold>lmod</bold>
                </td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
              </tr>
              <tr>
                <td>
                  <bold>lspace</bold>
                </td>
                <td>Linear (increasing)</td>
                <td>constant</td>
                <td>Linear (increasing)</td>
                <td>nearly constant</td>
              </tr>
              <tr>
                <td>
                  <bold>fspace</bold>
                </td>
                <td>Linear (increasing)</td>
                <td>Linear (decreasing)</td>
                <td>Linear (increasing)</td>
                <td>constant</td>
              </tr>
              <tr>
                <td>
                  <bold>energycon</bold>
                </td>
                <td>Linear (decreasing)</td>
                <td>constant</td>
                <td>Linear (decreasing)</td>
                <td>constant</td>
              </tr>
              <tr>
                <td>
                  <bold>adlength</bold>
                </td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
                <td>Linear (increasing)</td>
              </tr>
              <tr>
                <td>
                  <bold>addcost</bold>
                </td>
                <td>Quadratic</td>
                <td>Quadratic</td>
                <td>Quadratic</td>
                <td>Quadratic</td>
              </tr>
              <tr>
                <td>
                  <bold>heatcost</bold>
                </td>
                <td>nearly linear</td>
                <td>Quadratic</td>
                <td>nearly linear</td>
                <td>nearly linear</td>
              </tr>
              <tr>
                <td>
                  <bold>conyear</bold>
                </td>
                <td>Quadratic</td>
                <td>cubic</td>
                <td>Quadratic</td>
                <td>nearly linear</td>
              </tr>
              <tr>
                <td>
                  <bold>lmod</bold>
                </td>
                <td>Linear (increasing)</td>
                <td>Quadratic</td>
                <td>nearly constant</td>
                <td>nearly constant</td>
              </tr>
              <tr>
                <td>
                  <bold>lspace</bold>
                </td>
                <td>cubic</td>
                <td>cubic</td>
                <td>cubic</td>
                <td>Linear (decreasing)</td>
              </tr>
              <tr>
                <td>
                  <bold>fspace</bold>
                </td>
                <td>cubic</td>
                <td>cubic</td>
                <td>cubic</td>
                <td>Quadratic</td>
              </tr>
              <tr>
                <td>
                  <bold>energycon</bold>
                </td>
                <td>cubic</td>
                <td>Quadratic</td>
                <td>nearly constant</td>
                <td>Quadratic</td>
              </tr>
              <tr>
                <td>
                  <bold>adlength</bold>
                </td>
                <td>Quadratic</td>
                <td>cubic</td>
                <td>Quadratic</td>
                <td>constant</td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
        <p><bold>Table 7</bold><bold>.</bold> Interpretation for the qualitative covariates on<bold>rent_sqm</bold> in <xref ref-type="fig" rid="fig5">Figure 5</xref>.</p>
        <table-wrap id="tbl7">
          <label>Table 7</label>
          <table>
            <tbody>
              <tr>
                <td>
                  <bold>Variables</bold>
                </td>
                <td>
                  <bold>Berlin 2015</bold>
                </td>
                <td>
                  <bold>Berlin 2019</bold>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>afloorg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>bfloorg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>nroomsg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>nbedg</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
              </tr>
              <tr>
                <td>
                  <bold>nbathg</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
              </tr>
              <tr>
                <td>
                  <bold>elevatorg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>balconyg</bold>
                </td>
                <td>No</td>
                <td>No</td>
              </tr>
              <tr>
                <td>
                  <bold>kitcheng</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>ewwg</bold>
                </td>
                <td>Yes</td>
                <td>No</td>
              </tr>
              <tr>
                <td>
                  <bold>subhg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>gtoiletg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>gardeng</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>hwwg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>cellarg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>parkingg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>furnishingg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>eeffgg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>ecertg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>petsg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>heatg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>apcatg</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
              <tr>
                <td>
                  <bold>pcong</bold>
                </td>
                <td>Yes</td>
                <td>Yes</td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
      </sec>
    </sec>
    <sec id="sec4">
      <title>4. Model Fittings and Predictions</title>
      <p>We discuss how we select the type of model we use to fit the <bold>rent_sqm</bold> for Berlin rental properties in 2015 and 2019. To refine the regression model for the rent per square meter in Berlin, a stepwise backward regression was applied using the step() function in R. This method began with a full model containing all relevant predictors and iteratively removed nonsignificant variables based on the Akaike Information Criterion (AIC). The backward selection process ensured a more parsimonious model by retaining only the most influential variables, enhancing interpretability while maintaining predictive strength and minimizing model complexity. We fitted eight models (<italic>M</italic><sub>1</sub>…<italic>M</italic><sub>8</sub>) for the response variable, four each for the Berlin 2015 and 2019 datasets, as shown in the four cases with their respective summaries in <bold>Table 8</bold>.</p>
      <p><bold>Table 8</bold><bold>.</bold> Model fitting summary with only main effect.</p>
      <table-wrap id="tbl8">
        <label>Table 8</label>
        <table>
          <tbody>
            <tr>
              <td>
                <bold>Berlin 2015</bold>
              </td>
              <td>
                <bold>case 1</bold>
              </td>
              <td>
                <bold>case 2</bold>
              </td>
              <td>
                <bold>case 3</bold>
              </td>
              <td>
                <bold>case 4</bold>
              </td>
            </tr>
            <tr>
              <td>Adjusted R-square</td>
              <td>0.3081</td>
              <td>0.3255</td>
              <td>0.3534</td>
              <td>0.3645</td>
            </tr>
            <tr>
              <td>
                Number of parameters (
                <italic>p</italic>
                )
              </td>
              <td>42</td>
              <td>42</td>
              <td>50</td>
              <td>52</td>
            </tr>
            <tr>
              <td>
                <bold>Berlin 2019</bold>
              </td>
              <td>
              </td>
              <td>
              </td>
              <td>
              </td>
              <td>
              </td>
            </tr>
            <tr>
              <td>Adjusted R-square</td>
              <td>0.3918</td>
              <td>0.4218</td>
              <td>0.353</td>
              <td>0.4916</td>
            </tr>
            <tr>
              <td>
                Number of parameters (
                <italic>p</italic>
                )
              </td>
              <td>41</td>
              <td>41</td>
              <td>52</td>
              <td>48</td>
            </tr>
          </tbody>
        </table>
      </table-wrap>
      <p><bold>Case 1 (</bold><italic><bold>M</bold></italic><bold><sub>1</sub></bold><bold>and</bold><italic><bold>M</bold></italic><bold><sub>2</sub></bold><bold>)</bold>: Modeling <bold>rent_sqm</bold> with <bold>linear covariates</bold> for 2015 and 2019.<bold>Case 2 (</bold><italic><bold>M</bold></italic><bold><sub>3</sub></bold><bold>and</bold><italic><bold>M</bold></italic><bold><sub>4</sub></bold><bold>)</bold>: Modeling <bold>log(rent_sqm)</bold> with <bold>linear covariates</bold> for 2015 and 2019.<bold>Case 3 (</bold><italic><bold>M</bold></italic><bold><sub>5</sub></bold><bold>and</bold><italic><bold>M</bold></italic><bold><sub>6</sub></bold><bold>)</bold>: Modeling <bold>rent_sqm</bold> with <bold>nonlinear covariates</bold> for 2015 and 2019.<bold>Case 4(</bold><italic><bold>M</bold></italic><bold><sub>7</sub></bold><bold>and</bold><italic><bold>M</bold></italic><bold><sub>8</sub></bold><bold>)</bold>: Modeling <bold>log(rent_sqm)</bold> with <bold>nonlinear covariates</bold> for 2015 and 2019</p>
      <p>Based on the model fitting summary in <bold>Table 8</bold>, Case 4 was selected, as it best satisfied the model assumptions and achieved higher R<sup>2</sup> values across the datasets.</p>
      <sec id="sec4dot1">
        <title>4.1. Model Fitting of log(rent_sqm) on Non-Linear Covariates for Berlin 2015 and Berlin 2019</title>
        <p><bold>Table 9</bold><bold>.</bold> Berlin 2015.</p>
        <table-wrap id="tbl9">
          <label>Table 9</label>
          <table>
            <tbody>
              <tr>
                <td>
                </td>
                <td>Estimate</td>
                <td>Std. Error</td>
                <td>t value</td>
                <td>Pr(&gt;|t|)</td>
              </tr>
              <tr>
                <td>(Intercept)</td>
                <td>−15.3309</td>
                <td>1.6522</td>
                <td>−9.28</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (addcost, 2)1</td>
                <td>−0.0359</td>
                <td>0.2912</td>
                <td>−0.12</td>
                <td>0.9018</td>
              </tr>
              <tr>
                <td>poly (addcost, 2) 2</td>
                <td>0.8549</td>
                <td>0.2182</td>
                <td>3.92</td>
                <td>0.0001</td>
              </tr>
              <tr>
                <td>poly (conyear, 2) 1</td>
                <td>−2.4303</td>
                <td>0.2424</td>
                <td>−10.03</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (conyear, 2) 2</td>
                <td>1.6659</td>
                <td>0.2076</td>
                <td>8.03</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>lmod</td>
                <td>0.0087</td>
                <td>0.0008</td>
                <td>10.61</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (lspace, 3) 1</td>
                <td>−1.2691</td>
                <td>0.5538</td>
                <td>−2.29</td>
                <td>0.0220</td>
              </tr>
              <tr>
                <td>poly (lspace, 3) 2</td>
                <td>2.0279</td>
                <td>0.3350</td>
                <td>6.05</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (lspace, 3) 3</td>
                <td>−1.2145</td>
                <td>0.2288</td>
                <td>−5.31</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (fspace, 2) 1</td>
                <td>−0.7175</td>
                <td>0.3432</td>
                <td>−2.09</td>
                <td>0.0367</td>
              </tr>
              <tr>
                <td>poly (fspace, 2) 2</td>
                <td>−0.3325</td>
                <td>0.3048</td>
                <td>−1.09</td>
                <td>0.2753</td>
              </tr>
              <tr>
                <td>bfloorg 0 - 2</td>
                <td>0.0061</td>
                <td>0.0192</td>
                <td>0.32</td>
                <td>0.7517</td>
              </tr>
              <tr>
                <td>bfloorg 3</td>
                <td>−0.0014</td>
                <td>0.0163</td>
                <td>−0.09</td>
                <td>0.9318</td>
              </tr>
              <tr>
                <td>bfloorg 4</td>
                <td>0.0490</td>
                <td>0.0142</td>
                <td>3.45</td>
                <td>0.0006</td>
              </tr>
              <tr>
                <td>bfloorg 5</td>
                <td>0.0614</td>
                <td>0.0137</td>
                <td>4.48</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>bfloorg NA</td>
                <td>−0.0013</td>
                <td>0.0238</td>
                <td>−0.06</td>
                <td>0.9559</td>
              </tr>
              <tr>
                <td>nroomsg 1 - 1.5</td>
                <td>0.0007</td>
                <td>0.0284</td>
                <td>0.03</td>
                <td>0.9798</td>
              </tr>
              <tr>
                <td>nroomsg 2 - 2.5</td>
                <td>0.0507</td>
                <td>0.0224</td>
                <td>2.26</td>
                <td>0.0237</td>
              </tr>
              <tr>
                <td>nroomsg 3 - 3.5</td>
                <td>0.0591</td>
                <td>0.0176</td>
                <td>3.35</td>
                <td>0.0008</td>
              </tr>
              <tr>
                <td>nbedg 0 - 1</td>
                <td>−0.0556</td>
                <td>0.0158</td>
                <td>−3.52</td>
                <td>0.0004</td>
              </tr>
              <tr>
                <td>nbedg 2</td>
                <td>−0.0482</td>
                <td>0.0146</td>
                <td>−3.31</td>
                <td>0.0010</td>
              </tr>
              <tr>
                <td>nbedg NA</td>
                <td>−0.0689</td>
                <td>0.0208</td>
                <td>−3.31</td>
                <td>0.0009</td>
              </tr>
              <tr>
                <td>nbathg 0 - 1</td>
                <td>−0.0138</td>
                <td>0.0194</td>
                <td>−0.71</td>
                <td>0.4767</td>
              </tr>
              <tr>
                <td>nbathg NA</td>
                <td>−0.0626</td>
                <td>0.0290</td>
                <td>−2.15</td>
                <td>0.0313</td>
              </tr>
              <tr>
                <td>elevator No</td>
                <td>−0.0414</td>
                <td>0.0824</td>
                <td>−0.50</td>
                <td>0.6149</td>
              </tr>
              <tr>
                <td>elevatorg Yes</td>
                <td>0.0096</td>
                <td>0.0823</td>
                <td>0.12</td>
                <td>0.9069</td>
              </tr>
              <tr>
                <td>kitchen No</td>
                <td>−0.0378</td>
                <td>0.0832</td>
                <td>−0.45</td>
                <td>0.6493</td>
              </tr>
              <tr>
                <td>kitcheng Yes</td>
                <td>0.0315</td>
                <td>0.0832</td>
                <td>0.38</td>
                <td>0.7051</td>
              </tr>
              <tr>
                <td>ewwg No</td>
                <td>0.0517</td>
                <td>0.0338</td>
                <td>1.53</td>
                <td>0.1266</td>
              </tr>
              <tr>
                <td>ewwg Yes</td>
                <td>0.0683</td>
                <td>0.0342</td>
                <td>2.00</td>
                <td>0.0455</td>
              </tr>
              <tr>
                <td>subhg No</td>
                <td>0.0096</td>
                <td>0.0202</td>
                <td>0.48</td>
                <td>0.6339</td>
              </tr>
              <tr>
                <td>subhg Yes</td>
                <td>−0.2679</td>
                <td>0.0482</td>
                <td>−5.55</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>gtoiletg Yes</td>
                <td>0.0352</td>
                <td>0.0152</td>
                <td>2.32</td>
                <td>0.0207</td>
              </tr>
              <tr>
                <td>gardeng No</td>
                <td>0.1277</td>
                <td>0.0659</td>
                <td>1.94</td>
                <td>0.0527</td>
              </tr>
              <tr>
                <td>gardeng Yes</td>
                <td>0.1206</td>
                <td>0.0662</td>
                <td>1.82</td>
                <td>0.0685</td>
              </tr>
              <tr>
                <td>parking Yes</td>
                <td>−0.0862</td>
                <td>0.0512</td>
                <td>−1.68</td>
                <td>0.0922</td>
              </tr>
              <tr>
                <td>furnishing Normal</td>
                <td>0.0108</td>
                <td>0.0147</td>
                <td>0.73</td>
                <td>0.4643</td>
              </tr>
              <tr>
                <td>furnishingg Upscale</td>
                <td>0.1274</td>
                <td>0.0149</td>
                <td>8.54</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>eeffg Low</td>
                <td>−0.0753</td>
                <td>0.0478</td>
                <td>−1.58</td>
                <td>0.1152</td>
              </tr>
              <tr>
                <td>eeffg Medium</td>
                <td>−0.0580</td>
                <td>0.0322</td>
                <td>−1.80</td>
                <td>0.0716</td>
              </tr>
              <tr>
                <td>eeffg NA</td>
                <td>−0.0189</td>
                <td>0.0287</td>
                <td>−0.66</td>
                <td>0.5102</td>
              </tr>
              <tr>
                <td>petsg No</td>
                <td>−0.0377</td>
                <td>0.0114</td>
                <td>−3.30</td>
                <td>0.0010</td>
              </tr>
              <tr>
                <td>petsg Yes</td>
                <td>−0.0479</td>
                <td>0.0302</td>
                <td>−1.58</td>
                <td>0.1132</td>
              </tr>
              <tr>
                <td>heatg NA</td>
                <td>0.0267</td>
                <td>0.0254</td>
                <td>1.05</td>
                <td>0.2946</td>
              </tr>
              <tr>
                <td>heatg NCH</td>
                <td>−0.0149</td>
                <td>0.0087</td>
                <td>−1.72</td>
                <td>0.0856</td>
              </tr>
              <tr>
                <td>apcatg low</td>
                <td>−0.1461</td>
                <td>0.0813</td>
                <td>−1.80</td>
                <td>0.0726</td>
              </tr>
              <tr>
                <td>apcatg middle</td>
                <td>−0.1150</td>
                <td>0.0792</td>
                <td>−1.45</td>
                <td>0.1465</td>
              </tr>
              <tr>
                <td>apcatg NA</td>
                <td>−0.1284</td>
                <td>0.0795</td>
                <td>−1.61</td>
                <td>0.1064</td>
              </tr>
              <tr>
                <td>apcatg top</td>
                <td>−0.0693</td>
                <td>0.0795</td>
                <td>−0.87</td>
                <td>0.3834</td>
              </tr>
              <tr>
                <td>pcong Inr</td>
                <td>−0.1913</td>
                <td>0.0615</td>
                <td>−3.11</td>
                <td>0.0019</td>
              </tr>
              <tr>
                <td>pcong Md</td>
                <td>−0.0606</td>
                <td>0.0100</td>
                <td>−6.04</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>pcong Mt</td>
                <td>−0.0291</td>
                <td>0.0117</td>
                <td>−2.48</td>
                <td>0.0131</td>
              </tr>
              <tr>
                <td>pcong NA</td>
                <td>−0.0155</td>
                <td>0.0205</td>
                <td>−0.76</td>
                <td>0.4485</td>
              </tr>
              <tr>
                <td>Observations</td>
                <td>2605</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  R
                  <sup>2</sup>
                </td>
                <td>0.377</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  Adj. R
                  <sup>2</sup>
                </td>
                <td>0.365</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>Residual Std. Error</td>
                <td>0.188 (df = 2552)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>F Statistic</td>
                <td>
                  29.728
                  <sup>***</sup>
                  (df = 52; 2552)
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>p-value</td>
                <td>&lt;2.2e−16</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
        <p>*p &lt; 0.1; **p &lt; 0.05; ***p &lt; 0.01.</p>
        <p><bold>Table 10</bold><bold>.</bold> Berlin 2019.</p>
        <table-wrap id="tbl10">
          <label>Table 10</label>
          <table>
            <tbody>
              <tr>
                <td>
                </td>
                <td>Estimate</td>
                <td>Std. Error</td>
                <td>t value</td>
                <td>Pr(&gt;|t|)</td>
              </tr>
              <tr>
                <td>(Intercept)</td>
                <td>−13.2034</td>
                <td>2.1819</td>
                <td>−6.05</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (addcost, 2) 1</td>
                <td>0.9758</td>
                <td>0.3201</td>
                <td>3.05</td>
                <td>0.0023</td>
              </tr>
              <tr>
                <td>poly (addcost, 2) 2</td>
                <td>−0.2808</td>
                <td>0.2557</td>
                <td>−1.10</td>
                <td>0.2724</td>
              </tr>
              <tr>
                <td>heatcost</td>
                <td>0.0009</td>
                <td>0.0002</td>
                <td>4.41</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (conyear, 2) 1</td>
                <td>−1.2329</td>
                <td>0.2958</td>
                <td>−4.17</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (conyear, 2) 2</td>
                <td>2.7830</td>
                <td>0.2552</td>
                <td>10.90</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>lmod</td>
                <td>0.0077</td>
                <td>0.0011</td>
                <td>7.10</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (lspace, 3) 1</td>
                <td>−2.7888</td>
                <td>0.5671</td>
                <td>−4.92</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (lspace, 3) 2</td>
                <td>1.4259</td>
                <td>0.3374</td>
                <td>4.23</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (lspace, 3) 3</td>
                <td>−1.3228</td>
                <td>0.2577</td>
                <td>−5.13</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>poly (energycon, 2) 1</td>
                <td>0.3285</td>
                <td>0.2503</td>
                <td>1.31</td>
                <td>0.1896</td>
              </tr>
              <tr>
                <td>poly (energycon, 2) 2</td>
                <td>0.5836</td>
                <td>0.2260</td>
                <td>2.58</td>
                <td>0.0099</td>
              </tr>
              <tr>
                <td>poly (adlength, 3) 1</td>
                <td>0.0461</td>
                <td>0.2257</td>
                <td>0.20</td>
                <td>0.8383</td>
              </tr>
              <tr>
                <td>poly (adlength, 3) 2</td>
                <td>−0.7181</td>
                <td>0.2263</td>
                <td>−3.17</td>
                <td>0.0015</td>
              </tr>
              <tr>
                <td>poly (adlength, 3) 3</td>
                <td>0.4056</td>
                <td>0.2166</td>
                <td>1.87</td>
                <td>0.0613</td>
              </tr>
              <tr>
                <td>afloorg &gt;9</td>
                <td>−0.0672</td>
                <td>0.0668</td>
                <td>−1.01</td>
                <td>0.3143</td>
              </tr>
              <tr>
                <td>afloorg 1 - 2</td>
                <td>0.0059</td>
                <td>0.0230</td>
                <td>0.26</td>
                <td>0.7982</td>
              </tr>
              <tr>
                <td>afloorg 3 - 9</td>
                <td>0.0577</td>
                <td>0.0237</td>
                <td>2.43</td>
                <td>0.0151</td>
              </tr>
              <tr>
                <td>afloorg NA</td>
                <td>−0.1273</td>
                <td>0.0483</td>
                <td>−2.64</td>
                <td>0.0085</td>
              </tr>
              <tr>
                <td>bfloorg 0 - 2</td>
                <td>0.0576</td>
                <td>0.0322</td>
                <td>1.79</td>
                <td>0.0742</td>
              </tr>
              <tr>
                <td>bfloorg 3</td>
                <td>0.0056</td>
                <td>0.0288</td>
                <td>0.20</td>
                <td>0.8448</td>
              </tr>
              <tr>
                <td>bfloorg 4</td>
                <td>0.0649</td>
                <td>0.0242</td>
                <td>2.68</td>
                <td>0.0075</td>
              </tr>
              <tr>
                <td>bfloorg 5</td>
                <td>0.1216</td>
                <td>0.0215</td>
                <td>5.65</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>bfloorg NA</td>
                <td>0.1357</td>
                <td>0.0413</td>
                <td>3.28</td>
                <td>0.0011</td>
              </tr>
              <tr>
                <td>nroomsg 1 - 1.5</td>
                <td>−0.0444</td>
                <td>0.0449</td>
                <td>−0.99</td>
                <td>0.3231</td>
              </tr>
              <tr>
                <td>nroomsg 2 - 2.5</td>
                <td>0.0550</td>
                <td>0.0350</td>
                <td>1.57</td>
                <td>0.1159</td>
              </tr>
              <tr>
                <td>nroomsg 3 - 3.5</td>
                <td>0.0192</td>
                <td>0.0281</td>
                <td>0.68</td>
                <td>0.4942</td>
              </tr>
              <tr>
                <td>elevatorg Yes</td>
                <td>0.0900</td>
                <td>0.0168</td>
                <td>5.36</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>kitcheng Yes</td>
                <td>0.1231</td>
                <td>0.0139</td>
                <td>8.84</td>
                <td>0.0000</td>
              </tr>
              <tr>
                <td>ewwg No</td>
                <td>−0.0580</td>
                <td>0.0175</td>
                <td>−3.32</td>
                <td>0.0009</td>
              </tr>
              <tr>
                <td>ewwg Yes</td>
                <td>−0.0091</td>
                <td>0.0173</td>
                <td>−0.53</td>
                <td>0.5972</td>
              </tr>
              <tr>
                <td>subhg Yes</td>
                <td>−0.4174</td>
                <td>0.1078</td>
                <td>−3.87</td>
                <td>0.0001</td>
              </tr>
              <tr>
                <td>cellarg Yes</td>
                <td>−0.0260</td>
                <td>0.0146</td>
                <td>−1.78</td>
                <td>0.0749</td>
              </tr>
              <tr>
                <td>parkingg No</td>
                <td>0.0970</td>
                <td>0.0738</td>
                <td>1.31</td>
                <td>0.1890</td>
              </tr>
              <tr>
                <td>parkingg Yes</td>
                <td>−0.0655</td>
                <td>0.0163</td>
                <td>−4.02</td>
                <td>0.0001</td>
              </tr>
              <tr>
                <td>furnishing Normal</td>
                <td>−0.0390</td>
                <td>0.0295</td>
                <td>−1.32</td>
                <td>0.1872</td>
              </tr>
              <tr>
                <td>furnishingg Upscale</td>
                <td>0.1026</td>
                <td>0.0295</td>
                <td>3.47</td>
                <td>0.0005</td>
              </tr>
              <tr>
                <td>petsg No</td>
                <td>−0.0016</td>
                <td>0.0205</td>
                <td>−0.08</td>
                <td>0.9369</td>
              </tr>
              <tr>
                <td>petsg Yes</td>
                <td>−0.0444</td>
                <td>0.0149</td>
                <td>−2.97</td>
                <td>0.0030</td>
              </tr>
              <tr>
                <td>heatg NA</td>
                <td>0.0011</td>
                <td>0.0530</td>
                <td>0.02</td>
                <td>0.9833</td>
              </tr>
              <tr>
                <td>heatg NCH</td>
                <td>−0.0573</td>
                <td>0.0144</td>
                <td>−3.98</td>
                <td>0.0001</td>
              </tr>
              <tr>
                <td>apcatg low</td>
                <td>−0.0641</td>
                <td>0.0924</td>
                <td>−0.69</td>
                <td>0.4875</td>
              </tr>
              <tr>
                <td>apcatg middle</td>
                <td>−0.0268</td>
                <td>0.0839</td>
                <td>−0.32</td>
                <td>0.7494</td>
              </tr>
              <tr>
                <td>apcatg NA</td>
                <td>−0.0051</td>
                <td>0.0856</td>
                <td>−0.06</td>
                <td>0.9521</td>
              </tr>
              <tr>
                <td>apcatg top</td>
                <td>0.0280</td>
                <td>0.0839</td>
                <td>0.33</td>
                <td>0.7386</td>
              </tr>
              <tr>
                <td>pcong Inr</td>
                <td>−0.1959</td>
                <td>0.0850</td>
                <td>−2.31</td>
                <td>0.0213</td>
              </tr>
              <tr>
                <td>pcong Md</td>
                <td>−0.0292</td>
                <td>0.0210</td>
                <td>−1.39</td>
                <td>0.1650</td>
              </tr>
              <tr>
                <td>pcong Mt</td>
                <td>−0.0562</td>
                <td>0.0223</td>
                <td>−2.52</td>
                <td>0.0119</td>
              </tr>
              <tr>
                <td>pcong NA</td>
                <td>0.0227</td>
                <td>0.0381</td>
                <td>0.59</td>
                <td>0.5522</td>
              </tr>
              <tr>
                <td>Observations</td>
                <td>1231</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  R
                  <sup>2</sup>
                </td>
                <td>0.511</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>
                  Adj. R
                  <sup>2</sup>
                </td>
                <td>0.492</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>Residual Std. Error</td>
                <td>0.211 (df = 1182)</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>F Statistic</td>
                <td>
                  25.778
                  <sup>***</sup>
                  (df = 48; 1182)
                </td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
              <tr>
                <td>p-value</td>
                <td>&lt;2.2e−16</td>
                <td>
                </td>
                <td>
                </td>
                <td>
                </td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
        <p>*p &lt; 0.1; **p &lt; 0.05; ***p &lt; 0.01.</p>
      </sec>
      <sec id="sec4dot2">
        <title>4.2. Residual Plots of Model Fittings</title>
        <p>We plot the residuals versus the fitted values to check for a trend and assess the plausibility of the linearity assumption discussed in Section 2. Additionally, we plot the QQ plots of the covariates versus the theoretical normal quantiles to check if they form a straight line, which helps assess the plausibility of the normality assumption discussed in Section 2.</p>
        <p>From the plots in <bold>Table 11</bold>, we find that the fitted models do not relatively violate the linear regression assumptions in Section 2.</p>
        <p><bold>Table 11</bold><bold>.</bold> Residual plots of model fittings for <bold>Berlin 2015</bold> and <bold>Berlin 2019</bold>.</p>
        <table-wrap id="tbl11">
          <label>Table 11</label>
          <table>
            <tbody>
              <tr>
                <td>
                  <bold>city</bold>
                </td>
                <td>
                  <bold>Berlin 2015</bold>
                </td>
                <td>
                  <bold>Berlin 2019</bold>
                </td>
              </tr>
              <tr>
                <td>
                </td>
                <td>
                  <inline-graphic xlink:href="https://html.scirp.org/file/1724458-rId656.jpeg?20260129025250">
                  </inline-graphic>
                </td>
                <td>
                  <inline-graphic xlink:href="https://html.scirp.org/file/1724458-rId657.jpeg?20260129025250">
                  </inline-graphic>
                </td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
      </sec>
      <sec id="sec4dot3">
        <title>4.3. Model Predictions of rent_sqm for the Main Effect Models</title>
        <p>In this section, we predict <bold>rent_sqm</bold> using the main effect models in <bold>Table 9</bold> and <bold>Table 10</bold>, based on influential variables identified through pairwise selection (<bold>Table 1</bold><bold>2</bold> and <bold>Table 1</bold><bold>3</bold>). Predictions use the <bold>median</bold> for continuous covariates and the <bold>mode</bold> for qualitative covariates. For each variable of interest, values are generated across the 5th to 95th percentiles while holding other covariates at their median or modal values. All adjusted GVIF<sup>1/(2</sup><sup>∙Df</sup><sup>)</sup> values were below 2, indicating no multicollinearity concerns; therefore, all predictors were retained, confirming the model’s statistical robustness.</p>
        <p>We observe that the model predictions in <bold>Table 12</bold>, which illustrate the major influential quantitative covariates selected through the AIC procedure, exhibit predominantly nonlinear relationships with rent_sqm in both years (2015 and 2019), apart from last modernization, which consistently showed a linear trend. Also, in 2019, variables such as additional costs (addcost), heat cost (heatcost), and energy condition (energycon) show increasing trends, while living space (lspace), advertisement length (adlenght), and the year in which the object was built (conyear) show a decreasing pattern. These effects, derived from model predictions, suggest that major numerical factors influence rent in complex, nonlinear ways rather than through simple linear associations.</p>
        <p><bold>Table 12.</bold> Model predictions of <bold>rent_sqm</bold> for the influential <bold>quantitative covariates</bold>.</p>
        <table-wrap id="tbl12">
          <label>Table 12</label>
          <table>
            <tbody>
              <tr>
                <td>
                  <bold>Berlin 2015</bold>
                </td>
                <td>
                  <inline-graphic xlink:href="https://html.scirp.org/file/1724458-rId658.jpeg?20260129025251">
                  </inline-graphic>
                  <inline-graphic xlink:href="https://html.scirp.org/file/1724458-rId659.jpeg?20260129025251">
                  </inline-graphic>
                </td>
              </tr>
              <tr>
                <td>
                  <bold>Berlin 2019</bold>
                </td>
                <td>
                  <inline-graphic xlink:href="https://html.scirp.org/file/1724458-rId660.jpeg?20260129025251">
                  </inline-graphic>
                  <inline-graphic xlink:href="https://html.scirp.org/file/1724458-rId661.jpeg?20260129025250">
                  </inline-graphic>
                </td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
        <p><bold>Table 13</bold><bold>.</bold> Model predictions of <bold>rent_sqm</bold> for the influential <bold>qualitative covariates</bold>.</p>
        <table-wrap id="tbl13">
          <label>Table 13</label>
          <table>
            <tbody>
              <tr>
                <td>
                  <bold>Variables</bold>
                </td>
                <td>
                  <bold>Categories</bold>
                </td>
                <td>
                  <bold>2015</bold>
                </td>
                <td>
                  <bold>2019</bold>
                </td>
              </tr>
              <tr>
                <td rowspan="5">
                  <bold>afloorg</bold>
                </td>
                <td>(−1) - 0</td>
                <td>
                </td>
                <td>10.30</td>
              </tr>
              <tr>
                <td>1 - 2</td>
                <td>
                </td>
                <td>10.36</td>
              </tr>
              <tr>
                <td>3 - 9</td>
                <td>
                </td>
                <td>10.91</td>
              </tr>
              <tr>
                <td>&gt;9</td>
                <td>
                </td>
                <td>9.63</td>
              </tr>
              <tr>
                <td>NA</td>
                <td>
                </td>
                <td>9.07</td>
              </tr>
              <tr>
                <td rowspan="6">
                  <bold>bfloorg</bold>
                </td>
                <td>0 - 2</td>
                <td>8.41</td>
                <td>10.83</td>
              </tr>
              <tr>
                <td>3</td>
                <td>8.34</td>
                <td>10.29</td>
              </tr>
              <tr>
                <td>4</td>
                <td>8.78</td>
                <td>10.91</td>
              </tr>
              <tr>
                <td>5</td>
                <td>8.89</td>
                <td>11.55</td>
              </tr>
              <tr>
                <td>&gt;5</td>
                <td>8.36</td>
                <td>10.23</td>
              </tr>
              <tr>
                <td>NA</td>
                <td>8.35</td>
                <td>11.72</td>
              </tr>
              <tr>
                <td rowspan="4">
                  <bold>nroomsg</bold>
                </td>
                <td>1 - 1.5</td>
                <td>8.35</td>
                <td>9.88</td>
              </tr>
              <tr>
                <td>2 - 2.5</td>
                <td>8.78</td>
                <td>10.91</td>
              </tr>
              <tr>
                <td>3 - 3.5</td>
                <td>8.85</td>
                <td>10.53</td>
              </tr>
              <tr>
                <td>&gt;3.5</td>
                <td>8.34</td>
                <td>10.33</td>
              </tr>
              <tr>
                <td rowspan="4">
                  <bold>nbedg</bold>
                </td>
                <td>0 - 1</td>
                <td>8.78</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>2</td>
                <td>8.84</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>&gt;2</td>
                <td>9.28</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>NA</td>
                <td>8.66</td>
                <td>
                </td>
              </tr>
              <tr>
                <td rowspan="3">
                  <bold>nbathg</bold>
                </td>
                <td>0 - 1</td>
                <td>8.78</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>&gt;1</td>
                <td>8.90</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>NA</td>
                <td>8.66</td>
                <td>
                </td>
              </tr>
              <tr>
                <td rowspan="3">
                  <bold>elevatorg</bold>
                </td>
                <td>Yes</td>
                <td>9.24</td>
                <td>11.94</td>
              </tr>
              <tr>
                <td>No</td>
                <td>8.78</td>
                <td>10.91</td>
              </tr>
              <tr>
                <td>NA</td>
                <td>9.15</td>
                <td>
                </td>
              </tr>
              <tr>
                <td rowspan="3">
                  <bold>kitcheng</bold>
                </td>
                <td>Yes</td>
                <td>9.41</td>
                <td>10.91</td>
              </tr>
              <tr>
                <td>No</td>
                <td>8.78</td>
                <td>9.65</td>
              </tr>
              <tr>
                <td>NA</td>
                <td>9.11</td>
                <td>
                </td>
              </tr>
              <tr>
                <td rowspan="3">
                  <bold>ewwg</bold>
                </td>
                <td>Yes</td>
                <td>8.92</td>
                <td>10.81</td>
              </tr>
              <tr>
                <td>No</td>
                <td>8.78</td>
                <td>10.30</td>
              </tr>
              <tr>
                <td>NA</td>
                <td>8.33</td>
                <td>10.91</td>
              </tr>
              <tr>
                <td rowspan="3">
                  <bold>subhg</bold>
                </td>
                <td>Yes</td>
                <td>6.65</td>
                <td>7.19</td>
              </tr>
              <tr>
                <td>No</td>
                <td>8.78</td>
                <td>10.91</td>
              </tr>
              <tr>
                <td>NA</td>
                <td>8.69</td>
                <td>
                </td>
              </tr>
              <tr>
                <td rowspan="3">
                  <bold>parkingg</bold>
                </td>
                <td>Yes</td>
                <td>8.05</td>
                <td>10.22</td>
              </tr>
              <tr>
                <td>No</td>
                <td>
                </td>
                <td>12.03</td>
              </tr>
              <tr>
                <td>NA</td>
                <td>8.78</td>
                <td>10.91</td>
              </tr>
              <tr>
                <td rowspan="3">
                  <bold>furnishingg</bold>
                </td>
                <td>Upscale</td>
                <td>8.78</td>
                <td>10.91</td>
              </tr>
              <tr>
                <td>Normal</td>
                <td>7.81</td>
                <td>9.47</td>
              </tr>
              <tr>
                <td>NA</td>
                <td>7.73</td>
                <td>9.85</td>
              </tr>
              <tr>
                <td rowspan="4">
                  <bold>eeffgg</bold>
                </td>
                <td>High</td>
                <td>8.94</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>Medium</td>
                <td>8.44</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>Low</td>
                <td>8.30</td>
                <td>
                </td>
              </tr>
              <tr>
                <td>NA</td>
                <td>8.78</td>
                <td>
                </td>
              </tr>
              <tr>
                <td rowspan="3">
                  <bold>petsg</bold>
                </td>
                <td>Yes</td>
                <td>8.37</td>
                <td>10.91</td>
              </tr>
              <tr>
                <td>No</td>
                <td>8.45</td>
                <td>11.39</td>
              </tr>
              <tr>
                <td>NA</td>
                <td>8.78</td>
                <td>11.41</td>
              </tr>
              <tr>
                <td rowspan="5">
                  <bold>apcatg</bold>
                </td>
                <td>Top</td>
                <td>9.19</td>
                <td>11.53</td>
              </tr>
              <tr>
                <td>Middle</td>
                <td>8.78</td>
                <td>10.91</td>
              </tr>
              <tr>
                <td>Low</td>
                <td>8.51</td>
                <td>10.51</td>
              </tr>
              <tr>
                <td>Below</td>
                <td>9.85</td>
                <td>11.21</td>
              </tr>
              <tr>
                <td>NA</td>
                <td>8.67</td>
                <td>11.15</td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
      </sec>
    </sec>
    <sec id="sec5">
      <title>5. Results</title>
      <sec id="sec5dot1">
        <title>5.1. Summary of Results</title>
        <p>We observe in <xref ref-type="fig" rid="fig1">Figure 1</xref> and <xref ref-type="fig" rid="fig2">Figure 2</xref> that in 2015, the lognormal curve provided a superior fit to the empirical data, particularly around the mode and in the upper tail. The histogram revealed an apparent right skew, which the lognormal distribution captured effectively. The normal distribution, by contrast, imposed symmetry on an asymmetric dataset, resulting in visible deviation from the observed pattern, especially at the extremes. In 2019, this pattern persisted. The rental data maintained a skewed distribution, and the lognormal curve once again fit the distribution more accurately, capturing both the peak and the tail behavior. The normal curve underestimated the density at lower values and overestimated it in the central range, confirming its misalignment.</p>
        <p>In addition, in <xref ref-type="fig" rid="fig3">Figure 3</xref>, a significant shift is observed in the histogram plots of <bold>rent_sqm</bold> between Berlin 2015 and 2019. For example, in Munich 2015, most values of <bold>rent_sqm</bold> were below 20 Euros, whereas in 2019, they exceeded 20 Euros. This indicates that the rent price increases over time, which is also confirmed by our prediction. For example, the <bold>predicted rent_sqm</bold> increased in Berlin from 2015 to 2019 by 15.94%, 24.26%, 20.6%, 24.15%, and 30.22%, with apartments that have a kitchen, Upscale furnishing, First occupancy condition, central heating, and do not allow pets, respectively. </p>
        <p>From <bold>Table 12</bold>, the influence of quantitative covariates on the <bold>predicted rent_sqm</bold> is summarized below. </p>
        <p>For <bold>Berlin 2015</bold>, each variable exhibits an effect on the <bold>rent_sqm</bold>, as observed by their non-constant predicted lines. The variable, last modernization, enters the model linearly, showing a positive trend with <bold>rent_sqm</bold>, whereas the remaining variables demonstrate nonlinear relationships.Also, for <bold>Berlin 2019</bold>, all variables impact the <bold>rent_sqm</bold>. The additional cost, heat cost, and last modernization variables entered linearly, each displaying an increasing trend with <bold>rent_sqm</bold>, while the other variables enter the model in a nonlinear form.</p>
        <p>In <bold>Table 13</bold>, we can also summarise the pattern of the <bold>predicted rent_sqm</bold> for the influential qualitative covariates as follows. </p>
        <p>The predicted <bold>rent_sqm</bold> is <bold>highest in Berlin</bold>, estimated at 12.03 euros in 2019.<bold>afloor:</bold> In Berlin 2019, the predicted <bold>rent_sqm</bold> is at the lowest (9.63 Euros) with apartment floor &gt;9. It increased with apartment floor (−1) - 0 (10.30 Euros), followed by apartment floor 1- 2 (10.36 Euros) and it is at the highest (10.91 Euros) with apartment floor 3 - 9 (the mode).<bold>building floors (bfloor):</bold> With five building floors apartments, our predicted <bold>rent_sqm</bold> is at the highest (8.89 and 11.55 Euros) for Berlin 2015, Berlin 2019, but is at the lowest (8.34 and 10.29 Euros) with three building floors apartments.<bold>number of rooms (nroom</bold><bold>s):</bold> In <bold>Berlin 2015</bold>, our <bold>predicted rent_sqm</bold> value is at the highest (8.85 Euros) with apartments that have <bold>the number of rooms 3</bold><bold>-</bold><bold>3.5</bold> while in <bold>Berlin 2019</bold>, the apartments with <bold>the number of rooms 2</bold><bold>-</bold><bold>2.5</bold> has the highest <bold>predicted rent_sqm</bold> (10.91 Euros). On the other hand, the predicted <bold>rent_sqm</bold> is at the lowest with apartments that have 1-1.5 (8.35, 9.88, and 12.96 Euros) for Berlin 2015, Berlin 2019.<bold>number of bedrooms (nbed)</bold>: In <bold>Berlin 2015</bold>, we can see <bold>an increasing trend</bold> in the <bold>predicted rent_sqm</bold> (8.78, 8.84, and 9.28 Euros) with respect to the order of the categories of the <bold>number of bedrooms (0</bold><bold>-</bold><bold>1, 2, and</bold>&gt;2<bold>)</bold> of an apartment. Thus, rent_sqm seems to increase in Berlin for apartments with a higher number of bedrooms.<bold>number of bathrooms (nbath):</bold> In Berlin 2015, we can also see <bold>an increasing trend</bold> in the <bold>predicted rent_sqm</bold> (8.78 and 8.90 Euros) with respect to the order of the categories of the <bold>number of bathrooms (0</bold><bold>-</bold><bold>1, and</bold>&gt;1<bold>)</bold> of an apartment. Thus, rent_sqm seems to increase with apartments that have a higher number of bathrooms in Berlin (and vice versa).<bold>elevator:</bold> We can see <bold>an increase</bold> in the <bold>predicted rent_sqm</bold> (9.24 and 11.94 Euros) for apartments with an elevator in Berlin 2015 and Berlin 2019, respectively unlike the apartments without an elevator where the <bold>predicted rent_sqm</bold> are respectively (8.78 and 10.91 Euros). Thus, rent_sqm seems to increase with apartments that have an elevator (and vice versa).<bold>kitchen:</bold> We can see <bold>an increase</bold> in the <bold>predicted rent_sqm</bold> (9.41 and 10.91 Euros) for apartments with a kitchen in Berlin 2015 and Berlin 2019, respectively unlike the apartments without a kitchen where the <bold>predicted rent_sqm</bold> are respectively (8.78 and 9.65 Euros). Thus rent_sqm seems to increase with apartments that have a kitchen (and vice versa).<bold>eww:</bold> The <bold>predicted rent_sqm</bold> is higher with apartments that have the inclusion of warm water consumption in the energy consumption value calculation (8.92 and 10.81 Euros) in both Berlin 2015 and 2019 respectively, compared to the apartments that do not have it (8.78 and 10.30 euros). Thus rent_sqm seems to increase for apartments that have the inclusion of warm water consumption in the energy consumption value calculation in Berlin (and vice versa).<bold>subh:</bold> The <bold>predicted rent_sqm</bold> is lower with apartments that have a certificate of eligibility for public housing (6.65 and 7.19 Euros) in both Berlin 2015 and 2019, respectively, compared to the apartments that do not have it (8.78 and 10.91 Euros). Thus rent_sqm seems to increase with apartments that do not have a certificate of eligibility for public housing in Berlin (and vice versa).<bold>gtoilet:</bold> The <bold>predicted rent_sqm</bold> is higher with apartments that have a guest toilet (9.09 Euros) in Berlin 2015, compared to the apartments with no guest toilet (8.78 Euros). Thus, rent_sqm seems to increase with apartments that have a guest toilet in Berlin (and vice versa).<bold>garden:</bold> With apartments that have a garden in Berlin 2015, the <bold>predicted rent_sqm</bold> is lower (8.71 Euros) compared to apartments that do not have a garden (8.78 Euros). Thus, rent_sqm seems to decrease with apartments that have a cellar in Berlin (and vice versa)<bold>cellar:</bold> With apartments that have a cellar in Berlin 2019, the <bold>predicted rent_sqm</bold> is lower (10.91 Euros) compared to apartments that do not have cellars (11.20 Euros). Thus, rent_sqm seems to decrease with apartments that have a cellar in Berlin (and vice versa)<bold>parking space:</bold> In Berlin 2019, the <bold>predicted rent_sqm</bold> is higher (10.22 Euros) with apartments that have a parking space, compared to apartments that do not have a parking space (12.03 Euros). Thus rent_sqm seems to increase in Berlin with apartments that have a parking space (and vice versa).<bold>furnishing:</bold> The predicted <bold>rent_sqm</bold> is at the highest with apartments that have <bold>Upscale furnishing</bold> for <bold>Berlin 2015</bold> and <bold>Berlin 2019</bold>. Also, with Upscale furnishing apartments, the predicted <bold>rent_sqm</bold> increased from 2015 to 2019 by 24.26%. It equally increased from Normal to Upscale furnishing apartments by 12.42% and 15.21%, for Berlin 2015 and 2019, respectively. Thus, rent_sqm seems to increase with apartments that have Upscale furnishing in Berlin (and vice versa), as well as with respect to time.<bold>energy efficiency rating (eeff)</bold>: We can also see <bold>an increasing trend</bold> in the <bold>predicted rent_sqm</bold> with respect to the order of the categories of <bold>energy efficiency rating (Low, Medium, and High)</bold> (8.30, 8.44, and 8.94 Euros) in <bold>Berlin 2015</bold>. Thus rent_sqm seems to increase in Berlin with respect to the order of energy efficiency rating categories (Low, Medium, and High) (and vice versa).<bold>pets:</bold> The <bold>predicted rent_sqm</bold> is lower with apartments that allow pets (8.37 and 10.91 Euros) in Berlin 2015 and 2019, compared to apartments that do not allow pets (8.45 and 11.39 Euros), thereby decreasing by 23.28% and 25.28% for Berlin 2015 and 2019, respectively. Thus, rent_sqm seems to decrease with apartments that allow pets in Berlin (and vice versa)<bold>heat:</bold> Our predicted <bold>rent_sqm</bold> is higher with apartments that make use of the <bold>central heating (CH)</bold> as their heating type (8.78 and 10.91 Euros) for Berlin 2015 and 2019, respectively, compared to the apartments that make use of the <bold>non-central heating (NCH)</bold> as their heating type (8.65 and 10.31 Euros). Thus, rent_sqm appears to increase with apartments that utilize central heating as their primary heating type in Berlin (and vice versa).<bold>apartment categories (apcat)</bold>: Our predicted <bold>rent_sqm</bold> is at the highest with the <bold>below category</bold> apartments (9.85 Euros) for <bold>Berlin 2015</bold> while for <bold>Berlin 2019</bold>, it is at the highest with the <bold>top category</bold> apartments (11.53 Euros). On the other hand, our predicted <bold>rent_sqm</bold> is at its lowest for the <bold>low category</bold> apartments (8.51 and 10.51 Euros) in <bold>Berlin 2015 and 2019</bold>, respectively. Thus, rent_sqm seems to increase with low and top-category apartments in Berlin (and vice versa).<bold>property condition categories (pcon)</bold>: Our predicted <bold>rent_sqm</bold> is at the highest with the <bold>First occupancy condition</bold> apartments (9.32 and 11.24 Euros) for <bold>Berlin 2015</bold> and <bold>2019</bold>, respectively, thereby increasing by 20.0% from 2015 to 2019. Thus, rent_sqm seems to increase with the first occupancy condition apartments in Berlin compared to other apartment condition categories.</p>
      </sec>
      <sec id="sec5dot2">
        <title>5.2. Discussion on Research Questions</title>
        <p>5.2.1. RQ1: Does a Relationship Exist between the Response Variable (rent_sqm) and the Selected Predictor Variables?</p>
        <p>The analysis indicates strong associations between rent_sqm and most predictors. In both the Berlin 2015 and 2019 datasets, all examined variables influenced rent_sqm as shown in <xref ref-type="fig" rid="fig4">Figure 4</xref> and <xref ref-type="fig" rid="fig5">Figure 5</xref>, <bold>Table 6</bold>, <bold>Table 7</bold>, <bold>Table 12</bold>, and <bold>Table 13</bold>. For example, the last modernization variable showed a consistent linear relationship with rent_sqm, while other quantitative variables exhibited nonlinear trends. Also, the boxplots in <xref ref-type="fig" rid="fig5">Figure 5</xref> as interpreted in <bold>Table 7</bold>, provide visual evidence of the relationship between rent_sqm and the qualitative covariates. Observable patterns and non-parallel trends across category levels suggest that these variables influence rental behavior. These relationships validate the importance of diverse housing features in determining rent prices. This finding is consistent with housing studies that emphasize the role of structural and locational features in determining prices [<xref ref-type="bibr" rid="B4">4</xref>][<xref ref-type="bibr" rid="B5">5</xref>].</p>
        <p>Moreover, the results align with broader market trends. According to JLL’s Housing Market Overview, Berlin’s 2024 housing market is expected to face growing demand, increased immigration, and lagging construction. Despite rent price stabilization and regulatory efforts, declining completions and affordability challenges signal persistent pressure and possible structural limits in supply, investment, and population-driven housing demand. This suggests that various factors, including those studied, contribute to rent variations [<xref ref-type="bibr" rid="B1">1</xref>].</p>
        <p>5.2.2. RQ2: Is a Transformation of Response Variable (rent_sqm) Necessary to Meet the Assumptions of Linear Regression?</p>
        <p>Yes, first, density plots were generated for the years 2015 and 2019 to assess the appropriate distributional model for rent per square meter in Berlin. Each histogram was overlaid with both standard (red) and lognormal (green) fitted density curves, as shown in <xref ref-type="fig" rid="fig1">Figure 1</xref> and <xref ref-type="fig" rid="fig2">Figure 2</xref>. Across both years, the lognormal distribution consistently exhibited a closer approximation to the observed rent data. Secondly, a log transformation was applied to rent_sqm to address nonnormality and heteroskedasticity. This transformation statistically confirmed the superiority of lognormal over the normal distribution as observed in <xref ref-type="fig" rid="fig1">Figure 1</xref> and <xref ref-type="fig" rid="fig2">Figure 2</xref>, by improving the model’s explanatory power, as indicated by the increased adjusted R-squared values in case 4 of <bold>Table 8</bold> (e.g., 0.3645 for 2015 and 0.4916 for 2019), and a better alignment with regression assumptions. This transformation approach also supports previous findings and aligns with econometric methods often used in real estate analyses, where log-linear models account for skewed distributions and non-constant variance [<xref ref-type="bibr" rid="B4">4</xref>][<xref ref-type="bibr" rid="B5">5</xref>][<xref ref-type="bibr" rid="B28">28</xref>][<xref ref-type="bibr" rid="B29">29</xref>]. </p>
        <p>5.2.3. RQ3: Which Predictor Variables Significantly Affect the Rental Price Per Square Meter in Berlin’s Housing Market?</p>
        <p>The study identified several influential predictors impacting rental prices:</p>
        <p><bold>Quantitative Covariates:</bold> Last modernization year (linear), additional cost (linear), and heat cost (linear) significantly influenced rent_sqm. Other variables like living space and construction year significantly entered the model nonlinearly, showing complex effects across the two years 2015 and 2019 as shown in <bold>Table 12</bold>.<bold>Qualitative Covariates:</bold> Upscale furnishing increased rent by over 24%, while the presence of amenities (e.g., elevator, kitchen, guest toilet, high energy efficiency ratings, the inclusion of warm water consumption in the energy consumption value calculation) correlated with higher rents as shown in <bold>Table 13</bold>. Conversely, pets allowed was correlated with lower rents. These results are consistent with the existing literature, which highlights the importance of property characteristics and amenities in determining rental values [<xref ref-type="bibr" rid="B5">5</xref>][<xref ref-type="bibr" rid="B30">30</xref>].</p>
      </sec>
      <sec id="sec5dot3">
        <title>5.3. Contribution of the Study</title>
        <p>This study contributes to six important domains:</p>
        <p><bold>Contribution to Literature:</bold> This study advances statistical modeling literature by integrating lognormal regression with nonlinear covariate transformations to better capture skewed rental price distributions. The approach improves model flexibility and predictive accuracy, offering a refined methodological framework for urban housing analysis and policy applications [<xref ref-type="bibr" rid="B30">30</xref>].<bold>Statistical Applications:</bold> The study demonstrates the effective use of advanced regression techniques, including log transformation, nonlinear covariates, and GVIF diagnostics, in analyzing large urban rental datasets. This application provides a practical teaching resource for applied statistics and data science courses [<xref ref-type="bibr" rid="B21">21</xref>][<xref ref-type="bibr" rid="B22">22</xref>].<bold>Educational Leadership and Evidence-Based Policy:</bold> By identifying key cost drivers affecting rental affordability, the study supports data-informed decision-making in higher education, particularly in addressing student and faculty housing equity challenges [<xref ref-type="bibr" rid="B8">8</xref>].<bold>Cross-National Implications:</bold> Berlin’s rental market dynamics mirror those of other global academic cities, allowing the findings to inform housing strategies across international contexts with both market-driven and regulated systems [<xref ref-type="bibr" rid="B6">6</xref>].<bold>Policy Innovation and Housing Equity:</bold> The analysis highlights the role of modernization and energy efficiency in shaping affordability, contributing insights for sustainable housing policies that balance market performance with equity considerations [<xref ref-type="bibr" rid="B7">7</xref>].<bold>Institutional Housing Strategy Improvement:</bold> The study offers a replicable, empirically grounded framework to guide institutional housing planning, negotiations, and subsidy design. By identifying major rent drivers, it supports targeted affordability interventions in high-demand cities in Germany, the United States, and beyond [<xref ref-type="bibr" rid="B9">9</xref>][<xref ref-type="bibr" rid="B31">31</xref>].</p>
      </sec>
    </sec>
    <sec id="sec6">
      <title>6. Conclusions</title>
      <p>This study applied multiple linear regression with nonlinear covariates to model rental prices per square meter in Berlin’s housing market using a combined qualitative and quantitative dataset. The results indicate that rent levels are significantly influenced by furnishing quality, year of last modernization, floor level, and apartment category, with both linear and nonlinear effects, reinforcing the need for flexible statistical approaches in housing analysis [<xref ref-type="bibr" rid="B4">4</xref>][<xref ref-type="bibr" rid="B5">5</xref>]. Methodologically, the study extends existing research by incorporating nonlinear covariates into lognormal regression models. Among the tested specifications, the log-transformed model with nonlinear terms outperformed others for both the 2015 and 2019 datasets, achieving adjusted R<sup>2</sup> values of 0.3645 and 0.4916, respectively. These findings confirm the suitability of logarithmic transformation for handling skewness and heteroscedasticity in rental data, consistent with prior literature [<xref ref-type="bibr" rid="B4">4</xref>][<xref ref-type="bibr" rid="B5">5</xref>][<xref ref-type="bibr" rid="B28">28</xref>][<xref ref-type="bibr" rid="B30">30</xref>][<xref ref-type="bibr" rid="B32">32</xref>]. Diagnostic measures further supported the statistical validity and interpretability of the model. From a practical perspective, the findings offer guidance for real estate professionals, urban planners, and institutional leaders by highlighting the importance of modernization, energy efficiency, and structural features in rental policy design, particularly in high-demand urban markets [<xref ref-type="bibr" rid="B1">1</xref>][<xref ref-type="bibr" rid="B2">2</xref>][<xref ref-type="bibr" rid="B32">32</xref>]. For higher education institutions, the study offers a replicable framework to inform housing negotiations, subsidy allocation, and planning in student-dense cities, aligning with broader calls for data-driven policy in housing equity [<xref ref-type="bibr" rid="B5">5</xref>][<xref ref-type="bibr" rid="B7">7</xref>][<xref ref-type="bibr" rid="B9">9</xref>]. Future research may extend this framework through time-series forecasting, spatial econometric methods, or comparative analyses across major European and U.S. cities.</p>
      <p>Finally, the authors recommend integrating major housing cost drivers and predictive modeling into higher education housing and affordability decisions. The study is limited to Berlin data from 2015 and 2019, which restricts generalizability and excludes post-pandemic changes. </p>
    </sec>
  </body>
  <back>
    <ref-list>
      <title>References</title>
      <ref id="B1">
        <label>1.</label>
        <citation-alternatives>
          <mixed-citation publication-type="web">Jones Lang LaSalle (JLL) (2024) Housing Market Overview—H2 2024. https://www.jll.de/en/trends-and-insights/research/housing-market-overview</mixed-citation>
          <element-citation publication-type="web">
            <year>2024</year>
            <article-title>Housing Market Overview—H2 2024</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B2">
        <label>2.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Lutz, E. (2020) The Housing Crisis as a Problem of Intergenerational Justice: The Case of Germany. <italic>Intergenerational</italic><italic>Justice</italic><italic>Review</italic>, 1, 2020.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Lutz, E.</string-name>
            </person-group>
            <year>2020</year>
            <article-title>The Housing Crisis as a Problem of Intergenerational Justice: The Case of Germany</article-title>
            <source>Intergenerational Justice Review</source>
            <volume>1</volume>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B3">
        <label>3.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Meyberg, C., Rendtel, U. and Leerhoff, H. (2024) Flat Rent Price Prediction in Berlin with Web Scraping. <italic>AStA</italic><italic>Wirtschafts</italic>- <italic>und</italic><italic>Sozialstatistisches</italic><italic>Archiv</italic>, 18, 245-278. https://doi.org/10.1007/s11943-024-00340-6 <pub-id pub-id-type="doi">10.1007/s11943-024-00340-6</pub-id><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1007/s11943-024-00340-6">https://doi.org/10.1007/s11943-024-00340-6</ext-link></mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Meyberg, C.</string-name>
              <string-name>Rendtel, U.</string-name>
              <string-name>Leerhoff, H.</string-name>
            </person-group>
            <year>2024</year>
            <article-title>Flat Rent Price Prediction in Berlin with Web Scraping</article-title>
            <source>AStA Wirtschafts-und Sozialstatistisches Archiv</source>
            <volume>18</volume>
            <pub-id pub-id-type="doi">10.1007/s11943-024-00340-6</pub-id>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B4">
        <label>4.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Malpezzi, S., <italic>et</italic><italic>al</italic>. (2003) Hedonic Pricing Models: A Selective and Applied Review. <italic>Housing</italic><italic>Economics</italic><italic>and</italic><italic>Public Policy</italic>, 1, 67-89.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Malpezzi, S.</string-name>
            </person-group>
            <year>2003</year>
            <article-title>Hedonic Pricing Models: A Selective and Applied Review</article-title>
            <source>Housing Economics and Public Policy</source>
            <volume>1</volume>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B5">
        <label>5.</label>
        <citation-alternatives>
          <mixed-citation publication-type="journal">Yoshida, T., Murakami, D. and Seya, H. (2024) Spatial Prediction of Apartment Rent Using Regression-Based and Machine Learning-Based Approaches with a Large Dataset. <italic>The</italic><italic>Journal</italic><italic>of</italic><italic>Real</italic><italic>Estate</italic><italic>Finance</italic><italic>and</italic><italic>Economics</italic>, 69, 1-28. https://doi.org/10.1007/s11146-022-09929-6 <pub-id pub-id-type="doi">10.1007/s11146-022-09929-6</pub-id><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1007/s11146-022-09929-6">https://doi.org/10.1007/s11146-022-09929-6</ext-link></mixed-citation>
          <element-citation publication-type="journal">
            <person-group person-group-type="author">
              <string-name>Yoshida, T.</string-name>
              <string-name>Murakami, D.</string-name>
              <string-name>Seya, H.</string-name>
            </person-group>
            <year>2024</year>
            <article-title>Spatial Prediction of Apartment Rent Using Regression-Based and Machine Learning-Based Approaches with a Large Dataset</article-title>
            <source>The Journal of Real Estate Finance and Economics</source>
            <volume>69</volume>
            <pub-id pub-id-type="doi">10.1007/s11146-022-09929-6</pub-id>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B6">
        <label>6.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Brookings Institution (2023) How a University-Community Homesharing Collective is Creating a New Model for Affordable Housing in West Philadelphia.</mixed-citation>
          <element-citation publication-type="other">
            <year>2023</year>
            <article-title>How a University-Community Homesharing Collective is Creating a New Model for Affordable Housing in West Philadelphia</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B7">
        <label>7.</label>
        <citation-alternatives>
          <mixed-citation publication-type="journal">Pivo, G. (2022) Green Buildings and Rental Premiums: A Meta-Analysis. <italic>Journal</italic><italic>of</italic><italic>Sustainable</italic><italic>Real</italic><italic>Estate</italic>, 14, 1-16.</mixed-citation>
          <element-citation publication-type="journal">
            <person-group person-group-type="author">
              <string-name>Pivo, G.</string-name>
            </person-group>
            <year>2022</year>
            <article-title>Green Buildings and Rental Premiums: A Meta-Analysis</article-title>
            <source>Journal of Sustainable Real Estate</source>
            <volume>14</volume>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B8">
        <label>8.</label>
        <citation-alternatives>
          <mixed-citation publication-type="book">Fullan, M. (2020) Leading in a Culture of Change. 2 Edition, John Wiley &amp; Sons, Incorporated.</mixed-citation>
          <element-citation publication-type="book">
            <person-group person-group-type="author">
              <string-name>Fullan, M.</string-name>
              <string-name>Edition, J</string-name>
              <string-name>Sons, I</string-name>
            </person-group>
            <year>2020</year>
            <article-title>Leading in a Culture of Change</article-title>
            <source>2 Edition</source>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B9">
        <label>9.</label>
        <citation-alternatives>
          <mixed-citation publication-type="book">German Academic Exchange Service (DAAD) (2024) Internationalisation Only Successful with Sufficient Living Space for Students. Press Release.</mixed-citation>
          <element-citation publication-type="book">
            <year>2024</year>
            <article-title>Internationalisation Only Successful with Sufficient Living Space for Students</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B10">
        <label>10.</label>
        <citation-alternatives>
          <mixed-citation publication-type="web">Czado and Brechmann (2021) Lecture Slides on GLM, Study Material from the Research Group Mathematical Statistics in the Department of Mathematics at the Technical University Munich Deutschland. https://www.groups.ma.tum.de/statistics/personen/claudia-czado/forschung/lecture-slides/</mixed-citation>
          <element-citation publication-type="web">
            <person-group person-group-type="author">
              <string-name>GLM, S</string-name>
            </person-group>
            <year>2021</year>
            <article-title>Lecture Slides on GLM, Study Material from the Research Group Mathematical Statistics in the Department of Mathematics at the Technical University Munich Deutschland</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B11">
        <label>11.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Fahrmeir, L., Kneib, T., Lang, S. and Marx, B. (2013) Regression Models. In: Fahrmeir, L., Kneib, T., Lang, S. and Marx, B., Eds., <italic>Regression</italic>, Springer, 21-72. https://doi.org/10.1007/978-3-642-34333-9_2 <pub-id pub-id-type="doi">10.1007/978-3-642-34333-9_2</pub-id><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1007/978-3-642-34333-9_2">https://doi.org/10.1007/978-3-642-34333-9_2</ext-link></mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Fahrmeir, L.</string-name>
              <string-name>Kneib, T.</string-name>
              <string-name>Lang, S.</string-name>
              <string-name>Marx, B.</string-name>
              <string-name>Fahrmeir, L.</string-name>
              <string-name>Kneib, T.</string-name>
              <string-name>Lang, S.</string-name>
              <string-name>Marx, B.</string-name>
              <string-name>Regression, S</string-name>
            </person-group>
            <year>2013</year>
            <article-title>Regression Models</article-title>
            <source>In: Fahrmeir</source>
            <volume>21</volume>
            <pub-id pub-id-type="doi">10.1007/978-3-642-34333-9_2</pub-id>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B12">
        <label>12.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Allen, M.P. (2004) Understanding Regression Analysis. Springer Science &amp; Business Media.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Allen, M.P.</string-name>
            </person-group>
            <year>2004</year>
            <article-title>Understanding Regression Analysis</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B13">
        <label>13.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Brown, J.D. (2014) Linear Models in Matrix Form. Springer.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Brown, J.D.</string-name>
            </person-group>
            <year>2014</year>
            <article-title>Linear Models in Matrix Form</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B14">
        <label>14.</label>
        <citation-alternatives>
          <mixed-citation publication-type="book">Christensen, R. (1996) Analysis of Variance, Design, and Regression: Applied Statistical Methods. CRC Press.</mixed-citation>
          <element-citation publication-type="book">
            <person-group person-group-type="author">
              <string-name>Christensen, R.</string-name>
              <string-name>Variance, D</string-name>
            </person-group>
            <year>1996</year>
            <article-title>Analysis of Variance, Design, and Regression: Applied Statistical Methods</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B15">
        <label>15.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Christensen, R. (2018) Analysis of Variance, Design, and Regression: Linear Modeling for Unbalanced Data. Chapman and Hall/CRC.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Christensen, R.</string-name>
              <string-name>Variance, D</string-name>
            </person-group>
            <year>2018</year>
            <article-title>Analysis of Variance, Design, and Regression: Linear Modeling for Unbalanced Data</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B16">
        <label>16.</label>
        <citation-alternatives>
          <mixed-citation publication-type="book">Horton, N.J. and Kleinman, K. (2015) Using R and RStudio for Data Management, Statistical Analysis, and Graphics. CRC Press.</mixed-citation>
          <element-citation publication-type="book">
            <person-group person-group-type="author">
              <string-name>Horton, N.J.</string-name>
              <string-name>Kleinman, K.</string-name>
              <string-name>Management, S</string-name>
            </person-group>
            <year>2015</year>
            <article-title>Using R and RStudio for Data Management, Statistical Analysis, and Graphics</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B17">
        <label>17.</label>
        <citation-alternatives>
          <mixed-citation publication-type="journal">Nelder, J.A. and Wedderburn, R.W.M. (1972) Generalized Linear Models. <italic>Journal</italic><italic>of</italic><italic>the</italic><italic>Royal</italic><italic>Statistical</italic><italic>Society.</italic><italic>Series</italic><italic>A</italic><italic>(General)</italic>, 135, 370-384. https://doi.org/10.2307/2344614 <pub-id pub-id-type="doi">10.2307/2344614</pub-id><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.2307/2344614">https://doi.org/10.2307/2344614</ext-link></mixed-citation>
          <element-citation publication-type="journal">
            <person-group person-group-type="author">
              <string-name>Nelder, J.A.</string-name>
              <string-name>Wedderburn, R.W.M.</string-name>
            </person-group>
            <year>1972</year>
            <article-title>Generalized Linear Models</article-title>
            <source>Journal of the Royal Statistical Society. Series A (General)</source>
            <volume>135</volume>
            <pub-id pub-id-type="doi">10.2307/2344614</pub-id>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B18">
        <label>18.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Abraham, B. and Ledolter, J. (2006) Student Solutions Manual for Introduction to Regression Modeling. University of Iowa.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Abraham, B.</string-name>
              <string-name>Ledolter, J.</string-name>
            </person-group>
            <year>2006</year>
            <article-title>Student Solutions Manual for Introduction to Regression Modeling</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B19">
        <label>19.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Ricci, L. (2010) Adjusted-Squared Type Measure for Exponential Dispersion Models. <italic>Statistics</italic><italic>&amp;</italic><italic>Probability</italic><italic>Letters</italic>, 80, 1365-1368. https://doi.org/10.1016/j.spl.2010.04.019 <pub-id pub-id-type="doi">10.1016/j.spl.2010.04.019</pub-id><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.spl.2010.04.019">https://doi.org/10.1016/j.spl.2010.04.019</ext-link></mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Ricci, L.</string-name>
            </person-group>
            <year>2010</year>
            <article-title>Adjusted-Squared Type Measure for Exponential Dispersion Models</article-title>
            <source>Statistics &amp; Probability Letters</source>
            <volume>80</volume>
            <pub-id pub-id-type="doi">10.1016/j.spl.2010.04.019</pub-id>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B20">
        <label>20.</label>
        <citation-alternatives>
          <mixed-citation publication-type="book">McNeil, K.A., Newman, I. and Kelly, F.J. (1996) Testing Research Hypotheses with the General Linear Model. SIU Press.</mixed-citation>
          <element-citation publication-type="book">
            <person-group person-group-type="author">
              <string-name>McNeil, K.A.</string-name>
              <string-name>Newman, I.</string-name>
              <string-name>Kelly, F.J.</string-name>
            </person-group>
            <year>1996</year>
            <article-title>Testing Research Hypotheses with the General Linear Model</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B21">
        <label>21.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Seber, G.A. (2015) The Linear Model and Hypothesis. Springer.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Seber, G.A.</string-name>
            </person-group>
            <year>2015</year>
            <article-title>The Linear Model and Hypothesis</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B22">
        <label>22.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Vik, P. (2013) Regression, Anova, and the General Linear Model: A Statistics Primer. SAGE Publications.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Vik, P.</string-name>
              <string-name>Regression, A</string-name>
            </person-group>
            <year>2013</year>
            <article-title>Regression, Anova, and the General Linear Model: A Statistics Primer</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B23">
        <label>23.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Lin, D.Y., Wei, L.J. and Ying, Z. (2002) Model‐Checking Techniques Based on Cumulative Residuals. <italic>Biometrics</italic>, 58, 1-12. https://doi.org/10.1111/j.0006-341x.2002.00001.x <pub-id pub-id-type="doi">10.1111/j.0006-341x.2002.00001.x</pub-id><pub-id pub-id-type="pmid">11890304</pub-id><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1111/j.0006-341x.2002.00001.x">https://doi.org/10.1111/j.0006-341x.2002.00001.x</ext-link></mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Lin, D.Y.</string-name>
              <string-name>Wei, L.J.</string-name>
              <string-name>Ying, Z.</string-name>
            </person-group>
            <year>2002</year>
            <article-title>Model‐Checking Techniques Based on Cumulative Residuals</article-title>
            <source>Biometrics</source>
            <volume>58</volume>
            <pub-id pub-id-type="doi">10.1111/j.0006-341x.2002.00001.x</pub-id>
            <pub-id pub-id-type="pmid">11890304</pub-id>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B24">
        <label>24.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Osborne, J.W. and Waters, E. (2002) Four Assumptions of Multiple Regression that Researchers Should Always Test. <italic>Practical</italic><italic>Assessment</italic>, <italic>Research</italic>, <italic>and</italic><italic>Evaluation</italic>, 8, Article 2.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Osborne, J.W.</string-name>
              <string-name>Waters, E.</string-name>
              <string-name>Assessment, R</string-name>
            </person-group>
            <year>2002</year>
            <article-title>Four Assumptions of Multiple Regression that Researchers Should Always Test</article-title>
            <source>Practical Assessment</source>
            <volume>8</volume>
            <elocation-id>2</elocation-id>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B25">
        <label>25.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Lindsey, J.K. (2000) Applying Generalized Linear Models. Springer Science &amp; Business Media.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Lindsey, J.K.</string-name>
            </person-group>
            <year>2000</year>
            <article-title>Applying Generalized Linear Models</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B26">
        <label>26.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Farrar, D.E. and Glauber, R.R. (1967) Multicollinearity in Regression Analysis: The Problem Revisited. <italic>The</italic><italic>Review</italic><italic>of</italic><italic>Economics</italic><italic>and</italic><italic>Statistics</italic>, 49, 92-107. https://doi.org/10.2307/1937887 <pub-id pub-id-type="doi">10.2307/1937887</pub-id><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.2307/1937887">https://doi.org/10.2307/1937887</ext-link></mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Farrar, D.E.</string-name>
              <string-name>Glauber, R.R.</string-name>
            </person-group>
            <year>1967</year>
            <article-title>Multicollinearity in Regression Analysis: The Problem Revisited</article-title>
            <source>The Review of Economics and Statistics</source>
            <volume>49</volume>
            <pub-id pub-id-type="doi">10.2307/1937887</pub-id>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B27">
        <label>27.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Neter, J., Wasserman, W. and Kutner, M.H. (1983) Applied Linear Regression Models. Richard D. Irwin.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Neter, J.</string-name>
              <string-name>Wasserman, W.</string-name>
              <string-name>Kutner, M.H.</string-name>
            </person-group>
            <year>1983</year>
            <article-title>Applied Linear Regression Models</article-title>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B28">
        <label>28.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Rusakov, O.V., Laskin, M.B. and Jaksumbaeva, O.I. (2015) Stochastic Pricing Model for the Real Estate Market: Formation of Log-Normal General Population. <italic>Statistics</italic><italic>and</italic><italic>Economics</italic>, No. 5, 116-127. https://doi.org/10.21686/2500-3925-2015-5-116-127 <pub-id pub-id-type="doi">10.21686/2500-3925-2015-5-116-127</pub-id><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.21686/2500-3925-2015-5-116-127">https://doi.org/10.21686/2500-3925-2015-5-116-127</ext-link></mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Rusakov, O.V.</string-name>
              <string-name>Laskin, M.B.</string-name>
              <string-name>Jaksumbaeva, O.I.</string-name>
              <string-name>Economics, N</string-name>
            </person-group>
            <year>2015</year>
            <article-title>Stochastic Pricing Model for the Real Estate Market: Formation of Log-Normal General Population</article-title>
            <source>Statistics and Economics</source>
            <volume>116</volume>
            <pub-id pub-id-type="doi">10.21686/2500-3925-2015-5-116-127</pub-id>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B29">
        <label>29.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Laskin, M.B. and Rusakov, O.V. (2023) Prediction of Distributions of Unit Prices for Real Estate Properties on the Basis of the Characteristics of Psi-Processes. <italic>Business</italic><italic>Informatics</italic>, 17, 7-24.</mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Laskin, M.B.</string-name>
              <string-name>Rusakov, O.V.</string-name>
            </person-group>
            <year>2023</year>
            <article-title>Prediction of Distributions of Unit Prices for Real Estate Properties on the Basis of the Characteristics of Psi-Processes</article-title>
            <source>Business Informatics</source>
            <volume>17</volume>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B30">
        <label>30.</label>
        <citation-alternatives>
          <mixed-citation publication-type="journal">Onumadu, U., Iyelobu, M., Akinde, M., Savadogo, S. and Yessoufou, B. (2025) Applications of Probability Distributions in Real Estate Market Analysis Using Rental Prices and Transaction Data in Major US Cities. <italic>International</italic><italic>Journal</italic><italic>of</italic><italic>Scientific</italic><italic>Research</italic><italic>in</italic><italic>Information</italic><italic>Technology</italic>, 12, 25-42.</mixed-citation>
          <element-citation publication-type="journal">
            <person-group person-group-type="author">
              <string-name>Onumadu, U.</string-name>
              <string-name>Iyelobu, M.</string-name>
              <string-name>Akinde, M.</string-name>
              <string-name>Savadogo, S.</string-name>
              <string-name>Yessoufou, B.</string-name>
            </person-group>
            <year>2025</year>
            <article-title>Applications of Probability Distributions in Real Estate Market Analysis Using Rental Prices and Transaction Data in Major US Cities</article-title>
            <source>International Journal of Scientific Research in Information Technology</source>
            <volume>12</volume>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B31">
        <label>31.</label>
        <citation-alternatives>
          <mixed-citation publication-type="report">U.S. Department of Housing and Urban Development (2023) Worst Case Housing Needs: 2023 Report to Congress.</mixed-citation>
          <element-citation publication-type="report">
            <year>2023</year>
            <article-title>Worst Case Housing Needs: 2023 Report to Congress</article-title>
            <fpage>2023</fpage>
          </element-citation>
        </citation-alternatives>
      </ref>
      <ref id="B32">
        <label>32.</label>
        <citation-alternatives>
          <mixed-citation publication-type="other">Luca, S. (2023) Is Housing Price Distribution across Cities, Scale Invariant? Fractal Distribution of Settlements’ House Prices as Signature of Self-Organized Complexity. <italic>Chaos</italic>, <italic>Solitons</italic><italic>&amp;</italic><italic>Fractals</italic>, 174, Article 113766. https://doi.org/10.1016/j.chaos.2023.113766 <pub-id pub-id-type="doi">10.1016/j.chaos.2023.113766</pub-id><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.chaos.2023.113766">https://doi.org/10.1016/j.chaos.2023.113766</ext-link></mixed-citation>
          <element-citation publication-type="other">
            <person-group person-group-type="author">
              <string-name>Luca, S.</string-name>
              <string-name>Cities, S</string-name>
              <string-name>Chaos, S</string-name>
            </person-group>
            <year>2023</year>
            <article-title>Is Housing Price Distribution across Cities, Scale Invariant? Fractal Distribution of Settlements’ House Prices as Signature of Self-Organized Complexity</article-title>
            <source>Chaos</source>
            <volume>174</volume>
            <elocation-id>113766</elocation-id>
            <pub-id pub-id-type="doi">10.1016/j.chaos.2023.113766</pub-id>
          </element-citation>
        </citation-alternatives>
      </ref>
    </ref-list>
  </back>
</article>