Description

• Title:
  Random Selection of Variables for Aggregated Tree-Based Models
• Creator:
  Gatnar, Eugeniusz;
  Rozmus, Dorota
• Contributor:
  The Karol Adamiecki University of Economics, Katowice, Department of Statistics
• Description:
  Zadanie pt. „Digitalizacja i udostępnienie w Cyfrowym Repozytorium Uniwersytetu Łódzkiego kolekcji czasopism naukowych wydawanych przez Uniwersytet Łódzki” nr 885/P-DUN/2014 zostało dofinansowane ze środków MNiSW w ramach działalności upowszechniającej naukę.;
  Tree-based models are popular a widely used because they are simple, flexible and powerful tools for classification. Unfortunately they are not stable classifiers. Significant improvement of the model stability and prediction accuracy can be obtained by aggregation of multiple classification trees. Proposed methods, i.e. bagging, adaptive bagging, and arcing are based on sampling cases from the training set while boosting uses a system of weights for cases. The result is called committee of trees, an ensemble or a forest. Recent developments in this field showed that randomization (random selection of variables) in aggregated tree-based classifiers leads to consistent models while boosting can overfit. In this paper we discuss optimal parameter values for the method of random selection of variables (RandomForest) for an aggregated tree-based model (i.e. number of trees in the forest and number of variables selected for each split).;
  Drzewa klasyfikacyjne, z uwagi na swoją prostotę, elastyczność i skuteczność stają się coraz częściej wykorzystywaną metodą klasyfikacji. Mimo wielu zalet, wadą tej metody jest brak stabilności. Poprawę stabilności i dokładności predykcji można osiągnąć poprzez agregację wielu drzew klasyfikacyjnych w jeden model. Proponowane w literaturze metody agregacji, takie jak: bagging, adaptive bagging i arcing opierają się na losowaniu obiektów ze zbioru uczącego; natomiast boosting stosuje dodatkowo system wag. W efekcie otrzymujemy zbiór drzew klasyfikacyjnych, tworzących model zagregowany. Ponieważ losowanie obiektów może powodować zmiany rozkładu zmiennych w zbiorze uczącym, dlatego poprawę dokładności predykcji można uzyskać poprzez losowy dobór zmiennych do prób uczących, w oparciu o które powstają modele składowe agregatu. W niniejszym artykule przedmiotem rozważań jest oszacowanie optymalnej wielkości parametrów dla procedury RandomForest, realizującej losowy dobór zmiennych do modelu w postaci zbioru zagregowanych drzew klasyfikacyjnych.
• Object availability:
  free access
• Rights:
  © Copyright by Wydawnictwo Uniwersytetu Łódzkiego, Łódź 2006
• Date:
  2016.03.24;
  2006
• Type:
  Article
• Language:
  English
• Format:
  application/pdf
• Publisher:
  Wydawnictwo Uniwersytetu Łódzkiego
• Relation:
  Acta Universitatis Lodziensis. Folia Oeconomica;196
• Subject:
  Tree-based models;
  aggregation;
  RandomForest
• Identifier:
  0208-6018;
  http://hdl.handle.net/11089/17540
• Data provider:
  Repozytorium Uniwersytetu Łódzkiego
• Can I use it?:
  seek permission
• Type:
  image