Description

• Title:
  The impact of eliminating careless responses and outliers on the replication of research findings in social sciences
• Creator:
  Wanat, Tomasz
• Description:
  Much of scientific research is difficult or even impossible to replicate or reproduce, a phenomenon known as the replication crisis. One contributing factor to this crisis is the poor quality of the data used in research. This can often be attributed to inattentive or atypical respondents. By eliminating data from these groups, the quality of the research data might improve, potentially increasing the likelihood of successful replication. However, this approach can also contribute to the replication crisis. The methods for detecting and removing inattentive and atypical respondents vary significantly, produce different outcomes, and can be applied in numerous ways – adding another layer of complexity to the replication challenge. The main purpose of the article is to point out the risks inherent in using different methods for detecting inattentive and atypical responses in relation to the replicability of survey results. The article is divided into two parts. The first discusses issues related to the sources of the replication crisis in the social sciences and the potential impact of methods for detecting inattentive responses on research replicability. In the second part, based on a case study of one of the surveys posted on Open Science Framework (OSF), the article demonstrates how subtle yet significant the impact of the methods used to detect and remove inattentive and atypical respondents can be on the success of survey replication. The final section identifies steps to reduce the replication problem associated with the use of methods to detect inattentive and atypical responses.;
  Znaczna część badań naukowych jest trudna lub nawet niemożliwa do replikowania lub odtworzenia, co określane jest mianem kryzysu replikacji. Jednym z czynników przyczyniających się do tego kryzysu jest niska jakość danych wykorzystywanych w badaniach. Często można to przypisać nieuważnym lub nietypowym respondentom. Eliminacja danych z tych grup może poprawić jakość danych badawczych i potencjalnie zwiększyć prawdopodobieństwo udanej replikacji. Eliminacja takich danych może czasami mieć skutek odwrotny. Metody wykrywania i usuwania nieuważnych i nietypowych respondentów różnią się znacznie, dlatego też dają różne wyniki i mogą być stosowane na wiele sposobów, dodając kolejny poziom złożoności w kontekście replikacji. Głównym celem artykułu jest wskazanie na zagrożenie tkwiące w posługiwaniu się różnymi metodami wykrywania nieuważnych i nietypowych odpowiedzi dla możliwości odtworzenia wyników badania. Artykuł podzielony jest na dwie części. W pierwszej omówiono zagadnienia związane ze źródłami kryzysu replikacji w naukach społecznych i potencjalnego wpływu metod wykrywania nieuważnych odpowiedzi respondentów na możliwości replikowania badań. W drugiej części, na podstawie analizy przypadku jednego z badań zamieszczonych w systemie Open Science Framework (OSF), pokazano, jak subtelny, a zarazem znaczący może być wpływ zastosowanych metod wykrywania i usuwania nieuważnych i nietypowych respondentów na powodzenie replikacji badań. W końcowej części artykułu wskazano na kroki mające na celu ograniczenie problemu z replikacją związaną z wykorzystaniem metod wykrywania nieuważnych i nietypowych respondentów.
• Object availability:
  free access
• Rights:
  Prawa autorskie (c) 2024 WPiA UAM;
  https://creativecommons.org/licenses/by/4.0
• Date:
  2024.12.30
• Type:
  info:eu-repo/semantics/article;
  info:eu-repo/semantics/publishedVersion;
  peer-reviewed article;
  Artykuł recenzowany
• Language:
  Polish
• Source:
  Ruch Prawniczy, Ekonomiczny i Socjologiczny; Vol. 86 No. 4 (2024); 251-271;
  Ruch Prawniczy, Ekonomiczny i Socjologiczny; Tom 86 Nr 4 (2024); 251-271;
  2543-9170;
  0035-9629
• Format:
  application/pdf
• Publisher:
  Adam Mickiewicz University Poznan
• Relation: http://pressto.amu.edu.pl/index.php/rpeis/article/view/41196/37746
• Temat i słowa kluczowe:
  nieuważne odpowiedzi;
  kryzys replikacyjności;
  niewłaściwe praktyki badawcze;
  careless responding;
  replication crisis;
  questionable research practices
• Identyfikator: http://pressto.amu.edu.pl/index.php/rpeis/article/view/41196
• Dostawca danych:
  Platforma Otwartych Czasopism Naukowych UAM
• Can I use it?:
  seek permission
• Type:
  other