Identifikacija i evaluacija rizika od pristrasnosti generalizacije u pilot studijama u odnosu na efikasnost/efikasnost: sistematski pregled i meta-analiza.
The international journal of behavioral nutrition and physical activity
Sažetak istraživanja
Pozadina Preliminarne evaluacije bihevioralnih intervencija, koje se nazivaju pilot studije, prethodile su provođenju mnogih velikih ispitivanja efikasnosti/djelotvornosti. Sposobnost pilot studije da informiše ispitivanje efikasnosti/delotvornosti oslanja se na pažljivo razmatranje u dizajnu, isporuci i tumačenju pilot rezultata kako bi se izbegla preterana rana otkrića koja mogu dovesti do kasnijih neuspešnih ispitivanja efikasnosti/delotvornosti. "Rizik od pristranosti generalizacije (RGB)" u pilot studijama može smanjiti vjerovatnoću repliciranja rezultata u većem ispitivanju efikasnosti/djelotvornosti.
Cilj nam je bio da napravimo operativnu listu potencijalnih RGB-ova i da procenimo njihov uticaj u paru objavljenih pilot studija i većeg, snažnijeg ispitivanja na temu gojaznosti dece.
Metode Proveli smo sistematski pregled literature kako bismo identificirali objavljene pilot studije koje su imale objavljeno ispitivanje većeg obima iste ili slične intervencije. Pretrage su ažurirane i završene do 31. decembra 2018. Prihvatljive studije bile su bihevioralne intervencije koje uključuju mlade (≤18 godina) na temu koja se odnosi na gojaznost u djetinjstvu (npr. prevencija/liječenje, smanjenje težine, fizička aktivnost, ishrana, san, vrijeme ispred ekrana/sjedeće ponašanje). Izvučene informacije su uključivale karakteristike studije i sve ishode. Definisana je i kodirana lista od 9 RGB-ova: pristrasnost intenziteta intervencije, pristrasnost podrške implementaciji, pristrasnost agenta za isporuku, pristrasnost ciljne publike, pristrasnost trajanja, pristrasnost postavljanja, pristrasnost mjerenja, pristrasnost usmjerenog zaključka i pristrasnost ishoda. Tri recenzenta su nezavisno kodirala prisustvo RGB-ova. Meta-analize slučajnih efekata na više nivoa su sprovedene kako bi se istražila povezanost pristrasnosti i ishoda studije.
Rezultati Identificirano je ukupno 39 pilota i većih probnih parova. Učestalost pristrasnosti je varirala: pristrasnost agenta za isporuku (19/39 parova), pristrasnost trajanja (15/39), pristrasnost podrške implementaciji (13/39), pristrasnost ishoda (6/39), pristrasnost mjerenja (4/39), pristrasnost usmjerenog zaključka (3/39), pristrasnost ciljane publike (3/39), pristrasnost intenziteta intervencije/39 (bias pristrasnosti 1/39). U meta-analizama, agent za isporuku, podrška implementaciji, trajanje i pristranost mjerenja bili su povezani sa slabljenjem veličine efekta od - 0,325 (95CI - 0,556 do - 0,094), - 0,346 (- 0,640 do - 0,052), - 0,342 (- 0,6) i - 0,04. (-0,631 do -0,089), respektivno.
Zaključci Preventivno izbjegavanje RGB-ova tokom inicijalnog testiranja intervencije može smanjiti pad napona između pilota i većih ispitivanja efikasnosti/efikasnosti i povećati izglede za uspješan prevod.
Prikaži originalni naslov i sažetak na engleskom
Identification and evaluation of risk of generalizability biases in pilot versus efficacy/effectiveness trials: a systematic review and meta-analysis.
Background Preliminary evaluations of behavioral interventions, referred to as pilot studies, predate the conduct of many large-scale efficacy/effectiveness trial. The ability of a pilot study to inform an efficacy/effectiveness trial relies on careful considerations in the design, delivery, and interpretation of the pilot results to avoid exaggerated early discoveries that may lead to subsequent failed efficacy/effectiveness trials. "Risk of generalizability biases (RGB)" in pilot studies may reduce the probability of replicating results in a larger efficacy/effectiveness trial. We aimed to generate an operational list of potential RGBs and to evaluate their impact in pairs of published pilot studies and larger, more well-powered trial on the topic of childhood obesity.
Methods We conducted a systematic literature review to identify published pilot studies that had a published larger-scale trial of the same or similar intervention. Searches were updated and completed through December 31st, 2018. Eligible studies were behavioral interventions involving youth (≤18 yrs) on a topic related to childhood obesity (e.g., prevention/treatment, weight reduction, physical activity, diet, sleep, screen time/sedentary behavior). Extracted information included study characteristics and all outcomes. A list of 9 RGBs were defined and coded: intervention intensity bias, implementation support bias, delivery agent bias, target audience bias, duration bias, setting bias, measurement bias, directional conclusion bias, and outcome bias. Three reviewers independently coded for the presence of RGBs. Multi-level random effects meta-analyses were performed to investigate the association of the biases to study outcomes.
Results A total of 39 pilot and larger trial pairs were identified. The frequency of the biases varied: delivery agent bias (19/39 pairs), duration bias (15/39), implementation support bias (13/39), outcome bias (6/39), measurement bias (4/39), directional conclusion bias (3/39), target audience bias (3/39), intervention intensity bias (1/39), and setting bias (0/39). In meta-analyses, delivery agent, implementation support, duration, and measurement bias were associated with an attenuation of the effect size of - 0.325 (95CI - 0.556 to - 0.094), - 0.346 (- 0.640 to - 0.052), - 0.342 (- 0.498 to - 0.187), and - 0.360 (- 0.631 to - 0.089), respectively.
Conclusions Pre-emptive avoidance of RGBs during the initial testing of an intervention may diminish the voltage drop between pilot and larger efficacy/effectiveness trials and enhance the odds of successful translation.
Izvorni podaci
- DOI
- 10.1186/s12966-020-0918-y
- PMID
- 32046735
- PMCID
- PMC7014944
- Provjereno
- 2026-07-26
Naslov i sažetak prevedeni su automatski i prijevod može sadržavati netačnosti ili neprecizne stručne izraze. Za sve detalje, citiranje i medicinsko tumačenje pregledajte originalnu englesku verziju članka. Ne donosite zdravstvene odluke samo na osnovu ovog prijevoda.
Pregledaj originalni članak na engleskom