Poziom prac naukowych, reguły recenzowania i inne „reguły gry”

W internecie możemy przeczytać artykuł: Marek Ciesielski, Uniwersytet Ekonomiczny w Poznaniu Model rozprawy habilitacyjnej w naukach o zarządzaniu, Przegląd Organizacji 10/2011. Co sądzicie nt. sugerowanego przez Autora słabego poziomu tych prac i jego przyczyn? Według mnie Autor pominął dwa apsekty problemu: (1) problem poziomu prac habilitacyjnych nie różni się ogólniejszego problemu poziomu wszelkich prac naukowych (zarówno rygorowych, jak i wszytkich innych) oraz (2) Autor uwzględnił w swojej diagnozie efekty użycia zasobów intelektualnych autorów prac a pominął wpływ „reguł gry” czyli wpływ recenzentów i komisji na poziom prac, zarówno habilitacyjnych, jak i wszystkich innych. Co sądzicie? R.K.
PS1
Czy projekt habilitacyjnego badania empirycznego jest inny od nie-habilitacyjnych projektów badań empirycznych? Czy wkład empirycznego badania habilitacyjnego w rozwój nauki jest inny, niż wkład badań nie-hablitacyjnych?
PS2
A propos wpływu „reguł gry” czyli m.in. wpływu recenzentów na poziom prac habilitacyjnych – w Forum Akademickim 4/2011, w tekście Dobre praktyki w procedurach recenzyjnych cz II w pkt 5 możemy przeczytać , że „Recenzja powinna być logicznie spójna i utrzymana w tonie rzeczowym, nie może być zdawkowa, a jej konkluzje powinny być jasne i jednoznaczne”.
 Treść tego punktu jest bardzo ogólnikowa i nie przedstawia żadnych kryteriów metodologicznych oceny pracy naukowej. Dobra recenzja, to recenzja oceniająca pracę na podstawie kryteriów metodologicznych. Zła recenzja to taka, która je pomija. W odniesieniu do badań empirycznych, recenzja złej jakości to taka, która pomija ocenę standardowych elementów pracy empirycznej i zależności między nimi, np. pomija ocenę uzasadnienia problemu badawczego (w postaci luki w wiedzy o badanym problemie) i uzasadnienia hipotez pracy, pomimo że wylicza cytowane pozycje literaturowe i powtarza, co znajduje się w poszczególnych rozdziałach recenzowanej pracy lub podejmuje polemikę z treściami nieistotnymi metodologicznie (np „12 hipotez w pracy to zbyt duzo, jak na polskie standardy”. Następstwem niskiej jakości recenzji jest niska jakość recenzowanych prac naukowych przyjmująca postać np. braku uzasadnienia problemu badawczego hipotez i/lub błędnie skonstruowanych hipotez (błędnie, tzn tak, że nie można sprawdzić czy są prawdziwe czy fałszywe, bo są zdaniami np w trybie rozkazującym („Przedsiębiorstwa powinny…”) lub kryterium prawdziwości hipotezy jest niejasne („X jest istotnym czynnikem…”). Jeśli prace naukowe zawierające w.w. błędy w konstrukcji hipotez zostały opublikowane, to istnieją recenzje, których autorzy uznali takie błędy za niedyskwalifikujące ww prace jako prace naukowe.
Recenzja niskiej jakości, to m.in. taka, w której recenzent pisze, że: (1) autor pracy „przedstawił obszerne studia literaturowe, zawierajace dużą ilość źródeł”, a pomija ocenę, czy te studia są wystarczające do identyfikacji luki w dotychczasowej wiedzy i tym samym do uzasadnienia problemu badawczego i hipotez; (2) problem recenzowanej pracy jest „ciekawy”, „interesujący”, „ważny” „ważki” (co stanowi subiektywną opinię recenzenta) zamiast ocenić, czy autor uzasadnił swój problem badawczy= zidentyfikował lukę w dotychczasowej wiedzy na podstawie analizy wyników wcześniejszych badań teoretycznych i empirycznych.
Każdy z Was może przeprowadzić szybką analizę treści dowolnej recenzji pracy empirycznej z zarządzania: sprawdzić czy wystepuje w niej słowo „interesujący”, „ważny” (lub słowa bliskoznaczne) w ocenie problemu badawczego recenzowanej pracy oraz sprawdzić, czy występuje w niej słowo „uzasadnienie” (użyte do oceny problemu i hipotez recenzowanej pracy). W recenzjach, które czytam, wystepują słowa „interesujący”, „ważny” w ocenie problemów badawczych i hipotez, natomiast „uzasadnienie” rzadko lub wcale.
Innym źródłem niskiej jakości recenzji jest brak znajomości przez recenzenta źródeł cytowanych przez autora. Mam tutaj trzy przykłady: (1) pozytywny: znam recenzję, w której recenzent napisał, że autor sens cytowanego przez autora źródłą wymaga zmiany i poprosił autora o korektę – w ten sposób, recenzent, dzięki znajomości źródeł, poprawił jakość recenzowanej pracy, (2) dwa negatywne: (2a) czytałem opublikowany w 2015 artykuł w ogólnokrajowym wydawnictwie, w którym autor napisał m.in., że „autorzy najczęściej podkreślają pozytywny wpływ internacjonalizacji na wyniki przedsiębiorstwa (Hennart 2007)”. Przeczytałem artykuł: Hennart (2007) The Theoretical Rationale for a Multinationality” Performance Relationship. Management International Review. Był poświęcony: (1) brakowi zgodności badań co do wpływu internacjonalizacji na wyniki przedsiębiorstwa oraz (2) słabościom metodologicznym tych badań. Recenzent nie znał tekstu Hennarta i nie zasugerował autorowi korekty – słaba recenzja spowodowała opublikowanie artykułu zawierającego błąd merytoryczny, (2b) w artykule opublikowanym w ogólnokrajowym wydawnictwie w 2016 autorka napisała, że wykorzystała metodę „qualitative case research (scientific case studies)” i nie podała źródeł, w-g których mogę sprawdzić co to za metoda i na czym polega. Skądinąd wiem, że w badaniach naukowych jest wykorzystywana metoda case study research, której klasykami są R.Yin i K. Eisenhart, ale autorka artykułu nie spełniła wymogów tej metody ani nie przytoczyła źródeł metodologicznych zawierających te nazwiska. Natomiast recenzent artykułu uznał „scientific case research” za istniejącą metodę naukową i nie zasugerował autorce korekty polegającej na uwzględnieniu rygorów case study research oraz przytoczeniu właściwych źródeł metodologicznych.
Ponieważ celem recenzji jest wskazanie recenzowanemu jak ma poprawić swoją pracę, można wskazać jeszcze trzy naganne praktyki w recenzowaniu: (1) ocenianie samego recenzowanego przez m.in użycie słów: „autor nie rozumie…”, „autor nie wie…” zamiast wskazania błędów w recenzowanej pracy wraz ze sposobami ich skorygowania; (2) zadawnie recenzowanemu pytań, gdy procedura nie przewiduje odpowiedzi na te pytania; (3) zadawanie w recenzji pytań, na które recenzent sam nie zna odpowiedzi, np. „czy koszt kapitału mierzy się w procentach?”; (4) udzielanie wskazówek ogólnikowych, które nie pomagają w poprawie pracy, np. „znam wiele publikacji, które autor mógłby jeszcze wykorzystać”. RK

PS1
W związku z debatą o przyszłości szkolnictwa wyższego i nauki: „Jakie mają być nasze uczelnie i polska nauka”, uważam, że jednym z ważnych celów zmian jest poprawa jakości rencenzji prac naukowych. Sposobem realizacji tego celu jest wymaganie od recenzentów stosowania w.w. metodologicznych kryteriów oceny prac naukowych. Oczekiwanym efektem poprawy jakości recenzji jest poprawa jakości recenzowanych prac naukowych lub przynajmniej ograniczenie finansowania prac naukowych niskiej jakości.
Pogląd Obywateli Nauki zawarty w Pakcie dla Nauki (s.8): „Tylko odpowiednie nakłady pozwalają społeczeństwu uzyskać korzyści z nauki w postaci nowych technologii, wynalazków i dobrej edukacji. Finansowanie nauki na poziomie poniżej 1 % PKB to marnowanie publicznych pieniędzy” uzupełniłbym tak: wydawanie, w ramach 1% PKB, pieniędzy na finasowanie (wskutek niskiej jakości recenzji) badań niskiej jakości, to także marnowanie publicznych pieniędzy.

PS 1a
Recenzje doktorskie 2017.
Anegdota 1.
Recenzent pracy doktorskiej napisał m.in. takie dwa zarzuty:
1. „w pierwszym zdaniu wstępu, bez żadnego wprowadzenia, wymieniono od razu cele pracy”.
2.”Nie wiedzieć czemu, już we wstępie pracy wskazano implikacje menedżerskie, których należałoby się spodziewać w zakończeniu”.
Doktorantka, w odpowiedzi na te zarzuty, przedstawiła artykuł z European Journal of Marketing, w którym słowo „purpose” było w pierwszym zdaniu abstraktu a słowa „practical implications” są trzecim elementem abstraktu i odpowiedziała, że zamieszczanie celu i implikacji na początku tekstu jest standardem tego wydawcy. W ten sposób Recenzent zakwestionował dwa elementy jakości tekstu naukowego, który spełniał standardy konstrukcji tekstu przedstawijącego badanie empiryczne i tym samym wprowadził (używając prywatnych kryteriów oceny pracy doktorskiej) zamieszanie/niejasność w kwestii oceny tekstów naukowych. Efektem takich działań recenzentó jest zjawisko „lemon market” na rynku tekstów naukowych, tj. brak jasności (szczególnie wśród doktorantów, którzy czytają doktoraty i ich recenzje), które teksty naukowe są wysokiej jakości (spełniają standardy) a które nie.

Anegdota 2.
Recenzent pracy doktorskiej napisał m.in. takie dwa zdania:
1. „W recenzji, skoncentrowałem swoją uwagę na elementach polemicznych bądź ocenianych krytycznie (…) uważam, że główną wartością recenzji (…) jest wskazanie jej mankamentów”.
2. „praca porusza, z pewnością, ważki problem”.
ad 1. W tym zdaniu Recenzent naruszył zasadę, że ocena powinna zawierać ocenę wszystkich elementów metodologicznych tekstu naukowego (ocena uzasadnienia problemu i hipotez przez lukę badawczą, ocena konstruckcji hipotez, ocena metody (ocena definicji operacyjnych zmiennych, ocena sposobu generowania danych, ocena analizy danych, ocena wyników sprawdzania hipotez, ocena interpretacji wyników badania, ocena implikacji menedżerskich, ocena ograniczeń badania).
ad 2. Recenzent powinien ocenić, czy problem pracy jest uzasadniony identyfikacją luki badawczej w przeprowadzonych w pracy studiach literaturowych. Przedstawianie swojej prywatnej opinii w kwestii czy problem jest ważny (tutaj, dla ukrycia prywatności kryterium, mamy słowa „ważki” i „z pewnością”) nie stanowi kryterium metodologicznego oceny tekstu naukowego.

PS2
Oprócz reguł recenzowania, na jakość prac naukowych wpływają także procedury głosowań w przewodach kwalifikacyjnych (doktorskich, habilitacyjnych). Może tu działać kilka mechanizmów wpływających negatywnie na jakość prac naukowych.
Przykład 1: Podczas kolokwium habilitacyjnego, recenzent powiedział, żeby profesorowie nie wypowiadali się jak będą głosować, bo to narusza zasadę tajności głosowania. Potem, gdy ogłoszono wyniki głosowania i okazało się, że jest jeden głos przeciwny, recenzent ponownie zabrał głos i powiedział, że nie to on głosował przeciw. Mój komentarz: to pokazuje, że na sposób głosowania może wpływać nie tylko ocena jakości ocenianej pracy naukowej, ale także presja grupy oraz że presja grupy jest silna.
Przykład 2. Jeśli na komisjach decydujących o otwarciu przewodu doktorskiego, promotor pracy nie wychodzi z sali na czas dyskusji i głosowania komisji, to wpływa to na tę dyskusję i na wynik głosowania, szczególnie gdy jest jawne. Poza tym, spotkałem się z poglądem, że nawet jeśli projekt pracy doktorskiej ma wady (np. brak uzasadnienia problemu i hipotez) , to komisja powinna zaufać promotorowi w kwestii poprawy jakości tej pracy w dalszych etapach pracy nad nią. Niestety, efektem takiego poglądu jest to, że następny projekt (na następnym posiedzeniu) ma takie same wady.
Przykład 3. Na komisjach habilitacyjnych głosowanie jest jawne, chyba że habilitant sam wniesie o tajne głosowanie w swojej sprawie. Wypowiedzi członków komisji o tym jak będą głosować stwarzają presję grupy na pozostałych głosujących.Instytucjanalna („reguły gry”) eliminacja wpływu głosujących na innych głosujących polega na zachowaniu zasady tajności głosowania. Najprostszą realizacją tej zasady jest przypominanie przez przewodniczącego komisji o tajności głosowań i o powstrzymanie się głosujących od wypowiedzi o tym, jak będą za chwilę głosować.

Trzecim (oprócz reguł recenzowania i procedur głosowań) elementem instytucjonalnym („reguły gry”) wpływjącym na jakość prac naukowych jest kultura dyskusji nt. prac naukowych (na obronach, konferencjach, w komisjach). Wydaje mi się, że prostą zasadą kultury dyskusji o pracy empirycznej jest wykorzystywanie jako argumentów: (1) elementów (problemów i hipotez wraz z uzasadnieniami, metod, wyników, implikacji menedżerskich, ograniczeń) wcześniejszych badań empirycznych lub teorii związanych z badaniem, którego dotyczy dyskusja lub (2) zasad metodologicznych (np. ocena konstrukcji hipotez), bo one dotyczą każdego badania naukowego. Argumenty skonstruowane w powyższy sposób są kontrolowalne dla dyskutujących. Dyskutant używający w wypowiedziach ww argumentów musi znać (przynajmniej w minimalnym zakresie) teorie i/lub badania empiryczne dotyczące badania, o których dyskutuje. Bywam, niestety, świadkiem dyskusji nt prezentowanych prac naukowych (w komisjach, na obronach, na konferencjach), w których dyskutanci nie powołują się ani na teorie ani na badania empiryczne związane z dyskutowaną pracą, ani na zasady metodologiczne nauki. Efektem takich wypowiedzi jest zamieszanie w dyskusji oraz wzrost subiektywności/niejasności/dowolności co do kryteriów oceny pracy, której dotyczy dyskusja, co zwiększa ryzyko uznania pracy naukowej o złej jakości za dobrą i odwrotnie. Tak działa mechanizm „lemon market” w nauce.
Ostatnio usłyszałem takie dwie, wprowadzające zamieszanie do „reguł gry”, wypowiedzi profesorów nt. uzasadnienia problemu badawczego: (1) „nie trzeba uzasadniać problemu badawczego, gdy autor projektu robi badanie jako pierwszy i nie ma jeszcze podobnych badań na świecie” (2) „nie trzeba uzasadniać problemu badawczego za pomocą analizy artykułów z literatury światowej, bo nie wiadomo kim są autorzy tych artykułów” (sic!). Takie wypowiedzi wprowadzają zamieszanie w „regułach gry” rozróżniania między pracami wyższej jakości (tj. zawierających uzasadnienie problemu badawczego) i niskiej jakości (tj. projektów które nie zawierają uzasadnienia problemu badawczego). Nawiasem mówiąc, żaden z w.w. profesorów nie opublikował pracy naukowej pt „Projekt badawczy nie musi mieć uzasadnienia”, ale nie używają oni uzasadnienia problemu jako kryterium oceny projektów badawczych. Wobec tego, mamy tutaj do czynienia z czymś w rodzaju „powielaczowej metodologii” badań naukowych – czymś bardzo niedobrym w „regułach gry”. RK

Word, papier i kultura dyskusji – anegdota
Ostatnio byłem na posiedzieniu komisji oceniającej projekty badań naukowych. Miałem projekty (dokumenty po ok. 15 stron tekstu) w wordzie w otwartm komputerze. Pozostali uczestnicy mieli wydruki projektów. Dwa razy, sprawdzając za pomocą Ctrl/f zorientowałem się, że członkowie komisji mówili o zmiennych wyjaśnianych, których w projektach nie było, a słuchający, (nie mogli znaleźć wystarczająco szybko odpowiednich fragmentów tekstu w wydrukach?) dyskutowali o tych, nieistniejącyh zmiennych. Dwa razy (po użyciu Ctrl/f) zwróciłem uwagę komisji, że dyskutuje o zmiennych, których nie ma w ocenianych projektach. Zastanawiam się, czy traktować to zdarzenie jako wpływ „kwestii technicznych”, czy „kultury dyskusji” na jakość tekstów naukowych? RK

Kultura dyskusji naukowej na konferencji – anegdota
Jeden z profesorów powiedział na konferencji naukowej (2016) takie zdanie: „Nowoczesne technologie mogą zwiększyć racjonalność konsumentów”. Zapytałem gdzie widział (czy może podać źródło) badanie empiryczne, w którym sprawdzono (z pozytywnym wynikiem) taką hipotezę oraz jak została zoperacjonalizowana (zmierzona) zmienna wyjaśniana „racjonalność konsumenta”. W odpowiedzi usyszałem, że jestem zwolennikiem „płaskiego empiryzmu”. Moja ocena wypowiedzi i odpowiedzi profesora jest taka: (1) Profesor wypowiedział zdanie przedstawiające prawidłowość („A wpływa pozytywnie na B”), z wykorzystaniem kategorii „racjionalność konsumenta” bez odwołania się do stanu badań oraz operacjonalizacji tej kategorii, (2) używając słowa „może” uzyskał efekt podobny do Newtona, gdyby ten powiedział: „Siła przyłożona do ciała MOŻE spowodować jego ruch przyspieszony…, albo nie”, (3) zamiast odpowiedzieć na moje pytanie, ocenił mnie negatywnie (mam tutaj na myśli użycie słowa „płaski”, nie mam tutaj na myśli użycia słowa „empiryzm”).
Na tej samej, dwudniowej konferencji, wśród kilkudziesięciu wypowiedzi uczestników paneli, zaledwie kilka (max. 5-6) wypowiedzi było opartych na jakichkolwiek (światowych lub własnych) identyfikowalnych badaniach, w tym prawie wszystkie dotyczyły badań opisowych. Zidentyfikowałem tylko jedną wypowiedź dotyczącą problemu typu wyjaśniającego (zależności przyczynowo-skutkowe). Żadna wypowiedź panelistów nie dotyczyła (ani wyników ani metod) badań eksploracyjnych (tj. takich, których wynikiem są nowe hipotezy = sugestie teoretyczne).
Moja ocena tych wypowiedzi konferencyjnych jest następująca: Naukowcy dyskutują o stanie badań w swoich dyscyplinach, tj. o teoriach (sugestiach teoretycznych, hipotezach), wynikach ich empirycznego sprawdzania i o metodach, za pomocą których te wyniki uzyskano. Im bardziej dyskusja (na konferencji, w katedrze) dotyczy ww stanu badań, tym jakość tej dyskusji jest wyższa, Moje „implikacje menedżerskie” są następujące: (2) Organizatorzy konferencji powinni starać się, żeby ich realizacja zapewniła przegląd stanu badań, łącznie z uwzględnieniem odpowiedzi na dwa klasyczne pytania dotyczące wszelkich przeglądów stanu badań (zarówno w artykułach przedstawiających badania empiryczne, jak i w artykułach typu „review”: (1) Co już wiemy (jakie prawidłowości zostały potwierdzone lub nie) oraz (2) co chcielibyśmy wiedzieć (jakie są luki w dotychczasowej wiedzy i , tym samym, co pozostaje do zbadania).

O jakości badań naukowych przeczytacie także w Ranking uczelni, Hirsch i lista A

Komentarze

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *