Keywords
response process validity
think-aloud protocol
measure-ments validity
COVID-19 vaccination
How to Cite
Number of views: 21
Number of downloads: 10
Abstract
This article presents the translation and cross-cultural adaptation of the Polish version of the Perceived Argument Strength Scale (PAS-PL), along with a pilot study of response process validity in the context of arguments concerning COVID-19 vaccination. The adaptation followed international guidelines for the translation of psychometric instruments, using a bidirectional (forward–backward) translation procedure. Response processes were examined using the think-aloud method in a sample of ten students. Four categories of response problems were identified (confusion, disengagement, general response difficulties, and reactivity), and the reliability of protocol annotation was high (Krippendorff’s α = 0.808). In 83% of observations, no problems with interpretation or responding were detected. Exploratory analyses using a mixed-effects model indicated that problems occurred less frequently during the second administration of the questionnaire; a directionally consistent but statistically uncertain tendency was also observed for more frequent problems when selecting the midpoint response. The findings provide preliminary evidence for the response process validity of the PAS-PL and outline directions for further psychometric validation of the instrument.
Funding
Finansowane częściowo z grantu nr 2020/39/D/HS1/00488 Polskiego Centrum Nauk
References
Ajzen, I. (1991). The theory of planned behavior. Organizational Behavior and Human Decision Processes, 50(2), 179–211. DOI: https://doi.org/10.1016/0749-5978(91)90020-T
Barkaoui, K. (2010). Think-aloud protocols in research on essay rating: An empirical study of their veridicality and reactivity. Language Testing, 28(1), 51–75. DOI: https://doi.org/10.1177/0265532210376379
Bigsby, E., Cappella, J.N., Seitz, H.H. (2013). Efficiently and effectively evaluating public service announcements: Additional evidence for the utility of perceived effectiveness. Com-munication Monographs, 80(1), 1–23. DOI: https://doi.org/10.1080/03637751.2012.739706
Borsboom, D. (2005). Measuring the Mind: Conceptual Issues in Contemporary Psychometrics. Cambridge: Cambridge University Press. DOI: https://doi.org/10.1017/CBO9780511490026
Borsboom, D., Mellenbergh, G.J., Van Heerden, J. (2004). The concept of validity. Psychological Review, 111(4), 1061–1071. DOI: https://doi.org/10.1037/0033-295X.111.4.1061
Brinkman, J.A. (1993). Verbal protocol accuracy in fault diagnosis. Ergonomics, 36(11), 1381–1397. DOI: https://doi.org/10.1080/00140139308968007
Cronbach, L.J., Meehl, P.E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281. DOI: https://doi.org/10.1037/h0040957
Darker, C.D., French, D.P. (2009). What sense do people make of a theory of planned behaviour questionnaire? A think-aloud study. Journal of Health Psychology, 14(7), 861–871. DOI: https://doi.org/10.1177/1359105309340983
Dillard, J.P., Weber, K.M., Vail, R.G. (2007). The relationship between the perceived and actual effectiveness of persuasive messages: A meta-analysis with implications for formative campaign research. Journal of Communication, 57(4), 613–631. DOI: https://doi.org/10.1111/j.1460-2466.2007.00360.x
Durning, S.J., Artino Jr, A.R., Beckman, T.J., Graner, J., Van Der Vleuten, C., Holmboe, E., Schuwirth, L. (2013). Does the think-aloud protocol reflect thinking? Exploring functional neuroimaging differences with thinking (answering multiple choice questions) versus thinking aloud. Medical Teacher, 35(9), 720–726. DOI: https://doi.org/10.3109/0142159X.2013.801938
Eemeren, F.H., van, Garssen, B., Krabbe, E.C.W., Snoeck Henkemans, A.F., Verheij, B., Wagemans, J.H.M. (2014). Handbook of Argumentation Theory. Dordrecht: Springer Netherlands. DOI: https://doi.org/10.1007/978-90-481-9473-5
Ericsson, K.A., Simon, H.A. (1980). Verbal reports as data. Psychological Review, 87(3), 215–251. DOI: https://doi.org/10.1037/0033-295X.87.3.215
Ericsson, K.A., Simon, H.A. (1993). Protocol Analysis: Verbal Reports as Data. Cambridge, MA: MIT Press. DOI: https://doi.org/10.7551/mitpress/5657.001.0001
Falk, E.B., O’Donnell, M.B., Tompson, S., Gonzalez, R., Dal Cin, S., Strecher, V., Cum¬mings, K.M., An, L. (2015). Functional brain imaging predicts public health campaign success. Social Cognitive and Affective Neuroscience, 11(2), 204–214. DOI: https://doi.org/10.1093/scan/nsv108
French, D.P., Cooke, R., Mclean, N., Williams, M., Sutton, S. (2007). What do people think about when they answer Theory of Planned Behaviour questionnaires? A think aloud study. Journal of Health Psychology, 12(4), 672–687. DOI: https://doi.org/10.1177/1359105307078174
Hambleton, R.K., Zenisky, A.L. (2010). Translating and adapting tests for cross-cultural assessments. W: D. Matsumoto, F.J.R.E. van de Vijver (red.), Cross-cultural Research Methods In Psychology (s. 46–70). Cambridge: Cambridge University Press. DOI: https://doi.org/10.1017/CBO9780511779381.004
Hu, J., Gao, X.A. (2017). Using think-aloud protocol in self-regulated reading research. Educational Research Review, 22, 181–193. DOI: https://doi.org/10.1016/j.edurev.2017.09.004
Iliescu, D. (2017). Translation designs. W: Adapting Tests in Linguistic and Cultural Situations (s. 355–414). Cambridge: Cambridge University Press. DOI: https://doi.org/10.1017/9781316273203
Karabenick, S.A., Woolley, M.E., Friedel, J.M., Ammon, B.V., Blazevski, J., Bonney, C.R., De Groot, E., Gilbert, M.C., Musu, L., Kempler, T.M., Kelly, K.L. (2007). Cognitive processing of self-report items in educational research: Do they think what we mean? Educational Psychologist, 42(3), 139–151. DOI: https://doi.org/10.1080/00461520701416231
Kleka, P. (2021). Trafność pomiaru w praktyce psychometrycznej. Badanie empiryczne. Poznań: Wydawnictwo Nauk Społecznych i Humanistycznych UAM w Poznaniu.
Krippendorff, K. (2019). Content Analysis: An Introduction to Its Methodology (wyd. 4). Thousand Oaks, CA: Sage Publications. DOI: https://doi.org/10.4135/9781071878781
Li, D. (2004). Trustworthiness of think-aloud protocols in the study of translation processes. International Journal of Applied Linguistics, 14(3), 301–313. DOI: https://doi.org/10.1111/j.1473-4192.2004.00067.x
Markus, K.A., Borsboom, D. (2013). Frontiers of test validity theory: Measurement, causation, and meaning. New York: Routledge. DOI: https://doi.org/10.4324/9780203501207
Obrębska, M., Konat, B., Kleka, P., Kiljan, K., Dembska, N. (2025). Personality traits and argumentation style as factors in perceived argument strength in natural conditions of competitive debating: The role of psychological matching of speaker and listener. SSRN. DOI: https://doi.org/10.2139/ssrn.5416998
Russo, J.E., Johnson, E.J., Stephens, D.L. (1989). The validity of verbal protocols. Memory & Cognition, 17(6), 759–769. DOI: https://doi.org/10.3758/BF03202637
Wetzel, E., Böhnke, J.R., Brown, A. (2016). Response biases. W: F.T.L. Leong, D. Iliescu (red.), The ITC International Handbook of Testing and Assessment (s. 349–363). Oxford: Oxford University Press. DOI: https://doi.org/10.1093/med:psych/9780199356942.003.0024
Zhao, X., Strasser, A., Cappella, J.N., Lerman, C., Fishbein, M. (2011). A measure of perceived argument strength: Reliability and validity. Communication Methods and Measures, 5(1), 48–75. DOI: https://doi.org/10.1080/19312458.2010.547822
License
Copyright (c) 2026 Paweł Kleka, Robert Szymański, Barbara Konat
This work is licensed under a Creative Commons Attribution 4.0 International License.
1. W momencie złożenia pracy celem rozpoczęcia postępowania w sprawie publikacji, Licencjodawca, zwany dalej Autorem, akceptuje wszystkie zasady umieszczone na stronie internetowej czasopisma “Człowiek i Społeczeństwo”, udzielając Licencjobiorcy, zwanego dalej Wydawcą, niewyłącznej i nieodpłatnej licencji na korzystanie z Utworu. Licencja zakłada tym samym brak ograniczeń terytorialnych, czasowych oraz ilościowych na następujących polach eksploatacji (art. 50 ustawy z dnia 4 lutego 1994 r. o prawie autorskim i prawach pokrewnych):
a. utrwalanie Utworu;
b. zwielokrotnienie Utworu drukiem i w wersji cyfrowej;
c. wprowadzenie do obrotu, użyczenie lub najem oryginału/zwielokrotnionych egzemplarzy Utworu;
d. publiczne wykonanie, wystawienie, wyświetlenie, odtworzenie oraz nadawanie i reemitowanie, a także publiczne udostępnianie Utworu w taki sposób, aby każdy mógł mieć do niego dostęp w miejscu i w czasie przez siebie wybranym;
e. włączenie Utworu w skład utworu zbiorowego;
f. wprowadzenie Utworu w postaci elektronicznej na platformy elektroniczne lub inne wprowadzenie Utworu w postaci elektronicznej do Internetu, Intranetu, Extranetu lub innej sieci;
g. rozpowszechnianie Utworu w wersji elektronicznej w Internecie, Intranecie, Extranecie lub innej sieci, w pracy zbiorowej, a także samodzielnie w formule Open Access w oparciu o licencję Creative Commons Uznanie autorstwa 4.0 Międzynarodowa Licencja Publiczna (CC BY 4.0), a także inną wersję językową tej licencji, lub którąkolwiek późniejszą wersję tej licencji.
2. Założenia licencji Creative Commons Uznanie autorstwa 4.0 Międzynarodowa Licencja Publiczna (CC BY 4.0), udzielają Wydawcy upoważnienia do kopiowania, zmieniania, rozprowadzania, przedstawiania i wykonywania Utworu jedynie pod warunkiem uznania autorstwa.
3. Wraz z dostarczeniem Utworu, Autor zobowiązuje się do wypełnienia, podpisania oraz odesłania skanu umowy