ЕКСПЕРИМЕНТАЛЬНА ПСИХОЛОГІЯ
Тема 6. Планування експерименту
Під плануванням експерименту в психології розуміють забезпечення умов його проведення у відповідності із бездоганним експериментом. Логіка планування базується на індуктивних висновках, які стосуються можливості розгляду незалежної змінної як фактора, що обумовлює експериментальний ефект.
При цьому, згідно з підходом Дж. Мілля, розглядають дві схеми, найпоширеніші у практиці експериментування.
Метод згоди.
Якщо дві сукупності змінних викликають один і той
Якщо (А, В, X) → Y і (С, D, Х) → Y, то X → Y.
Метод розрізнення.
Якщо група змінних, що містить фактор X, викликає ефект Y, а та ж група без фактора X призводить до негативного ефекту (-Y), то У обумовлений X:
Якщо (А, В, С, X) → Y і (А, В, С) → (-Y), то X → Y.
Планування експерименту спрямоване як на розв’язання змістових проблем – конкретизацію й операціоналізацію незалежної, залежної і додаткової змінних, так і на вибір процедури дослідів з метою реалізації зазначеного індуктивного висновку щодо причинної обумовленості залежної
У зв’язку з цим виокремлюють відповідні форми планування. Зокрема, змістове планування передбачає:
– обгрунтування конструктної й операціональної валідності експерименту;
– розв’язання проблеми досягнення внутрішньої і зовнішньої валідності на основі обгрунтування експериментальної гіпотези, її операціоналізації і використання відповідних методичних процедур виміру змінних таким чином, щоб не втратити специфіку психічної реальності;
– здійснення вибору плану як форми експериментального контролю відповідно до особливостей базисного процесу, що реконструюється в експерименті згідно з його розумінням у рамках певної теорії.
Наприклад, у дослідженнях мотивації як базисного процесу за умови співвіднесення її особливостей з факторами ситуації план експерименту буде передбачати саме реалізацію відповідних факторів-ситуацій для актуалізації цього феномена. Якщо ж мотивація пов’язується з властивими особистості диспозиціями, план експерименту буде передбачати насамперед підбір груп таким чином, щоб забезпечити функціональний контроль цих мотиваційних диспозицій.
Формальне планування спрямоване на вибір схеми, тобто плану організації впливу незалежної змінної на залежну. План у цьому контексті представляє логічну схему, яка визначає характер і порядок різних фаз експерименту, кількість дослідів, контроль факторів, що загрожують валідності експерименту, тощо. Тут, згідно з Р. Готтсданкером, аналізується:
– чи пропонуються умови незалежної змінної одному й тому ж досліджуваному, чи різним групам людей; у першому випадку говорять про інтра-індивідуальні схеми, в другому – про міжгрупові; проміжним варіантом до зазначених схем є крос-індивідуальні схеми, в яких пропонується пред’явлення всіх умов незалежної змінної кожному досліджуваному, але подають їх у певній, як правило, позиційно вирівняній послідовності;
– чи можливо виокремлення одиничної незалежної змінної, чи незалежна змінна подається спільно з іншими умовами, що повинні бути співвіднесені з особливостями зовнішньої реальності, на яку планується поширити експериментальні результати;
– чи контролюються всі можливі джерела виникнення артефактів з боку побічних змінних, зокрема систематичне змішування незалежної і побічних змінних або супутнє змішування різних незалежних змінних;
– чи планується схема дослідження впливу однієї незалежної змінної чи кількох (факторна схема), чи передбачається при цьому кількісний вимір результату дії незалежної змінної (і взаємодії незалежних змінних у факторних експериментальних схемах);
– чи досягається найкраща репрезентативність реального експерименту в порівнянні з замисленим, бездоганним експериментом.
Формальне планування часто поєднується з обгрунтуванням достовірності або значущості отриманих емпіричних результатів. Тут важливо визначити, чи потрібне статистичне рішення, чи експериментальний ефект “б’є в очі” (йдеться про експеримент, у якому очікується настільки велика різниця між умовами, що статистичне рішення не потрібне).
У разі встановлення необхідності статистичного рішення, коли передбачається наявність відносно невеликої, але стійкої різниці між умовами, визначається, яким чином буде оцінюватися експериментальний ефект (за якими мірами зв’язку і відмінності), яким буде мінімальний ефект, достатній для судження про значущість відмінностей (зв’язків), а також ймовірність помилки 1-го і 2-го роду (або альфа і бета-рівень) .
Слід зауважити, що взагалі планування експерименту можливе за таких умов:
– наявність більш ніж одного рівня незалежної змінної, зокрема, наявність активних і пасивних станів незалежної змінної (оскільки висновок про експериментальний вплив грунтується на порівнянні показників залежної змінної в різних умовах незалежної змінної);
– можливість виміру змінних за однією з видів шкал (номінальній, порядку, інтервалів чи шкали відношень);
– можливість функціонального контролю рівнів незалежної змінної, коли дослідник може реально маніпулювати цією змінною або здійснювати контроль шляхом підбору груп досліджуваних (інакше, коли дослідник використовує вже “готові” значення незалежної змінної як результати психодіагностики, він не може бути впевненим, що саме незалежна змінна визначила залежну);
– формальне планування (вибір експериментальної схеми) дає можливість досягти внутрішньої валідності експерименту, гарантувати компенсацію артефактів (систематичне змішування і супутню несистематичну мінливість незалежної змінної з часом, ефекти послідовності, комунікативні артефакти тощо), забезпечити максимально можливе наближення до експерименту повної відповідності.
Типи планування виокремлюють:
– залежно від характеру динаміки незалежної змінної (якісне і кількісне);
– залежно від схеми порівняння (інтраі-ндивідуальний, міжгруповий, крос-індивідуальний);
– залежно від кількості незалежних змінних (простий і факторний) .
Простий план, або план для однієї незалежної змінної, може бути реалізований у трьох варіантах. Перший варіант – план із попереднім і підсумковим тестуванням: передтест – експериментальний вплив – посттест (табл. 4). За цим планом можливе здійснення чіткого контролю внутрішньої валідності за рахунок зіставлення результатів експериментальної і контрольної груп. Водночас за такого плану існує загроза артефакту через вплив результатів тестування на досліджуваних і, отже, змішування тестового й експериментального впливу. Це обумовлено тим, що зміст тестових і експериментальних завдань, як правило, подібний (оскільки в тестуванні вимірюється залежна змінна) і, отже, можлива сенсибілізація – підвищення чутливості досліджуваних до експериментального впливу. Крім того, джерелом артефактів може стати неодночасність тестування в обох групах одним експериментатором. Цей ефект неодночасності вимірювання частково долається в результаті рандомізації, коли досліджуваних з експериментальної і контрольної груп тестують у випадковому порядку.
Таблиця 4
План із попереднім і підсумковим тестуванням
Передтест | Посттест | |
Експериментальна група | О1 | О2 |
Контрольна група | О3 | О4 |
Тут порівнюють 1) О1 і О2, 2) О3 і О4, 3) О2 і О4 (наприклад, за г-критерієм Стьюдента чи f-критерієм Фішера). Вплив незалежної змінної констатується, коли перша різниця є значущою, друга є незначущою, третя є значущою.
Оскільки для таких планів існує загроза зовнішньої валідності, іноді використовують другий варіант плану – план для двох рандомізованих груп із тестуванням після впливу, коли групи вирівнюються за технікою рандомізації, після чого здійснюється експериментальний вплив:
Експериментальна група (ЕГ): R X О1;
Контрольна група (КГ): R О2,
Де R – рандомізація, X – експериментальний вплив, О1 і О2 – тестування експериментальної і контрольної груп відповідно.
Тут, оскільки попереднє тестування відсутнє, попереджено прояв ефекту взаємодії тестування і змісту експериментального впливу. У цьому випадку виникає інша проблема: оскільки вихідний рівень залежної змінної невідомий, важко оцінити силу впливу (що не підходить для експериментів, наприклад, у педагогічній психології, коли, скажімо, необхідно оцінити ефекти навчання). Крім того, рандомізація не гарантує абсолютну правильність відбору досліджуваних в еквівалентні групи.
Ці недоліки враховуються в плані Р. Соломона, який об’єднує два зазначених плани. За цим планом беруться дві контрольні групи і дві експериментальні, в одній парі проводять попереднє тестування, а в іншій – ні:
ЕГ1: R О1 X О2;
КГ1: R О3 О4;
ЕГ2: R X О5;
КГ2: R О6.
Тут можна виявити взаємодію тестування і експериментального впливу шляхом порівняння О2 і О4 з О5 і О6 відповідно. Сам експериментальний вплив може бути перевірений шляхом порівняння результатів посттестів О2 і О5 з одного боку, з результатами посттестів О4 і О6 – з другого.
Вплив неекспериментальних подій може бути проаналізований шляхом порівняння різниці передтесту і посттесту в КГ1. Якщо в даній групі спостерігаються зміни, то це може свідчити про те, що навіть за відсутності експериментального впливу існують інші, неекспериментальні фактори, які сприяють змінам у поведінці досліджуваних. Уточнити вплив ефектів природного розвитку, фону в цілому можна, порівнюючи О6 і О1, О6 і О3.
Д. Кемпбелл спростив запропоновані Р. Соломоном порівняння, звівши дані до такої схеми (табл. 5):
Таблиця 5
Схема дослідження експериментального впливу за планом Д. Кемпбелла
Попереднє тестування | Вплив є | Впливу нема |
Проводилося | О2 | О4 |
Не проводилося | О5 | О6 |
За цією схемою порівняння середніх у стовпчиках за допомогою дисперсійного аналізу дозволяє зробити висновок про вплив незалежної змінної на залежну.
Слід зауважити, що для зазначених планів можна встановити вплив незалежної змінної, але не його якісні характеристики, форму залежності між незалежною і залежною змінною. Останнє можна виявити, якщо використати системний експериментальний план, за яким обирається кілька рандомізованих груп, кожній з яких пропонується свій рівень незалежної змінної (при цьому вибирається стільки експериментальних груп, скільки є рівнів незалежної змінної). Наприклад:
ЕГ1: R Х1 01;
ЕГ2: R Х2 02;
КГ: R 03,
Де Х1 і Х2 – рівні незалежної змінної X. При цьому в даному випадку контрольну групу розглядають як експериментальну, для якої рівень незалежної змінної X = 0.
Факторний план передбачає перевірку впливу на залежну змінну кількох незалежних змінних. За такими планами, як правило, перевіряються не тільки можливості впливу кожної з незалежних змінних, а й як кожна з незалежних змінних впливає одна на одну, тобто визначається взаємодія змінних (що можливо, наприклад, за дисперсійним аналізом Фішера). Для цього у факторному плані передбачається поєднання рівнів незалежної змінної один із одним. Кількість цих поєднань визначає кількість експериментальних груп.
Наприклад, для двох незалежних змінних А і В, кожна з яких має два рівні: А1 і А2, В1 і В2, можливі 4 поєднання цих змінних (табл. 6), яке потребує 4 еквівалентні групи досліджуваних.
Таблиця 6
Факторний план для двох незалежних змінних із двома рівнями кожна (план 2×2)
А1 | А2 | |
В1 | 1 | 2 |
В2 | 3 | 4 |
Використання такого плану має певні переваги. Наприклад, у дослідженні впливу очікування досліджуваного на час його реакції П. Фресс визначив як незалежні змінні час очікування (змінна А) і умови очікування (змінна В). Рівнями цих незалежних змінних було визначено:
А1 – короткий час очікування (20 с);
А2 – довге очікування (60 с);
В1 – нейтральні умови очікування;
В2 – умови очікування “зі страхом” (очікування неприємної для досліджуваних процедури).
При вивченні впливу очікування на час реакції за умови нейтрального очікування й очікування “зі страхом” можна встановити вплив тривалості очікування і характеру очікування. Крім того, як видно з табл. 6, такий план дає можливість зменшити кількість груп (оскільки, якщо варіювати тільки одну змінну, необхідно перевірити А1 і А2 за умови В1, потім за умови В2, а також В1 і В2 за умови А1 та за умови А2, тобто необхідно було б здійснити 8 дослідів і, отже, без зазначеного плану необхідно було б 8 груп, а не 4) .
Важливо, що результати, отримані за таким планом, дають можливість зробити більш широкі висновки. Наприклад, перегрупувавши результати, ми отримуємо можливість перевірити:
– вплив короткотривалого очікування А1: 1+3;
– вплив довготривалого очікування А 2: 2+4;
– вплив нейтрального очікування В1: 1+2;
– вплив очікування “зі страхом” В2: 3+4, а також порівняти ці результати із загальним впливом характеру очікування.
Існує також можливість визначити взаємодію незалежних змінних, коли дія однієї з них на залежну змінну залежить від значення іншої. Наприклад, можна виявити, чи залежить характер очікування від тривалості очікування або чи очікування “зі страхом” по-різному впливає на час реакції залежно від часу очікування. Це можна встановити, порівнюючи порядок відмінності між 1 і 2 з відмінностями між 3 і 4. Якщо ці відмінності одного порядку – взаємодії нема, якщо різного – є.
Слід зауважити, що вже для трьох незалежних змінних навіть тільки з двома рівнями кожна необхідно вже значно більше експериментальних груп. Наприклад, якщо в зазначеному дослідженні нас, крім часу і умов очікування, буде цікавити вплив особистісних характеристик досліджуваних (зокрема, рівень тривожності), необхідно буде вже до участі в дослідженні залучити 2x2x2 = 8 груп (табл. 7).
Таблиця 7
Факторний план для трьох незалежних змінних (2x2x2)
Природа очікування | Очікування | Низький рівень тривожності | Високий рівень тривожності |
Нейтральне очікування | Короткочасне | 1 | 2 |
Тривале | 3 | 4 | |
Очікування “зі страхом” | Короткочасне | 5 | 6 |
Тривале | 7 | 8 |
Загалом, для двох незалежних змінних, що мають К і Т рівнів відповідно, необхідно КхТ груп (і, відповідно, КхТ клітин плану), а для трьох змінних, що мають, відповідно, К, Т, М рівнів, необхідно КхТхМ груп.
Очевидно, що було б бажано спростити процедуру дослідження, зменшивши кількість груп, але зберігши підхід факторного експерименту. Це можливо за умови використання планів за методом латинського і греко-латинського квадрата.
Планування за методом латинського квадрата передбачає, що кожна пара рівнів незалежної змінної має реалізовуватися тільки один раз. Наприклад, для трьох змінних із трьома рівнями змінних кожна в звичайному факторному плані необхідно було б 3x3x3 = 27, тоді, як для даного виду планування необхідно всього 9 груп (табл. 8).
Таблиця 8
Планування за методом латинського квадрата
К1 | К2 | К3 | |
Т1 | М1 | М2 | М3 |
Т2 | М2 | М3 | М1 |
Т3 | М3 | М1 | М2 |
Тут К1, К2, К3 – модальності (рівні) першої змінної К;
М1, М2, М3 – модальності другої змінної М;
Т1, Т2, Т3 – модальності третьої змінної Т.
Для попереднього прикладу експерименту П. Фресса таблицю можна перетворити за латинським квадратом таким чином (табл. 9).
Таблиця 9
План експерименту П. Фресса за методом латинського квадрата
Низький рівень тривожності (С1) | Високий рівень тривожності (С2) | ||
Очікування | Нейтральне (51) | Короткочасне очікування (А1) | Довготривале очікування (А2) |
“зі страхом” (52) | Довготривале очікування (А2) | Короткочасне очікування (А1) |
При цьому можна використовувати одних і тих самих досліджуваних, якщо не існує загрози ефектів послідовності, й еквівалентні групи, якщо така загроза існує.
Планування за методом греко-латинського квадрата дає змогу дослідити вплив чотирьох незалежних змінних, використовуючи мінімально можливу кількість груп. Для цього в плані за латинським квадратом до кожної латинської букви приєднують грецьку, яка відповідає значенням четвертої незалежної змінної. Розподіл грецьких букв відбувається за тим самим правилом, що й розподіл латинських, тобто є повним у кожному рядку і стовпчику, з’являючись у кожному з них тільки один раз (табл. 10).
Таблиця 10
План за методом греко-латинського квадрата
К1 | К2 | К3 | |
Т1 | М1α | М2 β | М3 γ |
Т2 | М2γ | М3α | М1β |
ТЗ | М3β | М1γ | М2α |
Тут К1, К2, К3 – модальності першої змінної К;
М1, М2, М3 – модальності другої змінної М;
Т1, Т2, Т3 – модальності третьої змінної Т;
α, β, γ – модальності четвертої змінної.
Отже, всі факторні плани грунтуються на одному принципі: перегрупування окремих результатів і порівняння їх із сукупністю інших результатів, що дає можливість виявити взаємодію змінних. У розглянутих планах, як правило, використовуються міжгрупові схеми порівняння, коли різні групи досліджуваних підлягають впливу різних експериментальних умов. У цьому разі порівняння результатів стає можливим за умови використання еквівалентних груп.
Водночас у цьому випадку неможливо встановити, яким чином впливають незалежні змінні на залежну, тобто встановити функціональну залежність між ними.
3 метою встановлення функціональної залежності між змінними необхідно спланувати експеримент таким чином, щоб усі його учасники отримали всі рівні впливу незалежної змінної, тобто використати схему крос-індивідуального порівняння або, по-іншому, ротаційний план. Такі плани будуються за методом латинського квадрата, але у рядках тут позначені групи досліджуваних, по стовпчиках – рівні впливу першої незалежної змінної X, а в клітинках таблиці – рівні впливу другої незалежної змінної У (табл. 11).
Таблиця 11
Ротаційний план для двох незалежних змінних (схема крос-індивідуального порівняння)
Рівні незалежної змінної X | |||
Групи | XI | Х2 | Х3 |
1 | Y1 | Y2 | Y3 |
2 | Y2 | Y3 | Y1 |
3 | Y3 | Y1 | Y2 |
Аналізуючи суми даних за стовпчиками, можна визначити відмінності залежної змінної при різних рівнях незалежної змінної X. Переписавши план щодо рівнів незалежної змінної Y і аналізуючи відповідні дані, можна визначити відмінності залежної змінної при різних рівнях незалежної змінної Y.
Аналіз даних за рядками показує відмінності між групами досліджуваних. При цьому, якщо групи є рандомізованими, відмінностей у значеннях за рядками не повинно бути. Якщо ж склад групи є додатковою змінною, то його за таким планом можна проконтролювати.
Проблемою цього плану є неможливість уникнення ефекту навчання внаслідок тренування досліджуваних. До того ж за цим планом важко контролювати зовнішню валідність, оскільки сумнівно, що у реальному житті досліджувані будуть підлягати сукупності таких впливів, як у цьому експерименті. Це дає підстави Д. Кемпбеллу віднести такий план до квазі-експериментального з обмеженими формами контролю (див. табл. 8) .
Окремим випадком планування є планування для одного досліджуваного.
Слід зауважити, що планування з метою вивчення особливостей одного досліджуваного має давні традиції, адже перші психологічні експерименти (Г. Фехнер, В. Вундт та ін.) проводилися з окремими суб’єктами. Зараз таке планування використовується за таких умов:
– коли індивідуальними особливостями можна знехтувати (якщо, наприклад, перевіряємо наявність певної здібності в людини);
– коли досліджуваний є унікальним унаслідок специфічних особистісних характеристик (наприклад, феноменальна пам’ять) або спеціальної підготовки (наприклад, космонавт).
Особливо часто цей метод використовується в клінічній психології, психотерапії, де, зокрема, важливо дослідити можливість і причини негативних посттерапевтичних ефектів.
Важливо, що за такого планування знімаються артефакти, які викликані індивідуальними відмінностями досліджуваних, хоча, безумовно, виникають інші проблеми. Так, у кожному експерименті можна дослідити вплив тільки однієї змінної. Якщо дві змінні варіюються одночасно, неможливо визначити, яким є окремий вплив кожної з них на поведінку досліджуваного.
Основним показником впливу незалежної змінної на залежну вважається зміна характеру відповідей досліджуваного під впливом на нього змінених у часі умов експерименту. При такому дослідженні різні стани незалежної змінної даються одному й тому самому досліджуваному в різний час, тому необхідно контролювати фактор часу.
При цьому, наприклад, можуть використовувати просту стратегію А – В, коли досліджуваний виконує спочатку завдання в умовах А, а потім в умовах В. Тут не зрозуміло, що саме (В чи інші умови) зумовлює зміни в поведінці досліджуваного.
3 метою уникнення цього недоліку можна використати стратегію А – В – А, коли спочатку реєструється поведінка досліджуваного в умовах А, потім умови змінюються (В), а на третьому етапі досліджуваний повертається в початкові умови (А). Якщо на третьому етапі відтворюється результат першого етапу, тобто поведінка змінюється, коли є експериментальний вплив і повертається до попередніх (доекспериментальних) параметрів, коли експериментальний вплив припиняється, незалежна змінна вважається такою, що впливає на залежну. Зрозуміло, що за такої стратегії досить важко вилучити фактори “історії” і “природного розвитку”.
Очевидно також, що в цьому випадку існує загроза виникнення ефекту послідовності, який, в свою чергу, можна врахувати, використовуючи стратегію А – В – А – В або А – В – А – В – А. У цьому випадку оцінка вихідного рівня і результатів застосування експериментального впливу здійснюється кілька разів.
У цілому в експериментах із одним досліджуваним використовують кілька експериментальних схем.
Схема випадкової послідовності використовується, де самі досліди досить короткі, але їх багато. Тоді стани незалежної змінної пред’являються у випадковому порядку. Тут досліджуваний не знає, який стан незалежної змінної йому пред’являють. Збільшення надійності відбувається за рахунок збільшення кількості дослідів.
Схема регулярного чергування використовується, коли є досить невелика кількість дослідів. Ця схема грунтується на розглянутій стратегії А – В – А – В, за якою експериментальний ефект відтворюється хоча б двічі. Якщо при другому переході від А до В буде відтворена динаміка функціональної залежності відповідей досліджуваного в часі, можна вважати, що незалежна змінна з рівнями А і В впливає на залежну. При цьому проблемою може стати систематичність певних подій, яка може віддати перевагу певній позиції, коли, скажімо, в час, що досліджуваний перебуває в умовах В, відбувається певна подія (грошова винагорода чи ін.), яка змінює його мотивацію.
Схема позиційно вирівняної послідовності застосовується у разі, коли позиції змінюються, тобто досліджуваний перебуває в умовах за стратегією А – В – В – А. Проблемою тут є різний вплив А на В залежно від порядку пред’явлення.
Слід врахувати, як зазначені експериментальні схеми контролюють фактори задачі, зокрема, у разі випадкової послідовності це може відбуватися за рахунок збільшення кількості спроб і подання їх у випадковому порядку. У разі регулярного чергування слід використовувати не просто випадковий розподіл експериментальних завдань, а з їхнім попереднім розподілом по парах еквівалентних завдань, при цьому кожне з еквівалентних завдань призначається для відповідної умови з тим, щоб жодна з них не мала переваги (що може бути, коли одне із завдань виявиться, наприклад, легше, ніж інше). У разі неможливості підбору повністю еквівалентних завдань, як правило, збільшують кількість дослідів. За позиційного вирівнювання всі завдання розбивають на пари таким чином, щоб у парі були еквівалентні завдання з метою запобігання систематичного змішування незалежної змінної і факторів завдання.
Основною проблемою планів для одного досліджуваного є виникнення ефектів послідовності, які можуть бути неоднорідними, (викликаними адаптацією до режиму експерименту або втомою досліджуваного, а також його здатністю передбачити наступний вплив) і асиметричними, коли вплив умови А на В і В на А залежно від порядку пред’явлення є різним (наприклад, якщо А пред’являється першою, вона позитивно впливає на дії досліджуваного в умовах В, а якщо В пред’являється першою, вона негативно впливає на наступні дії досліджуваного в умовах А). У цьому випадку можна спостерігати ефект змішування незалежної змінної і послідовності дослідів.
Ще однією важливою проблемою для планів з одним досліджуваним є проблема перенесення результатів експерименту на популяцію, кожний член якої має свої індивідуальні відмінності. Прикладом розв’язання цієї проблеми є дослідження Б. Теплова і В. Небиліцина, в яких вивчалася залежність часу реакції від інтенсивності подразника. Коли було виявлено, що для кожного досліджуваного графіки такої залежності є різними, В. Небиліцин запропонував подавати досліджуваним сигнал, який змінювався не в одиницях фізичної інтенсивності подразника, а в одиницях абсолютного індивідуального порога, що був попередньо виміряний (“один поріг”, “два пороги”, і т. ін.). У цьому випадку криві залежності часу реакції від інтенсивності подразника виявилися однаковими для всіх досліджуваних.
У випадку експериментів із одним досліджуваним особливо гостро актуалізується проблема упередженості експериментатора і загалом проблема комунікативних артефактів. Засобами уникнення артефактів у цьому випадку є насамперед “подвійний сліпий метод” або “плацебо наосліп” .
(2 votes, average: 4,00 out of 5)