Чому розробники продовжують обирати неправильні методи тестування

:::info Автори:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

Зміст посилань

Анотація

1 Вступ

2 Оригінальне дослідження: дослідницькі питання та методологія

3 Оригінальне дослідження: загрози валідності

4 Оригінальне дослідження: результати

5 Повторне дослідження: дослідницькі питання та методологія

6 Повторне дослідження: загрози валідності

7 Повторне дослідження: результати

8 Обговорення

9 Пов'язані роботи

10 Висновки та посилання

Анотація

Повторюваною проблемою у розробці програмного забезпечення є неправильне прийняття рішень щодо технік, методів та інструментів, які слід використовувати. Здебільшого ці рішення базуються на сприйнятті розробників. Фактором, що впливає на сприйняття людей, є минулий досвід, але це не єдиний фактор. У цьому дослідженні ми прагнемо з'ясувати, наскільки добре сприйняття ефективності виявлення дефектів різними техніками відповідає їх реальній ефективності за відсутності попереднього досвіду.

\ Для цього ми проводимо емпіричне дослідження та його повторення. Під час оригінального дослідження ми проводимо контрольований експеримент зі студентами, які застосовують дві техніки тестування та техніку перегляду коду. Наприкінці експерименту вони проходять опитування, щоб з'ясувати, яку техніку вони вважають найефективнішою. Результати показують, що сприйняття учасників є помилковим, і ця невідповідність є дорогою з точки зору якості.

\ Щоб отримати більш глибоке розуміння результатів, ми повторюємо контрольований експеримент і розширюємо опитування, включаючи питання про думки учасників щодо технік та програм. Результати повторного дослідження підтверджують висновки оригінального дослідження і свідчать про те, що сприйняття учасників може базуватися не на їхніх думках про складність чи вподобаннях щодо технік, а на тому, наскільки добре, на їхню думку, вони застосували ці техніки.

1. Вступ

Все більш популярною практикою в наш час є те, що компанії з розробки програмного забезпечення дозволяють розробникам вибирати власне технологічне середовище. Це означає, що різні розробники можуть використовувати різні інструменти продуктивності (мову програмування, IDE тощо). Однак інженерія програмного забезпечення (SE) є дисципліною, що інтенсивно залежить від людини, де неправильні рішення потенційно можуть поставити під загрозу якість отриманого програмного забезпечення. У SE рішення щодо того, які методи, техніки та інструменти використовувати при розробці програмного забезпечення, зазвичай базуються на сприйнятті та/або думках розробників, а не на доказах, як зазначають Dyb˚a та ін. [19] та Zelkowitz та ін. [55].

\ Однак емпіричні докази можуть бути недоступними, оскільки певні методи, техніки чи інструменти можуть не бути вивчені в конкретному середовищі або взагалі. Альтернативно, розробники можуть просто не бути знайомі з такими дослідженнями, згідно з Vegas і Basili [49]. На цій підставі важливо з'ясувати, наскільки добре сприйняття розробників (переконання) відповідає реальності, і якщо ні, з'ясувати, що стоїть за цією невідповідністю, як зазначено Devanbu та ін. [14]. Згідно з психологією, досвід відіграє роль у сприйнятті людей. Це також спостерігалося Devanbu та ін. [14] в SE.

\ Однак це дослідження має на меті з'ясувати, наскільки добре сприйняття відповідає реальності за відсутності попереднього досвіду в технології, що використовується. Це має сенс з кількох причин: 1) досвід не є єдиним фактором, що впливає на сприйняття розробників; 2) команди розробників зазвичай складаються з суміші людей з досвідом і без нього; і 3) не зрозуміло, який тип досвіду впливає на сприйняття. Наприклад, Dieste та ін. [17] роблять висновок, що академічний, а не професійний досвід може впливати на зовнішню якість коду, створеного розробниками при застосуванні розробки через тестування (Test-Driven Development).

\ Ми прагнемо вивчити, чи відповідає сприйняття ефективності трьох технік виявлення дефектів реальності, і якщо ні, що стоїть за цим сприйняттям. Наскільки нам відомо, це перша стаття, яка емпірично оцінює це питання. З цією метою ми провели емпіричне дослідження та його повторення зі студентами. Під час оригінального дослідження ми виміряли (як частину контрольованого експерименту) ефективність двох технік тестування та однієї техніки перегляду коду, коли їх застосовували учасники. Потім ми перевірили сприйняту найефективнішу техніку (зібрану за допомогою опитування) порівняно з реальною.

\ Крім того, ми проаналізували вартість невідповідності між сприйняттям і реальністю з точки зору втрати ефективності. Основні висновки включають:

– Різні люди сприймають різні техніки як більш ефективні. Жодна техніка не сприймається як більш ефективна, ніж інші. – Сприйняття 50% учасників (11 з 23) є помилковим.

– Неправильне сприйняття технік може знизити ефективність на 31 процентний пункт у середньому.

\ Ці висновки спонукали нас розширити мету дослідження в повторенні, щоб дослідити, що може стояти за сприйняттям учасників. Для цього ми вивчили їхні думки про техніки, які вони застосовували, та програми, які вони тестували, у повторенні контрольованого експерименту. Основні висновки включають:

– Результати повторення підтверджують висновки оригінального дослідження.

– Учасники вважають, що ефективність техніки залежить виключно від їхньої продуктивності, а не від можливих слабких сторін самої техніки. – Думки про складність техніки та вподобання щодо технік, здається, не відіграють ролі у сприйнятті ефективності. Ці результати корисні для розробників та дослідників. Вони пропонують:

– Розробники повинні усвідомлювати обмеження свого судження.

– Слід розробляти інструменти, які надають розробникам зворотний зв'язок про те, наскільки ефективними є техніки.

– Слід визначити найкращу комбінацію технік для застосування, яка одночасно є легко застосовною та ефективною. – Слід розробити інструменти, щоб зробити емпіричні результати доступними для розробників.

\ Матеріали, пов'язані з дослідженнями, представленими тут, можна знайти на https://github.com/GRISE-UPM/Misperceptions. Стаття організована наступним чином. Розділ 2 описує оригінальне дослідження. Розділ 3 представляє його загрози валідності. Розділ 4 обговорює результати. Розділ 5 описує повторне дослідження на основі змін, внесених до оригінального дослідження. Розділ 6 представляє його загрози валідності. Розділ 7 повідомляє результати цього повторного дослідження. Розділ 8 обговорює наші висновки та їх наслідки. Розділ 9 показує пов'язані роботи. Нарешті, розділ 10 окреслює висновки цієї роботи.

\ \

:::info Ця стаття доступна на arxiv за ліцензією CC BY-NC-ND 4.0.

:::

\