Як вимірювати навички роботи команди з людей та ШІ

Перша хвиля навколо ШІ пройшла під гаслом:

Перша: «Він забере нашу роботу»

Друга: «Та він ж тупий, дивіться, що написав»

Після цих крайнощів поступово вимальовується прагматичніша картина:

• ШІ не замінив людину

• але і не виявився марною іграшкою

Реальність рухається в сторону спільної роботи людини та ШІ — не «людина проти машини», а команди Human+AI, де модель стає постійним партнером.

На перший план виходить новий навик — умінням ефективно співпрацювати з ШІ:

• ставити йому задачі

• перевіряти й калібрувати відповіді

• вбудовувати його в робочі процеси

• розуміти, де ШІ допомагає, а де створює ілюзію ефективності

Ключові відкриття наукового дослідження

Крістоф Рідль і Бен Вайдманн в 2025 році провели дослідження. Головною метою експерименту було кількісно виміряти синергію Human+AI: той приріст результативності, який дає співпраця. Протестували 667 учасників два етапи: спочатку вони відповідали на запитання самостійно (оцінка індивідуальних здібностей), а потім — у парі з ШІ через чат-інтерфейс. Учасників давали 396 запитань з математики, фізики та моральних дилем. Крім оцінки правильності відповідей, дослідники аналізували текст діалогів між людьми та ШІ, для пошуку ознак «Теорії розуму» (Theory of Mind) у промптах користувачів — наприклад, спроб користувача зрозуміти, що ШІ «знає», а чого ні, або перевірки його «переконань».

Експеримент показав

Синергія існує

Люди, які працюють у парі з ШІ, показують значно вищі результати, ніж при самостійній роботі. GPT-4o забезпечує прирост продуктивності на 29%, Llama-3.1-8B — на 23%.

Два різні навики

Здатність вирішувати завдання самостійно та здатність робити це з ШІ — це різні компетенції. Експерт у своїй галузі може бути поганим партнером для моделі, і навпаки.

Роль «теорії розуму»

Користувачі, які краще моделюють «мисління» ШI, логику та обмеження, досягають кращих результатів у спільній роботі. Важливо: цей навик допомагає тільки при роботі з ШІ, але не впливає на результати самостійної роботи.

Ефект вирівнювання

ШІ найбільше корисний для складних завдань. Користувачі з низькими індивідуальними здібностями отримують найбільший приріст від співпраці з моделлю. Однак користувачі з високими здібностями все одно показують найкращий результат у команді Human+AI.

Синергія Human+AI: люди, що працюють з моделлю, показують на 23-29% кращі результати

Що це дає нам

Треба оцінювати не окремо модель і людину, а їхні спільні «колаборативні здібності» — наскільки ефективно вони працюють як одна команда. Оцінювати навички команди.

Для цього Роботу команди Human+AI розкласти на три компоненти:

1. Індивідуальні здібності — як людина вирішує завдання самостійно

2. Здатність до співпраці з ШІ** — як людина і модель разом отримують кращі результати

3. Здатність вирішувати складні завдання — від простих до складних дилем

Як побудувати таку оцінку: пошагова інструкція для HR

Крок 1: Визначення піднавичок

Не вимірюйте «ШІ взагалі», а конкретні компетенції. Приклад розбиття:

1. Формулювання завдання — умінням ставити точні запити

2. Валідація результатів — перевіряти помилки та недоліки

3. Побудова процесу — розуміти, як вбудувати ШІ в робочий процес

4. Оцінка ризиків — знати, чого не можна довіряти машині

Крок 2: Розробити завдання

Кейсові задачі Приклад:

• Логістика: запропонуйте 3 способи скоротити затримки поставок

• Маркетинг/продажі: на основі відгуків клієнтів і даних CRM висунути 3 гіпотези падіння продажів ключового продукту, запропонуйте ідею компанії

• HR/розвиток персоналу: проаналізуйте опис ролі й існуючі навчальні матеріали, запропонуйте варіанти програми адаптації для новачка із коротким планом кроків.

Порівняння варіантів Показати 2–4 відповіді ШІ та попросити обрати найнадійніший з обґрунтуванням. Цей підхід дозволяє визначити, наскільки добре завдання розділяє сильних від слабких учасників.

Діагностика ризиків Попросити визначити місця, де ймовірні помилки ШІ, і запропонувати способи їх зниження.

Важливі принципи при розробці:

• Варіюйте складність від базових ситуацій до складних дилем

• Включайте помилкові, але правдоподібні варіанти для відсікання поверхневих відповідей

• Розроблюйте завдання з чотирма варіантами відповідей (зменшує вірогідність вгадування)

Крок 3: Запустити пілот

Протестуйте завдання на групі з явно різним рівнем:

• від «ніколи не працював з ШІ»

• до «просунутий користувач»

Зберіть дані про те, які завдання вирішують майже всі, які — тільки сильні, де виникають непередбачувані провали.

Крок 4: Каліброрувати тест

Залиште завдання, які добре розділяють рівні навичок. Переробіть або видаліть ті, що ничого не розповідають про людину (занадто легкі або складні). Додайте нові кейси у потрібних зонах складності.

Крок 5: Масштабувати та впроваджувати

При наймі Для посад, де потрібна робота з ШІ, встановіть мінімальний поріг навику. Використовуйте адаптивний тест, який сам підбирає завдання під рівень кандидата.

Для діагностики всередині компанії Виявте, де працівники:

• не розуміють, як ставити завдання ШІ

• сліпо довіряють результатам

• не вміють будувати процеси навколо моделей

На основі цього розробіть програми навчання.

Для оцінки ефективності навчання Порівняйте розподіл рівнів навичок:

• до навчання

• після

• через 3–6 місяців (утримання навику)

Для індивідуального розвитку Кожному працівнику показуйте:

• поточний рівень

• діапазон упевненості (наскільки точна оцінка)

• конкретні під-навики, де є провали

Оцінка навичок будується на п’яти послідовних кроках: від визначення компетенцій до впровадження в компанії

Як представити результати

HR-звіт має виглядати не як сирі бали, а як шкала з чіткими зонами:

• Зона 1: низький рівень → потребує базового курсу, наставництва, простих кейсів

• Зона 2: базовий рівень → вміє користуватися, але слабо розуміє ризики й обмеження

• Зона 3: впевнений рівень → може працювати самостійно й навчати інших

• Зона 4: експерт → допомагає будувати процеси й стандарти Human+AI роботи

Формат звіту включає:

• стрілку на шкалі (поточна позиція)

• діапазон довкола стрілки (ширина вказує на кількість даних; вузька — точна оцінка)

• окремі індикатори по кожному під-навику

Такий формат легко пояснити менеджерам і самим працівникам.

На що звернути увагу

Якість завдань виконує все

Тест сам по собі нічого не врятує, якщо кейси слабкі, не пов’язані з реальною роботою або легко гуглюються.

Почніть з мінімального набору даних

Краще запустити пілот з невеликою групою і поступово розширюватися, ніж прагнути «ідеального тесту» з першої спроби.

Оцінка — інструмент розвитку, не покарання

У спілкуванні з працівниками наголошуйте: мета — зрозуміти, куди вкладати навчання, а не карати за низький рівень.

Прозорість критеріїв

Поясніть працівникам і кандидатам:

• що саме ви вимірюєте

• як це пов’язано з реальною роботою

• як будуть використані результати

Висновок

Якщо хвилі захоплення й розчарування від ШІ для вас уже минули, наступний зрілий крок — навчитися вимірювати й розвивати здатність людей працювати з ШІ як із партнером

Звичайно, ми зможемо допомогти автоматизувати таку оцінку за допомогою Coloris HRM

Хочете отримувати більше аналітики, брати участь в обговореннях і слідкувати за новими матеріалами? Приєднуйтесь до нашого Telegram-каналу або Facebook