http://github.com/dylang/node-rsssite-lib/media/favicon.pngWebpage HTML Export plugin for ObsidianSun, 13 Sep 2026 17:54:47 GMTSun, 13 Sep 2026 17:54:46 GMT60distedu.
📄 Силабус курсуМатеріали практичних з'являтимуться тут поступово впродовж семестру.
Практичне заняття 1: Налаштування середовища та математичний апарат ]]>index.htmlindex.mdSun, 13 Sep 2026 17:53:27 GMTpytorch.org/get-started. Підтримка GPU для цього заняття не обов'язкова, але знадобиться з Практичного заняття 6. Репозиторій. Ви отримаєте запрошення до репозиторію practices-<ваш логін пошти НаУКМА>. Прийміть його й склонуйте репозиторій. Створіть теку P01/. Повторіть Лекцію 1, зокрема формальну постановку задачі навчання: ризик, емпіричний ризик, функція втрат. Завдання 5 спирається саме на неї. Якщо запрошення до репозиторію не надійшло, напишіть викладачу практичних до заняття, а не під час нього. Усі файли створюються у теці P01/ вашого репозиторію й нумеруються за порядком: 01_, 02_ і так далі.Файл: P01/01_env_check.pyНапишіть скрипт, який друкує: версію Python, NumPy і PyTorch; доступний обчислювальний пристрій: cuda, mps або cpu; результат найпростішої тензорної операції на цьому пристрої, щоб підтвердити, що він справді працює. Пристрій визначайте явно, а не припускайте:import torch device = ( "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu" ) Зафіксуйте зерно генератора випадкових чисел (numpy.random.default_rng(0), torch.manual_seed(0)) і поясніть у коментарі, чому відтворюваність важлива для порівняння результатів між запусками.Файл: P01/02_numpy_basics.py Створіть матрицю A розміру 4×3 і матрицю B розміру 3×5 з випадковими числами. Обчисліть матричний добуток A @ B. Перед запуском запишіть у коментарі очікувану форму результату, потім перевірте. Покажіть на власному прикладі різницю між A * A і A @ A.T: що означає кожна операція й чому форми результатів різні. Обчисліть середнє значення матриці A трьома способами: по всій матриці, по рядках і по стовпцях. Поясніть у коментарі, що саме робить аргумент axis. Пастка трансляції. Візьміть вектор v довжини 3 і вектор w довжини 4. Спробуйте A + v і A + w. Один вираз спрацює, другий викине помилку. Поясніть обидва результати через правила трансляції розмірностей, а не через текст повідомлення про помилку. Файл: P01/03_torch_tensors.py Перетворіть масив NumPy на тензор двома способами: torch.from_numpy(arr) і torch.tensor(arr). Змініть один елемент вихідного масиву NumPy. Надрукуйте обидва тензори. Поясніть спостережену різницю у коментарі. Один зі способів створює тензор, що поділяє пам'ять із масивом, другий копіює дані. Визначте, який саме, і сформулюйте, коли ця різниця може призвести до помилки в реальному коді. Перенесіть тензор на доступний пристрій через .to(device) і назад на cpu. Спробуйте виконати операцію між тензором на пристрої й тензором на cpu; зафіксуйте, що станеться. Покажіть різницю між float32 і float64: створіть той самий тензор обох типів, порівняйте element_size() і результат ділення, де проявляється похибка округлення. Типовий тип у PyTorch це float32, а у NumPy float64. Мовчазне перетворення між ними стає джерелом розбіжностей у результатах, тому тип варто задавати явно. Файл: P01/04_autograd.pyНа цьому кроці autograd цікавить нас як інструмент: що саме він обчислює й як переконатися, що обчислює правильно. Механізм зворотного поширення розбирається на Лекціях 2 і 5. Створіть скалярний тензор x зі значенням 2.0 і requires_grad=True. Обчисліть y = x**3 + 5*x, викличте y.backward(), надрукуйте x.grad. Виведіть похідну аналітично на папері й запишіть її в коментарі. Порівняйте з отриманим значенням. Повторіть для функції двох змінних, наприклад f(x, y) = x**2 * y + sin(y), і перевірте обидві часткові похідні. Перевірка скінченними різницями. Реалізуйте функцію def numeric_grad(f, x, eps=1e-5): return (f(x + eps) - f(x - eps)) / (2 * eps) і порівняйте її результат із x.grad. Підберіть eps так, щоб розбіжність була найменшою, і поясніть у коментарі, чому надто мале eps погіршує результат. Загорніть обчислення у with torch.no_grad(): і покажіть, що градієнт більше не накопичується. Поясніть, навіщо цей режим потрібен. Градієнти у PyTorch накопичуються: другий виклик backward() додасться до наявного x.grad. Перед новим обчисленням викликайте x.grad = None або x.grad.zero_(). Це джерело помилок, які не падають, а тихо дають неправильні числа. Файл: P01/05_empirical_risk.pyЦе завдання прив'язує інструменти заняття до формалізму Лекції 1.Візьміть лінійну модель з одним параметром, h(x) = w·x, і квадратичну функцію втрат. Емпіричний ризик на вибірці з n точок: Згенеруйте 50 точок за правилом y = 3x + ε, де ε це невеликий гаусів шум. Обчисліть у точці w = 0.5 трьома способами й переконайтеся, що вони збігаються: явним циклом по точках; векторизованою операцією NumPy без циклу; тензорною операцією PyTorch. Обчисліть у тій самій точці трьома способами: аналітично (виведіть формулу самостійно й запишіть її в коментарі); скінченними різницями з попереднього завдання; через backward(). Надрукуйте всі три значення поруч і зафіксуйте розбіжність між ними. Побудуйте графік для w від 0 до 6 і позначте на ньому точку мінімуму. Збережіть як P01/risk_curve.png. Питання для роздумів (відповіді у P01/README.md, по кілька речень на кожне): Чому векторизована реалізація швидша за цикл, хоча виконує ту саму кількість арифметичних операцій? Три оцінки градієнта дали різні числа. Яка з них точна за побудовою, яка наближена принципово через сам метод, і яка математично точна, але обмежена розрядністю чисел? Найважливіше: автоматичне диференціювання не є чисельним, поясніть, чим воно відрізняється від скінченних різниць. Градієнт у точці w = 0.5 виявився від'ємним. Що це говорить про напрям, у якому треба змінювати w, щоб зменшити ризик, і чому знак саме такий? Дедлайн: за 24 години до початку Практичного заняття 2 за вашим розкладом. Завершіть завдання, які не встигли в аудиторії (зазвичай це завдання 5). Запишіть Loom-відео до 5 хвилин і покладіть посилання на нього у P01/video.txt. Відео підтверджує, що код написали й розумієте ви. П'ять хвилин це мало, тому показуйте головне, а не все підряд. Запуск. Коротко покажіть, що 01_env_check.py і 05_empirical_risk.py справді працюють, разом із графіком ризику. Пастка трансляції (завдання 2). Поясніть, чому A + v спрацював, а A + w ні. Обґрунтуйте правилами трансляції розмірностей. Спільна пам'ять (завдання 3). Покажіть різницю між двома способами створення тензора й назвіть ситуацію, у якій вона призведе до помилки. Автоматичне диференціювання (завдання 4). Назвіть значення, яке дав backward(), і вашу аналітичну похідну. Поясніть, чим автоматичне диференціювання відрізняється від скінченних різниць. Знак градієнта (завдання 5). Скажіть, у який бік треба змінювати w, щоб зменшити ризик, і чому знак саме такий. Ваш голос і екран. Обличчя не обов'язкове. Українською. До 5 хвилин. Після шостої хвилини відео не переглядається. Посилання відкривається без авторизації: перевірте його в режимі анонімного перегляду браузера. Пояснення, а не переказ. Зачитування коментарів із коду вголос не є поясненням. На відео має звучати причина: чому результат саме такий, а не лише який він. Робочий код без розуміння на відео прирівнюється до невиконаної роботи, як того вимагає розділ силабуса про використання інструментів ШІ. Усі файли лежать у теці P01/ вашого репозиторію practices-<логін>. P01/README.md містить відповіді на питання для роздумів і перелік того, що не вдалося завершити, якщо таке є. P01/video.txt містить посилання на Loom-відео. git add P01/ git commit -m "P01: середовище, NumPy, PyTorch, autograd" git push Незавершена робота, здана вчасно з переліком того, що не вийшло, оцінюється вище за мовчазну відсутність файлів. Запізнення. Кожна розпочата доба після дедлайну знижує оцінку за заняття на 25%. Через три доби робота не приймається без попереднього узгодження. Узгоджувати перенесення треба до дедлайну, а не після нього.Пояснення оцінюються нарівні з кодом. Робочий код без коментаря, що показує розуміння, отримує неповний бал: на захисті потрібно вміти пояснити кожен результат.Відсутнє відео коштує більше за власні 15%. Решта складових оцінюється за тим, що викладач бачить у репозиторії, і без вашого пояснення сумнівні місця тлумачаться не на вашу користь.За силабусом усі 16 практичних занять разом складають 40% підсумкової оцінки.Практичне заняття 2 реалізує градієнтний спуск та його варіації «з нуля». Завдання 5 цього заняття дає йому вихідну точку: там ви обчислили градієнт емпіричного ризику в одній точці, далі ви побудуєте з цього ітеративний метод і порівняєте траєкторії збіжності.]]>practices/p01.htmlPractices/P01.mdSun, 13 Sep 2026 17:50:56 GMTglib@ukma.edu.ua Затверджує: Луцишин З.О., віце-президент з науково-педагогічної роботи (навчальна робота) Обговорено та рекомендовано до затвердження Вченою радою факультету інформатики 18 вересня 2026 року, протокол №6.Дисципліна "Проблеми штучного інтелекту" є базовою нормативною дисципліною для студентів спеціальності «Комп’ютерні науки та інформаційні технології» (факультет інформатики), що читається на 1 курсі в 1 семестрі.
Силабус і всі матеріали до курсу розміщені на платформі електронного навчання distedu (https://distedu.ukma.edu.ua/course/view.php?id=1626)На лекції викладач користується власним презентаційним матеріалом та демонструє практичну частину на комп’ютері з встановленим інтегрованим середовищем розробки. Курс “Проблеми штучного інтелекту” забезпечує студентів теоретичною базою для вивчення таких нормативних дисциплін, як “Аналіз великих даних”, “Машинне навчання” та написання магістерської роботи.Курс «Проблеми штучного інтелекту» призначений для магістрів із математичною підготовкою і поєднує строгий теоретичний виклад ключових напрямів сучасного ШІ з практичною реалізацією базових алгоритмів. Попри розмаїття тем — від опуклої оптимізації до безпеки автономних агентів — курс побудований навколо єдиної формальної рамки: задача навчання в кожній темі так чи інакше зводиться до мінімізації (очікуваного) ризикудля гіпотези h з класу H, розподілу даних D і функції втрат L — формалізм, введений на лекції 1 і послідовно застосовуваний до навчання з учителем, генеративного моделювання, навчання з підкріпленням і вирівнювання LLM. Це дозволяє магістрам не запам'ятовувати розрізнені алгоритми, а бачити їх як варіації одного й того самого принципу за різних обмежень на H, D і L.Курс охоплює: математичні основи (оптимізація, теорія ймовірностей та інформації, статистична теорія навчання), архітектури глибокого навчання (MLP, CNN, RNN/LSTM, Transformer), великі мовні моделі та закони масштабування, генеративні моделі (VAE, GAN, дифузійні моделі), навчання з підкріпленням і RLHF/DPO, а також три завершальні теми — інтерпретованість, робастність і безпека ШІ — що виводять курс за межі суто інженерних питань до відкритих дослідницьких проблем галузі.The course is designed for masters with mathematical training and combines a rigorous theoretical presentation of the key areas of modern AI with the practical implementation of basic algorithms. Despite the variety of topics — from convex optimization to the security of autonomous agents — the course is built around a single formal framework: the task of training in each topic is somehow reduced to minimizing the (expected) risk ** for hypothesis h of class H, data distribution D, and loss function L—the formalism introduced in Lecture 1 and sequentially applied to supervised learning, generative modeling, reinforcement learning, and alignment LLM. This allows masters not to memorize disparate algorithms, but to see them as variations of the same principle under different constraints on H, D, and L.The course covers: mathematical foundations (optimization, probability and information theory, statistical learning theory), deep learning architectures (MLP, CNN, RNN/LSTM, Transformer), large language models and scaling laws, generative models (VAE, GAN, diffusion models), reinforcement learning and RLHF/DPO, as well as the three final topics — interpretation, robustness, and security of AI — that take the course beyond purely engineering issues to open industry research problems.Мета курсу: сформувати системне розуміння математичних основ, ключових архітектур і відкритих наукових проблем сучасного штучного інтелекту, достатнє для самостійної дослідницької роботи в галузі.Після завершення курсу магістр здатний: формалізувати довільну задачу машинного навчання в термінах ризику R(h), емпіричного ризику R̂(h) і теорії статистичного навчання; виводити й застосовувати ключові формули оптимізації, імовірнісного виведення та генеративного моделювання, що лежать в основі сучасних архітектур; реалізовувати з нуля основні алгоритми курсу (зворотне поширення, увага, DQN, VAE/GAN/дифузія, DPO) та відтворювати результати наукових статей; критично оцінювати межі узагальнення, робастність та безпеку систем ШІ, спираючись на формальний і емпіричний апарат курсу; орієнтуватися в актуальній науковій літературі (2024–2026) за обраним напрямом дослідження та формулювати власну дослідницьку проблему. Основні завдання. Завданням навчальної дисципліни "Проблеми штучного інтелекту" є висвітлення основних сучасних підходів до проектування і програмування інтелектуальних програмних систем, які базуються на знаннях, орієнтовані на розв'язання недостатньо формалізованих задач, та які вимагають постійного розвитку і реорганізації.Предмет навчальної дисципліни "Проблеми штучного інтелекту" включає основну проблематику застосування класичних методів штучного інтелекту та найважливіших підходів до проектування інтелектуальних систем. Центральне місце займає висвітлення проблематики і шляхів рішення у побудові та використанні інтелектуальних агентів, нейронних мереж, машинного навчання, навчання з підкріпленням, автоматизації обробки природньої мови, нейронних і квантових обчислювачів, Інтенету речей, автоматизації онтологій. Розглядаються важливі прикладні застосування, зокрема розпізнавання образів, комп’ютерні ігри тощо.Знання та практичний досвід, що будуть отримані в процесі вивчення курсу, дозволять значно розширити можливості студентів при написанні дипломних проектів.Вивчення дисципліни «Проблеми штучного інтелекту» сприяє формуванню у студентів наступних компетентностей.Загальні компетентності (ЗК):ЗК01. Здатність до абстрактного мислення, аналізу та синтезу.ЗК02. Здатність застосовувати знання у практичних ситуаціях.ЗК05. Здатність вчитися й оволодівати сучасними знаннями.ЗК07. Здатність генерувати нові ідеї (креативність).Фахові компетентності спеціальності (СК):СК01. Усвідомлення теоретичних засад комп’ютерних наук.СК03. Здатність використовувати математичні методи для аналізу формалізованих моделей предметної області.СК06. Здатність застосовувати існуючі і розробляти нові алгоритми розв’язування задач у галузі комп’ютерних наук.СК08. Здатність розробляти і реалізовувати проекти зі створення програмного забезпечення, у тому числі в непередбачуваних умовах, за нечітких вимог та необхідності застосовувати нові стратегічні підходи, використовувати програмні інструменти для організації командної роботи над проєктом.Програмні результати навчання:ПРН1. Мати спеціалізовані концептуальні знання, що включають сучасні наукові здобутки у сфері комп’ютерних наук і є основою для оригінального мислення та проведення досліджень, критичне осмислення проблем у сфері комп’ютерних наук та на межі галузей знань.ПРН2. Мати спеціалізовані уміння/навички розв’язання проблем комп’ютерних наук, необхідні для проведення досліджень та провадження інноваційної діяльності з метою розвитку нових знань та процедур.ПРН3. Зрозуміло і недвозначно доносити власні знання, висновки тааргументацію у сфері комп’ютерних наук до фахівців і нефахівців, зокрема до осіб, які навчаються.ПРН4. Управляти робочими процесами у сфері інформаційних технологій, які є складними, непередбачуваними та потребують нових стратегічних підходів.ПРН7. Розробляти та застосовувати математичні методи для аналізуінформаційних моделей.ПРН10. Проектувати архітектурні рішення інформаційних та комп’ютерних систем різного призначенняПРН11. Створювати нові алгоритми розв’язування задач у сфері комп’ютерних наук, оцінювати їх ефективність та обмеження на їх застосування.ПРН12. Проектувати та супроводжувати бази даних та знань.ПРН15. Виявляти потреби потенційних замовників щодо автоматизації обробки інформації.ПРН16. Виконувати дослідження у сфері комп’ютерних наук.Після завершення цього курсу студент буде:– знати: основну проблематику штучного інтелекту та особливості сучасного етапу; базові задачі, які вирішуються з використанням засобів і систем штучного інтелекту; методи і алгоритми пошуку, які застосовуються у штучному інтелекті; основні підходи, які використовуються для створення систем штучного інтелекту; способи подання інтелектуальної задачі та методи пошуку рішень; роль знань та особливості їх представлення у системах штучного інтелекту; проблеми, які виникають у системах, які засновані на знаннях; роль і значення штучних нейронних мереж, машинного та глибокого навчання і особливості їх застосування у сучасних засобах штучного інтелекту; особливості та проблеми сучасних тенденцій та підходів до створення систем штучного інтелекту; проблеми, у т. ч. й апаратного плану, які постають в галузі штучного інтелекту, і сучасні підходи до їх вирішення.-вміти: вчитися і оволодівати сучасними знаннями; застосовувати набуті знання в практичних ситуаціях; вибирати потрібний метод вирішення задачі; вибирати і обґрунтовувати метод представлення задачі та підхід, необхідний для вирішення конкретної проблеми; використовувати сучасні технології проектування в розробці алгоритмічного та програмного забезпечення інтелектуальних інформаційних систем; використовувати методи формального опису систем, а також математичні та комп’ютерні моделі для обробки, аналізу, синтезу та оптимізації результатів.Кожній лекції відповідає одне практичне заняття; теми з більшим обсягом практичного матеріалу (генеративні моделі, навчання з підкріпленням) закріплені кількома практичними заняттями поспіль.В основі курсу лежить переконання, що навчання найбільш ефективне, коли студенти активні й відповідальні, коли вони займаються самоосвітою, прагнуть до знань та вміють користуватись ними для задоволення власних потреб. Студенти повинні свідомо використовувати на семінарах, лекціях, самостійній роботі те, що називається пізнанням через досвід, або «циклом навчального досвіду».Без аналізу досвіду, без його обговорення з іншими ми швидко забуваємо та втрачаємо пізнавальний потенціал. Думки та висновки з такого аналізу можуть укладатись в схему, яка дасть можливість робити узагальнення та нові припущення, встановлювати зв’язки між існуючими теоріями. Ці узагальнення і теорію сформують студенту базу, за допомоги якої він зможе опанувати ситуацію, зрозуміти зміст речей, хід явищ.Важливо зазначити, що цикл аналізу може починатись з будь-якої точки; всі його частини є необхідними для найбільш ефективного пізнання. На аудиторних заняттях буде надано основу матеріалу. Значну частину роботи над матеріалом курсу має бути пророблено студентом індивідуально на самостійній роботі.Компоненти навчальних матеріалів курсу: Аудиторні заняття (лекції і практичні заняття), презентації, текстові навчальні матеріали лекцій і практичних, посилання на додаткову літературу.Поточний контроль: виконання та захист практичних завдань (16 занять), що охоплюють реалізацію ключових алгоритмів курсу.Індивідуальний дослідницький проєкт: письмовий аналітичний огляд і відтворення результату однієї сучасної статті (2024–2026) за обраним напрямом курсу, з усною доповіддю.Підсумковий контроль: іспит, що охоплює теоретичний матеріал усіх 14 лекцій (математичні виведення, порівняльний аналіз підходів, відкриті проблемии.Підсумкова оцінка обчислюється як зважена сума трьох складових:де П, Д, І — бали (за 100-бальною шкалою) за практичні заняття, дослідницький проєкт та іспит відповідно. Відповідність суми балів оцінці за шкалою ECTS та національною шкалою:Студент допускається до складання іспиту за умови виконання положення про навчаня в НаУКМА (відвідуваність), та якщо кількість набраних ним балів за роботу в семестрі становить не менше 35 балів. Пропущені заняття без поважних причин мають бути відпрацьовані додатково.Студент може отримати індивідуальний графік опанування курсу за узгодження із викладачем.Додаткові можливості отримувати бали: активність на заняттях.Відвідування лекцій обов’язкове.Реферати та звіти за лабораторні роботи надаються у письмовій формі.Академічна доброчесність. Курс дотримується Кодексу академічної доброчесності НаУКМА («Положення про Академічну доброчесність здобувачів освіти у НаУКМА» (затверджене наказом № 112 від 07.03.2018 року)
https://www.ukma.edu.ua/index.php/about-us/sogodennya/dokumenty-naukma/cat_view/1-dokumenty-naukma/12-normatyvna-baza-naukma/6-systema-zabezpechennia-iakosti-osvitnoi-diialnosti-ta-iakosti-vyshchoi-osvity/71-normatyvni-dokumenty. Плагіат, несанкціонована співпраця під час індивідуальних завдань та фальсифікація результатів експериментів є неприйнятними й розглядаються відповідно до університетських процедур.Використання інструментів ШІ. Використання LLM та інших інструментів ШІ для навчання й підготовки коду дозволяється як допоміжний засіб за умови прозорого зазначення його ролі у звіті; пряме відтворення згенерованого без розуміння та здатності пояснити результат на захисті прирівнюється до порушення академічної доброчесності.Відвідування. Відвідування лекцій і практичних занять є очікуваним; систематична відсутність без поважної причини може вплинути на оцінку за поточну складову.Дедлайни. Практичні завдання здаються до початку наступного практичного заняття. Пізня здача без попереднього узгодження знижує оцінку за завдання; конкретна шкала штрафів узгоджується на першому занятті.Перескладання. Порядок перескладання іспиту та повторного захисту практичних робіт відповідає чинному Положенню про організацію освітнього процесу НаУКМА.Базова (класична): Глибовець М.М. Штучний інтелект / М.М.Глибовець, О.В.Олецький. - Κ.: ΚΜ Ака­демія, 2002. -366с. В.В. Литвин, В.В. Пасічник, Ю.В. Яцишин Інтелектуальні системи, Видавництво «Новий світ – 2000», Львів – 2009, 309с. Глибовець А. М., Гулаєва Н. М. Еволюційні алгоритми. М. — К.: НаУКМА, 2013., 828с. Субботін С. О. Подання й обробка знань у системах штучного інтелекту та підтримки прийняття рішень: Навч. посібник. – Запоріжжя, ЗНТУ, 2008. – 431 с. Пасічник В.В. Організація баз даних та знань / В.В.Пасічник, В.А.Резніченко. -Київ: BHV „ПИТЕР", 2006. - 460с. S. Russell, P. Norvig. Artificial Intelligence: A Modern Approach (4th ed.), Pearson, 2020. S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004. T. Cover, J. Thomas. Elements of Information Theory (2nd ed.), Wiley, 2006. V. Vapnik. Statistical Learning Theory, Wiley, 1998. I. Goodfellow, Y. Bengio, A. Courville. Deep Learning, MIT Press, 2016. A. Vaswani et al. Attention Is All You Need, NeurIPS, 2017. R. Sutton, A. Barto. Reinforcement Learning: An Introduction (2nd ed.), MIT Press, 2018. N. Bostrom. Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014. Сучасна (2024–2026): H. Lai et al. A Survey of Post-Training Scaling in Large Language Models, ACL, 2025. R. Rafailov et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model, NeurIPS, 2024. Open Problems in Mechanistic Interpretability, arXiv:2501.16496, 2025. N. Howe et al. Scaling Trends in Language Model Robustness, arXiv:2407.18213, 2025. The Road to Artificial Superintelligence: A Comprehensive Survey of Superalignment, arXiv:2412.16468, 2024–2025. International AI Safety Report 2026, arXiv:2602.21012. Повний перелік джерел за кожною темою наведено в робочій програмі курсу та в матеріалах відповідних лекцій. Окремо наведено базову (класичну) та сучасну (2024–2026) літературуПлан: Визначення ШІ: слабкий/сильний ШІ, тест Тюрінга, критика Сірл (китайська кімната). Історія парадигм: символьний ШІ (GOFAI), експертні системи, конекціонізм, статистичне навчання, глибоке навчання. «Зими ШІ»: причини та уроки для оцінки поточного буму. Сучасна карта галузі: NLP, CV, RL, генеративні моделі, мультимодальні системи, агентні системи. Агентні системи (agentic AI— це головна парадигма 2025–2026 (multi-agent systems, tool use, computer use). Верифікація відповідей як відкрита проблема: як перевіряти правильність розв'язків моделі (verification, verifiable rewards) — ключ до сучасного RL. Тест-тайм обчислення як нова парадигма масштабування. «чи LLM — це новий вид інтелекту, чи статистичні папуги». Відкриті проблеми: узагальнення, каузальність, енергоефективність, безпека, вирівнювання (alignment). Ключові формули: Тест Тюрінга як операційне визначення інтелекту (без формалізації метрики). Формальна постановка задачі навчання. Базова (класична) література: S. Russell, P. Norvig. Artificial Intelligence: A Modern Approach (4th ed.), 2020. A. Turing. Computing Machinery and Intelligence, Mind, 1950. J. McCarthy, M. Minsky, N. Rochester, C. Shannon. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, 1955. Сучасна література (2024–2026): International AI Safety Report 2026 (арх. arXiv:2602.21012) — щорічний консенсусний звіт про стан і ризики ШІ. Shervin Minaee et al. Large Language Models: A Survey, arXiv:2402.06196, 2024 (огляд сучасного етапу розвитку). Python, NumPy, PyTorch · операції з матрицями/тензорами · автоматичне диференціювання як інструмент Мета заняття Налаштувати робоче середовище для всього подальшого курсу, впевнено опанувати базові операції з векторами, матрицями й багатовимірними масивами (тензорами) у NumPy та PyTorch, і познайомитися з автоматичним диференціюванням (autograd) як практичним інструментом — без заглиблення в теорію зворотного поширення похибки, яка детально розглядається в лекціях 2 і 5. Це заняття — суто інструментальна підготовка до всіх наступних практичних робіт курсу. Необхідні інструменти Python 3.10+, NumPy, PyTorch (з підтримкою GPU за наявності), Jupyter чи інше інтерактивне середовище, matplotlib. План: Опукла оптимізація: опуклі множини, опуклі функції, умови оптимальності. Градієнтний спуск і його варіації: SGD, momentum, Nesterov acceleration, Adam/AdamW. Умови збіжності: L-гладкість, μ-сильна опуклість, швидкості збіжності. Стохастична апроксимація (Robbins–Monro) як основа SGD. Особливості оптимізаційного ландшафту нейронних мереж: сідлові точки, плато, loss landscape. Сучасні оптимізатори для трансформерів: Sophia (2023, діагональний Hessian) та Muon (2024–2025, став стандартом для тренування великих моделей). Практика тренування LLM: warmup, cosine/WS learning-rate schedules, gradient clipping, mixed-precision (bf16), gradient accumulation — це те, що реально використовується. Оптимізація в RL/RLHF як окремий аспект (nesting of optimizers). Зв'язок loss landscape з grokking (міст до лекції 4). Ключові формули: Градієнтний крок, умова L-гладкості, момент Нестерова, Adam. Базова (класична) література: S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004. Y. Nesterov. Introductory Lectures on Convex Optimization, Springer, 2004. H. Robbins, S. Monro. A Stochastic Approximation Method, Annals of Mathematical Statistics, 1951. Сучасна література (2024–2026): N. Michaud et al. The Quantization Model of Neural Scaling, NeurIPS, 2023 (перехід між дискретними «навичками» під час навчання). Огляди технік оцінювання законів масштабування оптимізації, зокрема L. Choshen et al. A Hitchhiker's Guide to Scaling Law Estimation, 2025. SGD · момент Нестерова · Adam · візуалізація траєкторій збіжності Мета заняття Реалізувати «з нуля» (без torch.optim чи інших готових оптимізаторів) послідовність методів оптимізації лекції 2 — звичайний градієнтний спуск, SGD, момент, момент Нестерова, Adam — і безпосередньо порівняти їхні траєкторії збіжності на опуклій (лінійна/логістична регресія) і неопуклій (тестова функція з сідловою точкою) поверхнях, щоб побачити на власні очі, як саме кожен метод розв'язує проблеми, обговорені в лекції. Порівняння оптимізаторів: навчити одну модель із SGD, Adam, AdamW, Sophia, Muon; порівняти швидкість збіжності та фінальну якість. Візуалізація траєкторій вже є — розширити її. Необхідні інструменти Python 3.10+, numpy, matplotlib (для контурних графіків траєкторій). План: Байєсівський підхід: апріорні/апостеріорні розподіли, максимум апостеріорної ймовірності (MAP) vs максимум правдоподібності (MLE). Принцип максимальної ентропії (MaxEnt) як індуктивне зміщення при неповній інформації. Ентропія, взаємна інформація, розбіжність Кульбака–Лейблера. Інформаційне вузьке горло (Information Bottleneck) як теоретична рамка для навчання представлень. Зв'язок MLE з мінімізацією KL-розбіжності між емпіричним та модельним розподілами. Score-based підхід: score function ∇log p(x) як міст до дифузійних моделей (лекція 9). Нормалізуючі потоки (normalizing flows) як третя генеративна парадигма поряд VAE/GAN. Perplexity як прикладна міра для мовних моделей — зв'язок cross-entropy з практикою LLM. Інформаційна теорія контекстних вікон LLM. Ключові формули: Ентропія, KL-розбіжність, Баєс, Information Bottleneck.Базова (класична) література: T. Cover, J. Thomas. Elements of Information Theory (2nd ed.), Wiley, 2006. C. Bishop. Pattern Recognition and Machine Learning, Springer, 2006. E. Jaynes. Information Theory and Statistical Mechanics, Physical Review, 1957. Сучасна література (2024–2026): Огляди застосування інформаційного вузького горла до аналізу глибоких мереж (продовження лінії Tishby et al.), у контексті сучасних робіт з інтерпретованості 2024–2025 років (див. л. 11). Наївний Баєс · ентропія · взаємна інформація · KL-розбіжність на реальних даних Мета заняття Реалізувати наївний баєсівський класифікатор «з нуля» (лекція 3, розділ 3.1) і обчислити на реальних даних три ключові інформаційно-теоретичні міри — ентропію, взаємну інформацію та KL-розбіжність (лекція 3, розділи 3.2–3.3), щоб перевірити на практиці, як ці абстрактні формули використовуються для конкретних задач: класифікації, відбору ознак і виявлення зсуву розподілу. Обчислити perplexity 2–3 LLM на спільному корпусі; порівняти ентропійні профілі; проаналізувати, де моделі «непевні». Це сучасніше за абстрактні обчислення KL на табличних даних. Необхідні інструменти Python 3.10+, numpy, pandas, matplotlib. Рекомендовано текстовий набір даних для класифікації (наприклад, класифікація новин чи спам-фільтрація) або табличний набір із категоріальними ознаками. План: PAC-навчання: означення, вибіркова складність. VC-розмірність та її роль в оцінках узагальнення. Компроміс bias–variance; сучасний перегляд через double descent. Регуляризація як індуктивне зміщення: L1/L2, рання зупинка, dropout — єдина теоретична рамка. Явище grokking та неасимптотичне узагальнення в надпараметризованих моделях. Сучасні пояснення double descent: Neural Tangent Kernel (NTK) та mean-field теорії як інструменти аналізу. Теорія для RLHF/DPO: теоретичні гарантії preference optimization — нова область 2024–2025. Scaling laws як емпірична теорія навчання: як вони співвідносяться з PAC/VC рамкою (філософський зв'язок). Крос-валідація · криві навчання · bias–variance · double descentМета заняттяЕмпірично відтворити три ключові теоретичні конструкції лекції 4: (а) крос-валідацію як практичну оцінку узагальнення без доступу до окремого «істинного» тестового розподілу, (б) розкладання зміщення–дисперсії через прямий статистичний експеримент з повторним семплуванням даних, (в) явище подвійного спуску, спостерігаючи його на власному, навмисно надлишковому за складністю сімействі моделей.міні-експеримент зі scaling law: навчити серію моделей різного розміру на малому корпусі, побудувати емпіричну криву втрат — «відтворити Kaplan у мініатюрі».Необхідні інструментиPython 3.10+, numpy, scikit-learn (для крос-валідації й базових моделей), PyTorch (для частини 3, double descent), matplotlib.Ключові формули: PAC-межа з ймовірністю, Bias–variance розклад, регуляризований ризик. Базова (класична) література: V. Vapnik. Statistical Learning Theory, Wiley, 1998. L. Valiant. A Theory of the Learnable, Communications of the ACM, 1984. S. Shalev-Shwartz, S. Ben-David. Understanding Machine Learning: From Theory to Algorithms, 2014. Сучасна література (2024–2026): N. Nanda, L. Chan, T. Lieberum, J. Smith, J. Steinhardt. Progress Measures for Grokking via Mechanistic Interpretability, ICLR, 2023 (і подальші роботи 2024–2025 із застосуванням до великих моделей). Роботи 2024–2025 з double descent та неасимптотичних меж узагальнення для дифузійних моделей (див. список л. 9) як приклад сучасного розвитку теорії навчання поза класичною PAC-рамкою. План: Багатошаровий перцептрон, функції активації, універсальна апроксимація. Алгоритм зворотного поширення похибки: обчислювальний граф, автоматичне диференціювання. Проблема зникаючих/вибухаючих градієнтів, ініціалізація ваг (Xavier, He). Нормалізація: BatchNorm, LayerNorm — вплив на ландшафт оптимізації. Індуктивні зміщення архітектур як центральна тема курсу. Сучасні компоненти LLM-блоку: RMSNorm (замість/поряд із LayerNorm), SwiGLU/GeGLU (замість ReLU) — це стандарт усіх сучасних моделей (LLaMA, Mistral тощо). Mixture of Experts (MoE) — згадати як архітектурний принцип розрідженого масштабування (детальніше в лекції 8). Ефективне тренування: flash attention, checkpointing, parallelism strategies (коротко). Глибина vs ширина в сучасних моделях. Ключові формули: Теорема універсальної апроксимації (Cybenko/Hornik), зворотне поширення, He-ініціалізаціяin. Базова (класична) література: D. Rumelhart, G. Hinton, R. Williams. Learning Representations by Back-Propagating Errors, Nature, 1986. K. Hornik. Approximation Capabilities of Multilayer Feedforward Networks, Neural Networks, 1991. I. Goodfellow, Y. Bengio, A. Courville. Deep Learning, MIT Press, 2016. Сучасна література (2024–2026): Сучасні огляди ефективних архітектур та ініціалізації в контексті надвеликих моделей — див. джерела до л. 8 (закони масштабування). Прямий прохід і зворотне поширення без автоград-фреймворків · порівняння з PyTorchМета заняття Реалізувати повнозв'язну нейронну мережу (MLP) і алгоритм зворотного поширення похибки (лекція 5, розділи 5.1–5.2) виключно засобами numpy, без автоматичного диференціювання, щоб на власному досвіді пройти кожен крок ланцюгового правила вручну. Перевірити коректність реалізації числовою перевіркою градієнта, а потім порівняти з еквівалентною реалізацією на PyTorch autograd. Сучасний блок трансформера з нуля: реалізувати RMSNorm + SwiGLU + RoPE + attention як один блок. Необхідні інструменти Python 3.10+, numpy (для частин 1–2, БЕЗ PyTorch чи інших автоград-бібліотек), PyTorch (лише для частини 3, порівняльної), matplotlib. План: Операція згортки, інваріантність до зсуву, pooling. Класичні архітектури: LeNet, AlexNet, VGG, ResNet (skip-connections як розв'язання проблеми градієнтів). Індуктивні зміщення CNN проти повнозв'язних мереж і Vision Transformer (ViT). Проблеми: adversarial-вразливість, зміщення текстура-vs-форма, узагальнення поза розподілом у зорових задачах. Vision-language моделі: CLIP як фундаментальний зсув у CV (zero-shot, відкритий словник). Segment Anything (SAM) та foundation models для CV — сегментація промптами. Сучасні CNN: ConvNeXt (повернення CNN з модернізацією під трансформери), гібриди CNN+Transformer. Video understanding** коротко згадати. Ключові формули: Дискретна згортка, Residual-блок: y = F(x, W) + x — розв'язання проблеми деградації глибоких мереж. Базова (класична) література: Y. LeCun et al. Gradient-Based Learning Applied to Document Recognition, Proceedings of the IEEE, 1998. A. Krizhevsky, I. Sutskever, G. Hinton. ImageNet Classification with Deep CNNs, NeurIPS, 2012. K. He et al. Deep Residual Learning for Image Recognition, CVPR, 2016. Сучасна література (2024–2026): A. Dosovitskiy et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, ICLR, 2021 (перехід від CNN до ViT). Сучасні роботи 2024–2025 з порівняння індуктивних зміщень CNN/ViT та їх ролі в узагальненні (пов'язано з темою л. 12 — робастність). Побудова та навчання CNN · аналіз карт активаційМета заняття Реалізувати, навчити й проаналізувати згорткову нейронну мережу (CNN, лекція 6) на стандартному наборі зображень, емпірично перевірити ключові теоретичні твердження лекції 6 — про кількість параметрів, рецептивне поле й ієрархію ознак — і візуалізувати внутрішні карти активацій, щоб на власні очі побачити прогресію від простих до складних ознак. CLIP та SAM у дії: zero-shot класифікація через CLIP; сегментація зображень промптами через SAM; порівняння з класичною CNN. Це наочно демонструє зміну парадигми CV. Необхідні інструменти Python 3.10+, PyTorch, torchvision (набір CIFAR-10), matplotlib. План: RNN, проблема довгострокових залежностей, LSTM/GRU як розв'язання. Механізм уваги (attention) як заміна рекурентності. Архітектура Transformer: self-attention, multi-head attention, позиційне кодування. Обчислювальна складність self-attention O(n²) та сучасні підходи до її зниження. Довгі контексти: як розширюють контекстне вікно (RoPE scaling, YaRN, ALiBi) — критично для розуміння сучасних LLM. Ефективні архітектури детальніше: Mamba/Mamba-2 (SSM), RWKV, RetNet. FlashAttention як інфраструктурна інновація (не змінює математику, але змінила практику). Порівняння паралельності/рекурентності як теоретична рамка. Ключові формули: LSTM-вентил, Self-attention, позиційне кодування (синусоїдальне). Базова (класична) література: S. Hochreiter, J. Schmidhuber. Long Short-Term Memory, Neural Computation, 1997. A. Vaswani et al. Attention Is All You Need, NeurIPS, 2017. Сучасна література (2024–2026): J. Su et al. RoFormer: Enhanced Transformer with Rotary Position Embedding (та подальші аналізи ролі RoPE у контекстних вікнах LLM 2024–2025). Огляди ефективних механізмів уваги (linear attention, state-space models Mamba) як актуальний напрям 2024–2025. RNN/LSTM · демонстрація проблеми зникаючих градієнтівМета заняття Реалізувати «з нуля» базову рекурентну мережу (RNN) і LSTM (лекція 7, розділи 7.1–7.2), навчити обидві на задачі передбачення послідовності й, найголовніше, кількісно виміряти й порівняти норму градієнта на ранніх кроках часу залежно від довжини послідовності — щоб побачити проблему зникаючого градієнта не як абстрактне теоретичне твердження, а як вимірювану емпіричну властивість власної реалізації. Довгі послідовності: Transformer vs Mamba: навчити/протестувати обидві архітектури на довгих послідовностях; порівняти пам'ять, швидкість, якість. Це демонструє реальний компроміс, а не лише іграшковий міні-трансформер. Необхідні інструменти Python 3.10+, PyTorch, numpy, matplotlib. План: Авторегресійне мовне моделювання, токенізація (BPE). Закони масштабування: залежність втрати від розміру моделі, даних, обчислень. Compute-optimal навчання (Chinchilla) проти inference-optimal підходів. Емерджентні властивості: in-context learning, few-shot навчання без оновлення ваг. In-context learning як неявне мета-навчання/баєсівський висновок. Reasoning models (o1, DeepSeek-R1, o3-подібні): chain-of-thought як навчальна парадигма, test-time compute scaling. Mixture of Experts як архітектура ефективного масштабування (детально). Синтетичні дані та model collapse: ризики навчання на згенерованих даних — важлива відкрита проблема. Пост-тренінгове масштабування. Критика емерджентності (як у Schaeffer et al.). Ключові формули: Закон масштабування Kaplan, Chinchilla-компроміс. Базова (класична) література: J. Kaplan et al. Scaling Laws for Neural Language Models, arXiv:2001.08361, 2020. J. Hoffmann et al. Training Compute-Optimal Large Language Models (Chinchilla), arXiv:2203.15556, 2022. T. Brown et al. Language Models are Few-Shot Learners (GPT-3), NeurIPS, 2020. Сучасна література (2024–2026): H. Lai et al. A Survey of Post-Training Scaling in Large Language Models, ACL, 2025 — систематизація test-time compute та post-training масштабування. Farseer: A Refined Scaling Law in Large Language Models, arXiv:2506.10972, 2025. N. Sardana et al. Beyond Chinchilla-Optimal: Accounting for Inference in LM Scaling Laws, ICML, 2024. S. Hu et al. Predicting Emergent Abilities with Infinite Resolution Evaluation, 2024. Self-attention та multi-head attention «з нуля» · навчання на іграшковому корпусі Мета заняття Реалізувати «з нуля» (без використання готового torch.nn.MultiheadAttention чи transformer-шарів) механізм самоуваги, багатоголову увагу й повний блок Transformer-декодера (лекція 7), і навчити невелику авторегресійну мовну модель (лекція 8) на маленькому символьному чи словниковому корпусі. Ціль — переконатись, що абстрактні формули лекції 7 повністю визначають конкретну, коректно працюючу реалізацію, а не лишаються на рівні інтуїції. Reasoning та test-time compute» порівняти direct answering vs chain-of-thort vs self-consistency на математичних задачах (GSM8K/MATH subset); виміряти, як якість зростає з кількістю test-time обчислень. Це безпосередньо відтворює головну тему 2025–2026. Необхідні інструменти Python 3.10+, PyTorch (дозволяється використовувати torch.nn.Linear, LayerNorm, Embedding, але не готові шари уваги чи transformer-блоки), matplotlib. План: Варіаційні автоенкодери: варіаційний висновок, ELBO, reparameterization trick. Генеративні змагальні мережі: теоретико-ігрова постановка (мінімакс), проблеми навчання (mode collapse). Дифузійні моделі: пряма/зворотна дифузія, DDPM. Формалізм стохастичних диференціальних рівнянь (SDE) та probability flow ODE. Flow matching як узагальнена рамка для неперервних генеративних моделей. Відеодифузія (Sora-подібні моделі): генерація відео як просторово-часова дифузія. Consistency models як швидка альтернатива багатокроковій дифузії. 3D-генерація: NeRF, Gaussian Splatting. Мультимодальна генерація (text-to-image/video/audio). Ключові формули: ELBO, Мінімакс GAN, пряма дифузія (DDPM), SDE-формулювання. Базова (класична) література: D. Kingma, M. Welling. Auto-Encoding Variational Bayes, ICLR, 2014. I. Goodfellow et al. Generative Adversarial Networks, NeurIPS, 2014. J. Ho, A. Jain, P. Abbeel. Denoising Diffusion Probabilistic Models, NeurIPS, 2020. Y. Song et al. Score-Based Generative Modeling through Stochastic Differential Equations, ICLR, 2021. Сучасна література (2024–2026): H. Cao et al. A Survey on Generative Diffusion Models, IEEE TKDE, 2024. G. Li, Y. Yan. Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models, arXiv:2405.14861, 2024. Efficient Diffusion Models: A Survey, TMLR, 2025 (arXiv:2502.06805). Роботи зі збіжності probability flow ODE та мінімаксної оптимальності дифузійних моделей, 2024–2025 (G. Li, Y. Wei, Y. Chi, Y. Chen та ін.). Повний fine-tuning · LoRA · few-shot промптингМета заняття Порівняти три принципово різні способи адаптації попередньо навченої LLM (лекція 8) до нової вузької задачі: повне донавчання всіх параметрів, параметрично-ефективне донавчання методом LoRA (Low-Rank Adaptation) і адаптацію без жодного оновлення ваг через few-shot промптинг (in-context learning, лекція 8, розділ 8.5). Ціль — на власному досвіді відчути компроміс між кількістю навчених параметрів, обчислювальними й пам'яттєвими витратами та якістю адаптації. порівняння швидкості семплування: DDPM (багато кроків) vs DDIM vs consistency model (1–4 кроки) — наочно демонструє прогрес у ефективності. Необхідні інструменти Python 3.10+, PyTorch, бібліотеки transformers і peft (Hugging Face), невелика попередньо навчена мовна модель (наприклад, GPT-2 small чи інша модель порівнянного розміру — обчислювальний бюджет заняття свідомо обмежений). План: Марковський процес прийняття рішень (MDP), рівняння Беллмана. Value-based методи (Q-навчання) та policy gradient методи. PPO як стандарт для стабільного policy gradient. RLHF: навчання моделі винагороди з переваг людей + RL-донавчання політики. Direct Preference Optimization (DPO) як RL-free альтернатива та сімейство її варіантів. RLVR (Reinforcement Learning with Verifiable Rewards): навчання reasoning через верифіковані винагороди (математика, код) — саме так тренують DeepSeek-R1 та o-моделі. GRPO. Constitutional AI / RLAIF: вирівнювання через ШІ-фідбек замість людського. Multi-agent RL. Offline RL, decision transformers як альтернативна рамка. Ключові формули: Рівняння Беллмана, Q-навчання, PPO-цільова функція, DPO-цільова функція. Базова (класична) література: R. Sutton, A. Barto. Reinforcement Learning: An Introduction (2nd ed.), MIT Press, 2018. V. Mnih et al. Human-level Control through Deep Reinforcement Learning, Nature, 2015. J. Schulman et al. Proximal Policy Optimization Algorithms, arXiv:1707.06347, 2017. P. Christiano et al. Deep Reinforcement Learning from Human Preferences, NeurIPS, 2017. Сучасна література (2024–2026): L. Ouyang et al. Training Language Models to Follow Instructions with Human Feedback (InstructGPT), NeurIPS, 2022. R. Rafailov et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model, NeurIPS, 2024. A Comprehensive Survey of Direct Preference Optimization: Datasets, Theories, Variants, and Applications, arXiv:2410.15595, 2024. Z. Shao et al. GRPO (DeepSeekMath), 2024; Y. Meng et al. SimPO, 2024; K. Ethayarajh et al. KTO, 2024 — сучасні варіанти вирівнювання без явної RL-петлі. Генерація зображень · аналіз латентного простору · reparameterization trickМета заняття Реалізувати варіаційний автоенкодер (VAE, лекція 9, розділ 9.2) «з нуля», навчити його на наборі зображень рукописних цифр, дослідити структуру вивченого латентного простору (інтерполяція, семплування з апріорного розподілу) і на власному досвіді перевірити необхідність reparameterization trick для навчання градієнтним спуском. RLVR на математичних задачах»: побудувати спрощений пайплайн, де винагорода = правильність відповіді (автоматично верифікується); порівняти з DPO. Це сучасніше і актуальніше за іграшковий RLHF. Необхідні інструменти Python 3.10+, PyTorch, torchvision (для завантаження MNIST чи Fashion-MNIST), matplotlib для візуалізації латентного простору й згенерованих зображень. План: Постхок-пояснення (SHAP, LIME, saliency maps) проти механістичної інтерпретованості. Circuits-парадигма: пошук обчислювальних підграфів (schemas), відповідальних за конкретну поведінку. Суперпозиція ознак та розріджені автоенкодери (SAE) як інструмент дізентанглементу. Проблема причинності в інтерпретованості: activation patching, causal tracing. Відкриті проблеми: масштабованість методів, верифікація «правдивості» пояснень. Attribution graphs** (Anthropic, 2025) та cross-layer transcoders — нові інструменти circuit discovery. Інтерпретованість reasoning models: як інтерпретувати chain-of-thought, чи «чесний» ланцюжок міркувань (faithfulness of CoT) — відкрита проблема 2025–2026. Feature steering Ключові формули: SHAP-значення, реконструкція SAE з розрідженим кодом . Базова (класична) література: C. Olah et al. Zoom In: An Introduction to Circuits, Distill, 2020. N. Elhage et al. Toy Models of Superposition, 2022 (arXiv:2209.10652). Сучасна література (2024–2026): Open Problems in Mechanistic Interpretability, arXiv:2501.16496, 2025. D. Rai et al. A Practical Review of Mechanistic Interpretability for Transformer-Based Language Models, arXiv:2407.02646, 2024. D. Shu et al. A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of LLMs, arXiv:2503.05613, 2025. A. Templeton et al. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Anthropic, 2024. Locate, Steer, and Improve: A Practical Survey of Actionable Mechanistic Interpretability in LLMs, arXiv, 2025. Реалізація простого GAN · mode collapse · методи стабілізації навчанняМета заняття Реалізувати «з нуля» просту генеративну змагальну мережу (GAN, лекція 9, розділ 9.3), спостерігати на власному експерименті явище mode collapse на керованому іграшковому прикладі, де кількість «мод» даних відома заздалегідь, і застосувати щонайменше один із стандартних прийомів стабілізації мінімаксного навчання. лінійний probing прихованих представлень + спроба feature steering через активації трансформера. Це ближче до сучасної механістичної інтерпретованості, ніж SHAP для табличних даних. Необхідні інструменти Python 3.10+, PyTorch, numpy, matplotlib. Обчислювальний бюджет заняття свідомо обмежений — рекомендується невеликий синтетичний набір даних (суміш гаусіанів) і/або підмножина MNIST із кількох цифр, а не повномасштабний набір зображень високої роздільної здатності. План: Adversarial-приклади: означення, FGSM, PGD-атаки. Adversarial-навчання як мінімаксна задача робастної оптимізації. Узагальнення поза розподілом (OOD): коваріатний зсув, зсув концепту. Компроміс між точністю та робастністю (robustness–accuracy trade-off). Масштабування робастності: чи зникає вразливість зі зростанням моделі? Prompt injection та indirect prompt injection — головний вектор атак на LLM-агентів 2025–2026. Jailbreak-атаки детальніше. Watermarking та детекція AI-контенту — практична проблема розгортання. Robustness у deployment — distribution shift у продакшні. Класичні adversarial для зображень. Ключові формули: FGSM, робастна оптимізація (Madry et al.) Базова (класична) література: C. Szegedy et al. Intriguing Properties of Neural Networks, ICLR, 2014. I. Goodfellow, J. Shlens, C. Szegedy. Explaining and Harnessing Adversarial Examples, ICLR, 2015. A. Madry et al. Towards Deep Learning Models Resistant to Adversarial Attacks, ICLR, 2018. Сучасна література (2024–2026): N. Howe et al. Scaling Trends in Language Model Robustness, arXiv:2407.18213, 2025. C. Liu et al. Scaling Laws for Black-Box Adversarial Attacks, arXiv:2411.16782, 2024. J. Hughes et al. Best-of-N Jailbreaking, arXiv:2412.03556, 2024 (робастність LLM до атак на рівні промптів). Реалізація зворотного процесу семплування DDPM/DDIMМета заняття Використовуючи попередньо навчену дифузійну модель (лекція 9), реалізувати «з нуля» (без високорівневих готових функцій-семплерів) обидва основні алгоритми зворотного семплування — стохастичний DDPM і детермінований DDIM, — щоб на практиці зрозуміти, що саме мережа передбачення шуму ε_θ(x_t,t) обчислює на кожному кроці, і чому DDIM дозволяє генерувати якісні зразки за суттєво меншу кількість кроків, ніж DDPM. «Prompt injection attack та захист»: реалізувати просту агентну систему (LLM + tool), продемонструвати indirect prompt injection через зовнішній контент, розробити/протестувати захист. Це найактуальніше практичне для безпеки додатків. Необхідні інструменти Python 3.10+, PyTorch, бібліотека diffusers (лише для завантаження попередньо навченої моделі ε_θ і планувальника коефіцієнтів шуму — сам цикл семплування пропонується реалізувати вручну), matplotlib для візуалізації. План: Класифікація ризиків: специфікаційні розриви (specification gaming), розподільчий зсув мети, інструментальна конвергенція. Масштабований нагляд (scalable oversight): дебати, ітеративна дистиляція й ампліфікація, рекурсивне моделювання винагороди. Проблема суперузгодження (superalignment): нагляд за системами, потужнішими за людину. Оманливе вирівнювання (deceptive alignment) та проблема верифікації внутрішніх цілей моделі. Формальні підходи до верифікації безпеки ШІ-систем. Safety cases як методологія. Frontier safety frameworks: Anthropic Responsible Scaling Policy, OpenAI Preparedness Framework — як інституційні підходи. Safety evaluation / red-teaming benchmarks як окрема галузь оцінювання. Ключові формули: Формалізація specification gaming: агент максимізує проксі-винагороду R̂ ≠ істинну цільову функцію R, що за певних умов веде до розбіжності поведінки (R̂(π)>R̂(π_true), але R(π)≪R*(π_true)). Базова (класична) література: D. Amodei et al. Concrete Problems in AI Safety, arXiv:1606.06565, 2016. N. Bostrom. Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014. P. Christiano, B. Shlegeris, D. Amodei. Supervising Strong Learners by Amplifying Weak Experts (IDA), arXiv:1810.08575, 2018. Сучасна література (2024–2026): AI Alignment: A Comprehensive Survey, arXiv:2310.19852 (з оновленнями 2025 р.). The Road to Artificial Superintelligence: A Comprehensive Survey of Superalignment, arXiv:2412.16468, 2024–2025. M. Buhl et al. An Alignment Safety Case Sketch Based on Debate, arXiv:2505.03989, 2025. International AI Safety Report 2026, arXiv:2602.21012 — консенсусний огляд ризиків найпотужніших систем. Табличне Q-навчання · DQN у класичних середовищах керуванняМета заняття Реалізувати «з нуля» табличне Q-навчання в дискретному середовищі та нейромережеве Q-навчання (DQN) у середовищі з неперервним простором станів, спираючись на теоретичний апарат лекції 10 (розділи 10.1–10.2). Ціль — не лише відтворити відомі алгоритми, а на власному досвіді простежити, чому пряме узагальнення табличного підходу на функцію апроксимації (нейронну мережу) вимагає додаткових технічних прийомів (experience replay, цільова мережа), яких немає потреби в табличному випадку. «Safety evaluation framework»: розробити невеликий набір safety-тестів для моделі (за категоріями ризиків), провести оцінювання, скласти звіт у стилі safety case. Необхідні інструменти Python 3.10+, бібліотека gymnasium (наступник OpenAI Gym), numpy, PyTorch, matplotlib для візуалізації кривих навчання. План: Упередженість (bias) в даних та моделях: джерела, вимірювання, пом'якшення. Автономність систем прийняття рішень та розподіл відповідальності. Економічні та соціальні наслідки автоматизації. Довгострокові ризики: екзистенційний ризик, керованість (control problem), питання свідомості/моральний статус ШІ-систем — філософська дискусія без остаточних відповідей. Регуляторні підходи: порівняльний огляд (EU AI Act та інші рамки) без оцінки їх ефективності. Інтелектуальна власність та авторське право у генеративних моделях — найгостріша правова тема. Енергоспоживання та екологічний вплив ШІ (вуглецевий слід тренування/інференсу). Концентрація обчислювальних ресурсів та влади (compute governance, доступ до GPU). Глобальне управління ШІ: міжнародні ініціативи (UN, AI Safety Summits). Вплив на ринок праці: augmentation vs replacement. Ключові формули: Формальні означення групової справедливості (fairness): demographic parity; equalized odds — рівність TPR/FPR між групами A. Базова (класична) література: L. Floridi, J. Cowls. A Unified Framework of Five Principles for AI in Society, Harvard Data Science Review, 2019. C. O'Neil. Weapons of Math Destruction, Crown, 2016. Сучасна література (2024–2026): International AI Safety Report 2026, arXiv:2602.21012 (розділи щодо соціальних і трудових ефектів). Дослідження культурного/політичного зміщення вирівняних LLM 2024–2025 (напр., аналізи культурної відповідності мовних моделей у PNAS Nexus, 2024, та подальші роботи 2025 р.). Модель переваг на іграшкових даних · порівняння RLHF та DPOМета заняття Відтворити на керованому, обчислювально легкому іграшковому прикладі обидва шляхи вирівнювання мовної моделі, розглянуті теоретично в лекції 10: (а) повний трьохстадійний пайплайн RLHF (навчання моделі переваг → RL-донавчання політики) і (б) прямий шлях DPO. Ціль — не досягти продакшн-якості вирівнювання, а на власному досвіді відчути, у чому конкретно DPO обчислювально й технічно простіший за RLHF, і чи справді обидва підходи сходяться до подібного розв'язку на простій задачі, де це можна перевірити напряму. «Аудит відповідності EU AI Act»** (вже запропоновано раніше) або альтернативно «Оцінка екологічного сліду»: порахувати енергоспоживання тренування/інференсу моделі, порівняти з вуглецевим бюджетом. Необхідні інструменти Python 3.10+, PyTorch, невелика попередньо навчена мовна модель (наприклад, GPT-2 small чи інша модель порівнянного розміру — обчислювальний бюджет заняття свідомо обмежений), бібліотека trl (Transformer Reinforcement Learning) або власна спрощена реалізація PPO-циклу для навчальних цілей. SHAP · saliency maps · лінійний probing прихованих представлень трансформера Отримати практичний досвід застосування трьох принципово різних методів інтерпретованості, розглянутих теоретично в лекції 11: постхок-атрибуції ознак (SHAP), візуалізації чутливості входу (saliency maps) і прямого дослідження внутрішніх представлень моделі (лінійний probing). Ціль — не лише навчитись викликати відповідні бібліотечні функції, а навчитись критично оцінювати, що саме кожен метод показує, а що — лишає поза увагою, спираючись на застереження про правдивість (faithfulness) пояснень із лекції 11. Необхідні інструменти Python 3.10+, бібліотеки: scikit-learn, shap, torch, transformers, captum (або власна реалізація градієнтної атрибуції), matplotlib. Рекомендовано Jupyter-середовище для інтерактивної візуалізації. Індивідуальний дослідницький проєкт (30% підсумкової оцінки, розділ 5 силабуса) складається з письмового огляду обраної теми та відтворення основного результату однієї сучасної статті (2024–2026 рр.) на власних, обчислювально доступних даних чи спрощеній моделі, із усною доповіддю на завершальному занятті. Наведений нижче перелік — орієнтовний: аспірант може запропонувати власну тему в межах тематики курсу за погодженням із викладачем. Кожна тема прив'язана до конкретної лекції курсу, на матеріал якої вона спирається.Оптимізація та теорія навчанняНейронні мережі та архітектуриВеликі мовні моделіГенеративні моделіНавчання з підкріпленням і вирівнюванняІнтерпретованістьРобастність і безпекаЕтика та мультимодальні / агентні системиКожен проєкт оцінюється за трьома критеріями: (1) якість і повнота огляду теоретичного контексту теми; (2) коректність і відтворюваність практичної частини (код, експеримент, порівняння з очікуваним результатом джерела); (3) якість усної доповіді та здатність відповісти на запитання щодо меж і обмежень отриманого результату. Силабус підготував М.М.Глибовець Зав. кафедри А.М.Нагірна ]]>syllabus.htmlSyllabus.mdSun, 13 Sep 2026 17:41:19 GMT