формалізувати довільну задачу машинного навчання в термінах ризику R(h), емпіричного ризику R̂(h) і теорії статистичного навчання;

виводити й застосовувати ключові формули оптимізації, імовірнісного виведення та генеративного моделювання, що лежать в основі сучасних архітектур;

реалізовувати з нуля основні алгоритми курсу (зворотне поширення, увага, DQN, VAE/GAN/дифузія, DPO) та відтворювати результати наукових статей;

критично оцінювати межі узагальнення, робастність та безпеку систем ШІ, спираючись на формальний і емпіричний апарат курсу;

орієнтуватися в актуальній науковій літературі (2024–2026) за обраним напрямом дослідження та формулювати власну дослідницьку проблему.

Глибовець М.М. Штучний інтелект / М.М.Глибовець, О.В.Олецький. - Κ.: ΚΜ Ака­демія, 2002. -366с.

В.В. Литвин, В.В. Пасічник, Ю.В. Яцишин Інтелектуальні системи, Видавництво «Новий світ – 2000», Львів – 2009, 309с.

Глибовець А. М., Гулаєва Н. М. Еволюційні алгоритми. М. — К.: НаУКМА, 2013., 828с.

Субботін С. О. Подання й обробка знань у системах штучного інтелекту та підтримки прийняття рішень: Навч. посібник. – Запоріжжя, ЗНТУ, 2008. – 431 с.

Пасічник В.В. Організація баз даних та знань / В.В.Пасічник, В.А.Резніченко. -Київ: BHV „ПИТЕР", 2006. - 460с.

S. Russell, P. Norvig. Artificial Intelligence: A Modern Approach (4th ed.), Pearson, 2020.

S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.

T. Cover, J. Thomas. Elements of Information Theory (2nd ed.), Wiley, 2006.

V. Vapnik. Statistical Learning Theory, Wiley, 1998.

I. Goodfellow, Y. Bengio, A. Courville. Deep Learning, MIT Press, 2016.

A. Vaswani et al. Attention Is All You Need, NeurIPS, 2017.

R. Sutton, A. Barto. Reinforcement Learning: An Introduction (2nd ed.), MIT Press, 2018.

N. Bostrom. Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014.

H. Lai et al. A Survey of Post-Training Scaling in Large Language Models, ACL, 2025.

R. Rafailov et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model, NeurIPS, 2024.

Open Problems in Mechanistic Interpretability, arXiv:2501.16496, 2025.

N. Howe et al. Scaling Trends in Language Model Robustness, arXiv:2407.18213, 2025.

The Road to Artificial Superintelligence: A Comprehensive Survey of Superalignment, arXiv:2412.16468, 2024–2025.

International AI Safety Report 2026, arXiv:2602.21012.

Визначення ШІ: слабкий/сильний ШІ, тест Тюрінга, критика Сірл (китайська кімната).

Історія парадигм: символьний ШІ (GOFAI), експертні системи, конекціонізм, статистичне навчання, глибоке навчання.

«Зими ШІ»: причини та уроки для оцінки поточного буму.

Сучасна карта галузі: NLP, CV, RL, генеративні моделі, мультимодальні системи, агентні системи.

Агентні системи (agentic AI— це головна парадигма 2025–2026 (multi-agent systems, tool use, computer use).

Верифікація відповідей як відкрита проблема: як перевіряти правильність розв'язків моделі (verification, verifiable rewards) — ключ до сучасного RL.

Тест-тайм обчислення як нова парадигма масштабування.

«чи LLM — це новий вид інтелекту, чи статистичні папуги».

Відкриті проблеми: узагальнення, каузальність, енергоефективність, безпека, вирівнювання (alignment).

Тест Тюрінга як операційне визначення інтелекту (без формалізації метрики).

Формальна постановка задачі навчання.

S. Russell, P. Norvig. Artificial Intelligence: A Modern Approach (4th ed.), 2020.

A. Turing. Computing Machinery and Intelligence, Mind, 1950.

J. McCarthy, M. Minsky, N. Rochester, C. Shannon. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, 1955.

International AI Safety Report 2026 (арх. arXiv:2602.21012) — щорічний консенсусний звіт про стан і ризики ШІ.

Shervin Minaee et al. Large Language Models: A Survey, arXiv:2402.06196, 2024 (огляд сучасного етапу розвитку).

Опукла оптимізація: опуклі множини, опуклі функції, умови оптимальності.

Градієнтний спуск і його варіації: SGD, momentum, Nesterov acceleration, Adam/AdamW.

Умови збіжності: L-гладкість, μ-сильна опуклість, швидкості збіжності.

Стохастична апроксимація (Robbins–Monro) як основа SGD.

Особливості оптимізаційного ландшафту нейронних мереж: сідлові точки, плато, loss landscape.

Сучасні оптимізатори для трансформерів: Sophia (2023, діагональний Hessian) та Muon (2024–2025, став стандартом для тренування великих моделей).

Практика тренування LLM: warmup, cosine/WS learning-rate schedules, gradient clipping, mixed-precision (bf16), gradient accumulation — це те, що реально використовується.

Оптимізація в RL/RLHF як окремий аспект (nesting of optimizers).

Зв'язок loss landscape з grokking (міст до лекції 4).

S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.

Y. Nesterov. Introductory Lectures on Convex Optimization, Springer, 2004.

H. Robbins, S. Monro. A Stochastic Approximation Method, Annals of Mathematical Statistics, 1951.

N. Michaud et al. The Quantization Model of Neural Scaling, NeurIPS, 2023 (перехід між дискретними «навичками» під час навчання).

Огляди технік оцінювання законів масштабування оптимізації, зокрема L. Choshen et al. A Hitchhiker's Guide to Scaling Law Estimation, 2025.

Реалізувати «з нуля» (без torch.optim чи інших готових оптимізаторів) послідовність методів оптимізації лекції 2 — звичайний градієнтний спуск, SGD, момент, момент Нестерова, Adam — і безпосередньо порівняти їхні траєкторії збіжності на опуклій (лінійна/логістична регресія) і неопуклій (тестова функція з сідловою точкою) поверхнях, щоб побачити на власні очі, як саме кожен метод розв'язує проблеми, обговорені в лекції.

Порівняння оптимізаторів: навчити одну модель із SGD, Adam, AdamW, Sophia, Muon; порівняти швидкість збіжності та фінальну якість. Візуалізація траєкторій вже є — розширити її.

Байєсівський підхід: апріорні/апостеріорні розподіли, максимум апостеріорної ймовірності (MAP) vs максимум правдоподібності (MLE).

Принцип максимальної ентропії (MaxEnt) як індуктивне зміщення при неповній інформації.

Ентропія, взаємна інформація, розбіжність Кульбака–Лейблера.

Інформаційне вузьке горло (Information Bottleneck) як теоретична рамка для навчання представлень.

Зв'язок MLE з мінімізацією KL-розбіжності між емпіричним та модельним розподілами.

Score-based підхід: score function ∇log p(x) як міст до дифузійних моделей (лекція 9).

Нормалізуючі потоки (normalizing flows) як третя генеративна парадигма поряд VAE/GAN.

Perplexity як прикладна міра для мовних моделей — зв'язок cross-entropy з практикою LLM.

Інформаційна теорія контекстних вікон LLM.

T. Cover, J. Thomas. Elements of Information Theory (2nd ed.), Wiley, 2006.

C. Bishop. Pattern Recognition and Machine Learning, Springer, 2006.

E. Jaynes. Information Theory and Statistical Mechanics, Physical Review, 1957.

Реалізувати наївний баєсівський класифікатор «з нуля» (лекція 3, розділ 3.1) і обчислити на реальних даних три ключові інформаційно-теоретичні міри — ентропію, взаємну інформацію та KL-розбіжність (лекція 3, розділи 3.2–3.3), щоб перевірити на практиці, як ці абстрактні формули використовуються для конкретних задач: класифікації, відбору ознак і виявлення зсуву розподілу.

Обчислити perplexity 2–3 LLM на спільному корпусі; порівняти ентропійні профілі; проаналізувати, де моделі «непевні». Це сучасніше за абстрактні обчислення KL на табличних даних.

PAC-навчання: означення, вибіркова складність.

VC-розмірність та її роль в оцінках узагальнення.

Компроміс bias–variance; сучасний перегляд через double descent.

Регуляризація як індуктивне зміщення: L1/L2, рання зупинка, dropout — єдина теоретична рамка.

Явище grokking та неасимптотичне узагальнення в надпараметризованих моделях.

Сучасні пояснення double descent: Neural Tangent Kernel (NTK) та mean-field теорії як інструменти аналізу.

Теорія для RLHF/DPO: теоретичні гарантії preference optimization — нова область 2024–2025.

Scaling laws як емпірична теорія навчання: як вони співвідносяться з PAC/VC рамкою (філософський зв'язок).

V. Vapnik. Statistical Learning Theory, Wiley, 1998.

L. Valiant. A Theory of the Learnable, Communications of the ACM, 1984.

S. Shalev-Shwartz, S. Ben-David. Understanding Machine Learning: From Theory to Algorithms, 2014.

N. Nanda, L. Chan, T. Lieberum, J. Smith, J. Steinhardt. Progress Measures for Grokking via Mechanistic Interpretability, ICLR, 2023 (і подальші роботи 2024–2025 із застосуванням до великих моделей).

Роботи 2024–2025 з double descent та неасимптотичних меж узагальнення для дифузійних моделей (див. список л. 9) як приклад сучасного розвитку теорії навчання поза класичною PAC-рамкою.

Багатошаровий перцептрон, функції активації, універсальна апроксимація.

Алгоритм зворотного поширення похибки: обчислювальний граф, автоматичне диференціювання.

Проблема зникаючих/вибухаючих градієнтів, ініціалізація ваг (Xavier, He).

Нормалізація: BatchNorm, LayerNorm — вплив на ландшафт оптимізації.

Індуктивні зміщення архітектур як центральна тема курсу.

Сучасні компоненти LLM-блоку: RMSNorm (замість/поряд із LayerNorm), SwiGLU/GeGLU (замість ReLU) — це стандарт усіх сучасних моделей (LLaMA, Mistral тощо).

Mixture of Experts (MoE) — згадати як архітектурний принцип розрідженого масштабування (детальніше в лекції 8).

Ефективне тренування: flash attention, checkpointing, parallelism strategies (коротко).

Глибина vs ширина в сучасних моделях.

D. Rumelhart, G. Hinton, R. Williams. Learning Representations by Back-Propagating Errors, Nature, 1986.

K. Hornik. Approximation Capabilities of Multilayer Feedforward Networks, Neural Networks, 1991.

I. Goodfellow, Y. Bengio, A. Courville. Deep Learning, MIT Press, 2016.

Реалізувати повнозв'язну нейронну мережу (MLP) і алгоритм зворотного поширення похибки (лекція 5, розділи 5.1–5.2) виключно засобами numpy, без автоматичного диференціювання, щоб на власному досвіді пройти кожен крок ланцюгового правила вручну. Перевірити коректність реалізації числовою перевіркою градієнта, а потім порівняти з еквівалентною реалізацією на PyTorch autograd.

Сучасний блок трансформера з нуля: реалізувати RMSNorm + SwiGLU + RoPE + attention як один блок.

Операція згортки, інваріантність до зсуву, pooling.

Класичні архітектури: LeNet, AlexNet, VGG, ResNet (skip-connections як розв'язання проблеми градієнтів).

Індуктивні зміщення CNN проти повнозв'язних мереж і Vision Transformer (ViT).

Проблеми: adversarial-вразливість, зміщення текстура-vs-форма, узагальнення поза розподілом у зорових задачах.

Vision-language моделі: CLIP як фундаментальний зсув у CV (zero-shot, відкритий словник).

Segment Anything (SAM) та foundation models для CV — сегментація промптами.

Сучасні CNN: ConvNeXt (повернення CNN з модернізацією під трансформери), гібриди CNN+Transformer.

Video understanding** коротко згадати.

Y. LeCun et al. Gradient-Based Learning Applied to Document Recognition, Proceedings of the IEEE, 1998.

A. Krizhevsky, I. Sutskever, G. Hinton. ImageNet Classification with Deep CNNs, NeurIPS, 2012.

K. He et al. Deep Residual Learning for Image Recognition, CVPR, 2016.

A. Dosovitskiy et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, ICLR, 2021 (перехід від CNN до ViT).

Сучасні роботи 2024–2025 з порівняння індуктивних зміщень CNN/ViT та їх ролі в узагальненні (пов'язано з темою л. 12 — робастність).

Реалізувати, навчити й проаналізувати згорткову нейронну мережу (CNN, лекція 6) на стандартному наборі зображень, емпірично перевірити ключові теоретичні твердження лекції 6 — про кількість параметрів, рецептивне поле й ієрархію ознак — і візуалізувати внутрішні карти активацій, щоб на власні очі побачити прогресію від простих до складних ознак.

CLIP та SAM у дії: zero-shot класифікація через CLIP; сегментація зображень промптами через SAM; порівняння з класичною CNN. Це наочно демонструє зміну парадигми CV.

RNN, проблема довгострокових залежностей, LSTM/GRU як розв'язання.

Механізм уваги (attention) як заміна рекурентності.

Архітектура Transformer: self-attention, multi-head attention, позиційне кодування.

Обчислювальна складність self-attention O(n²) та сучасні підходи до її зниження.

Довгі контексти: як розширюють контекстне вікно (RoPE scaling, YaRN, ALiBi) — критично для розуміння сучасних LLM.

Ефективні архітектури детальніше: Mamba/Mamba-2 (SSM), RWKV, RetNet.

FlashAttention як інфраструктурна інновація (не змінює математику, але змінила практику).

Порівняння паралельності/рекурентності як теоретична рамка.

S. Hochreiter, J. Schmidhuber. Long Short-Term Memory, Neural Computation, 1997.

A. Vaswani et al. Attention Is All You Need, NeurIPS, 2017.

J. Su et al. RoFormer: Enhanced Transformer with Rotary Position Embedding (та подальші аналізи ролі RoPE у контекстних вікнах LLM 2024–2025).

Огляди ефективних механізмів уваги (linear attention, state-space models Mamba) як актуальний напрям 2024–2025.

Реалізувати «з нуля» базову рекурентну мережу (RNN) і LSTM (лекція 7, розділи 7.1–7.2), навчити обидві на задачі передбачення послідовності й, найголовніше, кількісно виміряти й порівняти норму градієнта на ранніх кроках часу залежно від довжини послідовності — щоб побачити проблему зникаючого градієнта не як абстрактне теоретичне твердження, а як вимірювану емпіричну властивість власної реалізації.

Довгі послідовності: Transformer vs Mamba: навчити/протестувати обидві архітектури на довгих послідовностях; порівняти пам'ять, швидкість, якість. Це демонструє реальний компроміс, а не лише іграшковий міні-трансформер.

Авторегресійне мовне моделювання, токенізація (BPE).

Закони масштабування: залежність втрати від розміру моделі, даних, обчислень.

Compute-optimal навчання (Chinchilla) проти inference-optimal підходів.

Емерджентні властивості: in-context learning, few-shot навчання без оновлення ваг.

In-context learning як неявне мета-навчання/баєсівський висновок.

Reasoning models (o1, DeepSeek-R1, o3-подібні): chain-of-thought як навчальна парадигма, test-time compute scaling.

Mixture of Experts як архітектура ефективного масштабування (детально).

Синтетичні дані та model collapse: ризики навчання на згенерованих даних — важлива відкрита проблема.

Пост-тренінгове масштабування.

Критика емерджентності (як у Schaeffer et al.).

J. Kaplan et al. Scaling Laws for Neural Language Models, arXiv:2001.08361, 2020.

J. Hoffmann et al. Training Compute-Optimal Large Language Models (Chinchilla), arXiv:2203.15556, 2022.

T. Brown et al. Language Models are Few-Shot Learners (GPT-3), NeurIPS, 2020.

H. Lai et al. A Survey of Post-Training Scaling in Large Language Models, ACL, 2025 — систематизація test-time compute та post-training масштабування.

Farseer: A Refined Scaling Law in Large Language Models, arXiv:2506.10972, 2025.

N. Sardana et al. Beyond Chinchilla-Optimal: Accounting for Inference in LM Scaling Laws, ICML, 2024.

S. Hu et al. Predicting Emergent Abilities with Infinite Resolution Evaluation, 2024.

Реалізувати «з нуля» (без використання готового torch.nn.MultiheadAttention чи transformer-шарів) механізм самоуваги, багатоголову увагу й повний блок Transformer-декодера (лекція 7), і навчити невелику авторегресійну мовну модель (лекція 8) на маленькому символьному чи словниковому корпусі. Ціль — переконатись, що абстрактні формули лекції 7 повністю визначають конкретну, коректно працюючу реалізацію, а не лишаються на рівні інтуїції.

Reasoning та test-time compute» порівняти direct answering vs chain-of-thort vs self-consistency на математичних задачах (GSM8K/MATH subset); виміряти, як якість зростає з кількістю test-time обчислень. Це безпосередньо відтворює головну тему 2025–2026.

Варіаційні автоенкодери: варіаційний висновок, ELBO, reparameterization trick.

Генеративні змагальні мережі: теоретико-ігрова постановка (мінімакс), проблеми навчання (mode collapse).

Дифузійні моделі: пряма/зворотна дифузія, DDPM.

Формалізм стохастичних диференціальних рівнянь (SDE) та probability flow ODE.

Flow matching як узагальнена рамка для неперервних генеративних моделей.

Відеодифузія (Sora-подібні моделі): генерація відео як просторово-часова дифузія.

Consistency models як швидка альтернатива багатокроковій дифузії.

3D-генерація: NeRF, Gaussian Splatting.

Мультимодальна генерація (text-to-image/video/audio).

D. Kingma, M. Welling. Auto-Encoding Variational Bayes, ICLR, 2014.

I. Goodfellow et al. Generative Adversarial Networks, NeurIPS, 2014.

J. Ho, A. Jain, P. Abbeel. Denoising Diffusion Probabilistic Models, NeurIPS, 2020.

Y. Song et al. Score-Based Generative Modeling through Stochastic Differential Equations, ICLR, 2021.

H. Cao et al. A Survey on Generative Diffusion Models, IEEE TKDE, 2024.

G. Li, Y. Yan. Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models, arXiv:2405.14861, 2024.

Efficient Diffusion Models: A Survey, TMLR, 2025 (arXiv:2502.06805).

Роботи зі збіжності probability flow ODE та мінімаксної оптимальності дифузійних моделей, 2024–2025 (G. Li, Y. Wei, Y. Chi, Y. Chen та ін.).

Порівняти три принципово різні способи адаптації попередньо навченої LLM (лекція 8) до нової вузької задачі: повне донавчання всіх параметрів, параметрично-ефективне донавчання методом LoRA (Low-Rank Adaptation) і адаптацію без жодного оновлення ваг через few-shot промптинг (in-context learning, лекція 8, розділ 8.5). Ціль — на власному досвіді відчути компроміс між кількістю навчених параметрів, обчислювальними й пам'яттєвими витратами та якістю адаптації.

порівняння швидкості семплування: DDPM (багато кроків) vs DDIM vs consistency model (1–4 кроки) — наочно демонструє прогрес у ефективності.

Марковський процес прийняття рішень (MDP), рівняння Беллмана.

Value-based методи (Q-навчання) та policy gradient методи.

PPO як стандарт для стабільного policy gradient.

RLHF: навчання моделі винагороди з переваг людей + RL-донавчання політики.

Direct Preference Optimization (DPO) як RL-free альтернатива та сімейство її варіантів.

RLVR (Reinforcement Learning with Verifiable Rewards): навчання reasoning через верифіковані винагороди (математика, код) — саме так тренують DeepSeek-R1 та o-моделі.

GRPO.

Constitutional AI / RLAIF: вирівнювання через ШІ-фідбек замість людського.

Multi-agent RL.

Offline RL, decision transformers як альтернативна рамка.

R. Sutton, A. Barto. Reinforcement Learning: An Introduction (2nd ed.), MIT Press, 2018.

V. Mnih et al. Human-level Control through Deep Reinforcement Learning, Nature, 2015.

J. Schulman et al. Proximal Policy Optimization Algorithms, arXiv:1707.06347, 2017.

P. Christiano et al. Deep Reinforcement Learning from Human Preferences, NeurIPS, 2017.

L. Ouyang et al. Training Language Models to Follow Instructions with Human Feedback (InstructGPT), NeurIPS, 2022.

R. Rafailov et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model, NeurIPS, 2024.

A Comprehensive Survey of Direct Preference Optimization: Datasets, Theories, Variants, and Applications, arXiv:2410.15595, 2024.

Z. Shao et al. GRPO (DeepSeekMath), 2024; Y. Meng et al. SimPO, 2024; K. Ethayarajh et al. KTO, 2024 — сучасні варіанти вирівнювання без явної RL-петлі.

Реалізувати варіаційний автоенкодер (VAE, лекція 9, розділ 9.2) «з нуля», навчити його на наборі зображень рукописних цифр, дослідити структуру вивченого латентного простору (інтерполяція, семплування з апріорного розподілу) і на власному досвіді перевірити необхідність reparameterization trick для навчання градієнтним спуском.

RLVR на математичних задачах»: побудувати спрощений пайплайн, де винагорода = правильність відповіді (автоматично верифікується); порівняти з DPO. Це сучасніше і актуальніше за іграшковий RLHF.

Постхок-пояснення (SHAP, LIME, saliency maps) проти механістичної інтерпретованості.

Circuits-парадигма: пошук обчислювальних підграфів (schemas), відповідальних за конкретну поведінку.

Суперпозиція ознак та розріджені автоенкодери (SAE) як інструмент дізентанглементу.

Проблема причинності в інтерпретованості: activation patching, causal tracing.

Відкриті проблеми: масштабованість методів, верифікація «правдивості» пояснень.

Attribution graphs** (Anthropic, 2025) та cross-layer transcoders — нові інструменти circuit discovery.

Інтерпретованість reasoning models: як інтерпретувати chain-of-thought, чи «чесний» ланцюжок міркувань (faithfulness of CoT) — відкрита проблема 2025–2026.

Feature steering

C. Olah et al. Zoom In: An Introduction to Circuits, Distill, 2020.

N. Elhage et al. Toy Models of Superposition, 2022 (arXiv:2209.10652).

Open Problems in Mechanistic Interpretability, arXiv:2501.16496, 2025.

D. Rai et al. A Practical Review of Mechanistic Interpretability for Transformer-Based Language Models, arXiv:2407.02646, 2024.

D. Shu et al. A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of LLMs, arXiv:2503.05613, 2025.

A. Templeton et al. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Anthropic, 2024.

Locate, Steer, and Improve: A Practical Survey of Actionable Mechanistic Interpretability in LLMs, arXiv, 2025.

Реалізувати «з нуля» просту генеративну змагальну мережу (GAN, лекція 9, розділ 9.3), спостерігати на власному експерименті явище mode collapse на керованому іграшковому прикладі, де кількість «мод» даних відома заздалегідь, і застосувати щонайменше один із стандартних прийомів стабілізації мінімаксного навчання.

лінійний probing прихованих представлень + спроба feature steering через активації трансформера. Це ближче до сучасної механістичної інтерпретованості, ніж SHAP для табличних даних.

Adversarial-приклади: означення, FGSM, PGD-атаки.

Adversarial-навчання як мінімаксна задача робастної оптимізації.

Узагальнення поза розподілом (OOD): коваріатний зсув, зсув концепту.

Компроміс між точністю та робастністю (robustness–accuracy trade-off).

Масштабування робастності: чи зникає вразливість зі зростанням моделі?

Prompt injection та indirect prompt injection — головний вектор атак на LLM-агентів 2025–2026.

Jailbreak-атаки детальніше.

Watermarking та детекція AI-контенту — практична проблема розгортання.

Robustness у deployment — distribution shift у продакшні.

Класичні adversarial для зображень.

C. Szegedy et al. Intriguing Properties of Neural Networks, ICLR, 2014.

I. Goodfellow, J. Shlens, C. Szegedy. Explaining and Harnessing Adversarial Examples, ICLR, 2015.

A. Madry et al. Towards Deep Learning Models Resistant to Adversarial Attacks, ICLR, 2018.

N. Howe et al. Scaling Trends in Language Model Robustness, arXiv:2407.18213, 2025.

C. Liu et al. Scaling Laws for Black-Box Adversarial Attacks, arXiv:2411.16782, 2024.

J. Hughes et al. Best-of-N Jailbreaking, arXiv:2412.03556, 2024 (робастність LLM до атак на рівні промптів).

Використовуючи попередньо навчену дифузійну модель (лекція 9), реалізувати «з нуля» (без високорівневих готових функцій-семплерів) обидва основні алгоритми зворотного семплування — стохастичний DDPM і детермінований DDIM, — щоб на практиці зрозуміти, що саме мережа передбачення шуму ε_θ(x_t,t) обчислює на кожному кроці, і чому DDIM дозволяє генерувати якісні зразки за суттєво меншу кількість кроків, ніж DDPM.

«Prompt injection attack та захист»: реалізувати просту агентну систему (LLM + tool), продемонструвати indirect prompt injection через зовнішній контент, розробити/протестувати захист. Це найактуальніше практичне для безпеки додатків.

Класифікація ризиків: специфікаційні розриви (specification gaming), розподільчий зсув мети, інструментальна конвергенція.

Масштабований нагляд (scalable oversight): дебати, ітеративна дистиляція й ампліфікація, рекурсивне моделювання винагороди.

Проблема суперузгодження (superalignment): нагляд за системами, потужнішими за людину.

Оманливе вирівнювання (deceptive alignment) та проблема верифікації внутрішніх цілей моделі.

Формальні підходи до верифікації безпеки ШІ-систем.

Safety cases як методологія.

Frontier safety frameworks: Anthropic Responsible Scaling Policy, OpenAI Preparedness Framework — як інституційні підходи.

Safety evaluation / red-teaming benchmarks як окрема галузь оцінювання.

D. Amodei et al. Concrete Problems in AI Safety, arXiv:1606.06565, 2016.

N. Bostrom. Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014.

P. Christiano, B. Shlegeris, D. Amodei. Supervising Strong Learners by Amplifying Weak Experts (IDA), arXiv:1810.08575, 2018.

AI Alignment: A Comprehensive Survey, arXiv:2310.19852 (з оновленнями 2025 р.).

The Road to Artificial Superintelligence: A Comprehensive Survey of Superalignment, arXiv:2412.16468, 2024–2025.

M. Buhl et al. An Alignment Safety Case Sketch Based on Debate, arXiv:2505.03989, 2025.

International AI Safety Report 2026, arXiv:2602.21012 — консенсусний огляд ризиків найпотужніших систем.

Реалізувати «з нуля» табличне Q-навчання в дискретному середовищі та нейромережеве Q-навчання (DQN) у середовищі з неперервним простором станів, спираючись на теоретичний апарат лекції 10 (розділи 10.1–10.2). Ціль — не лише відтворити відомі алгоритми, а на власному досвіді простежити, чому пряме узагальнення табличного підходу на функцію апроксимації (нейронну мережу) вимагає додаткових технічних прийомів (experience replay, цільова мережа), яких немає потреби в табличному випадку.

«Safety evaluation framework»: розробити невеликий набір safety-тестів для моделі (за категоріями ризиків), провести оцінювання, скласти звіт у стилі safety case.

Упередженість (bias) в даних та моделях: джерела, вимірювання, пом'якшення.

Автономність систем прийняття рішень та розподіл відповідальності.

Економічні та соціальні наслідки автоматизації.

Довгострокові ризики: екзистенційний ризик, керованість (control problem), питання свідомості/моральний статус ШІ-систем — філософська дискусія без остаточних відповідей.

Регуляторні підходи: порівняльний огляд (EU AI Act та інші рамки) без оцінки їх ефективності.

Інтелектуальна власність та авторське право у генеративних моделях — найгостріша правова тема.

Енергоспоживання та екологічний вплив ШІ (вуглецевий слід тренування/інференсу).

Концентрація обчислювальних ресурсів та влади (compute governance, доступ до GPU).

Глобальне управління ШІ: міжнародні ініціативи (UN, AI Safety Summits).

Вплив на ринок праці: augmentation vs replacement.

L. Floridi, J. Cowls. A Unified Framework of Five Principles for AI in Society, Harvard Data Science Review, 2019.

C. O'Neil. Weapons of Math Destruction, Crown, 2016.

International AI Safety Report 2026, arXiv:2602.21012 (розділи щодо соціальних і трудових ефектів).

Дослідження культурного/політичного зміщення вирівняних LLM 2024–2025 (напр., аналізи культурної відповідності мовних моделей у PNAS Nexus, 2024, та подальші роботи 2025 р.).

Відтворити на керованому, обчислювально легкому іграшковому прикладі обидва шляхи вирівнювання мовної моделі, розглянуті теоретично в лекції 10: (а) повний трьохстадійний пайплайн RLHF (навчання моделі переваг → RL-донавчання політики) і (б) прямий шлях DPO. Ціль — не досягти продакшн-якості вирівнювання, а на власному досвіді відчути, у чому конкретно DPO обчислювально й технічно простіший за RLHF, і чи справді обидва підходи сходяться до подібного розв'язку на простій задачі, де це можна перевірити напряму.

«Аудит відповідності EU AI Act»** (вже запропоновано раніше) або альтернативно «Оцінка екологічного сліду»: порахувати енергоспоживання тренування/інференсу моделі, порівняти з вуглецевим бюджетом.