Պակ-Բայեսյան ընդհանրացման գնահատականների մասին սեմինարներ

Այս սեմինարների շարք նվիրված է Պակ-Բայեսյան ընդհանրացման գնահատականներին (PAC-Bayesian generalization bounds)։ Նյութին ծանոթանալու համար անհրաժեշտ է հավանականության տեսության ստանդարտ գիտելիքներ և բավարար մաթեմատիկական հասունություն։ Սեմինարները նախատեսված են մագիստրատուրայի և ասպիրանտուրայի ուսանողների համար, բայց հասանելի կլինի նաև բակալավրի 3րդ և 4րդ կուրսերի ուսանողներին։ Սեմինարները վարում են Արշակ Մինասյանը, Ավետիք Կարագուլյանը և Հրայր Հարությունյանը։

Երբ՝ Չորեքշաբի օրերին, երեկոյան ժամը 7-ին՝ սկսած նոյեմբերի 17-ից (2021թ)։
Որտեղ՝ Զումի հղում։
Քննարկումները և հայտարարությունները այստեղ։

Համառոտագիր

Մեքենայական ուսուցման տեսության հիմնական խնդիրներից մեկը պարզելն է, թե ինչ պայմանների դեպքում և ինչպիսի ուսուցման ալգորիթմների համար կարող ենք կառուցել թեստային սխալանքի վերին գնահատականներ (test error upper bound)։ Պակ-Բայեսյան ընդհանրացման գնահատականները թույլ են տալիս վերևից գնահատել ստոխաստիկ ուսուցման ալգորիթմների թեստային սխալանքը և որպես մասնավոր դեպքեր պարունակում են բազմաթիվ դասական արդյունքներ։ Վերջին տասնամյակում Պակ-Բայեսյան գնահատականները էապես բարելավվել են և հաջողությամբ կիրառվել նեյրոնային ցանցերի վրա։ Սեմինարների այս շարքում ուսումնասիրում ենք Պակ-Բայեսյան գնահատականներ կառուցելու հիմնական մեթոդներն ու գործիքները, դուրս ենք բերում մի քանի կարևոր Պակ-Բայեսյան արդյունքներ և ներկայացնում ենք թե ինչպես են այդ արդյունքները հաջողությամբ կիրառվում նեյրոնային ցանցերի վրա։ Քննարկում ենք նաև ինֆորմացիոն տեսությամբ ստացվող ընդհանրացման գնահատականների և Պակ-Բայեսյան գնահատականների կապերը։ Սեմինարների շարքի վերջում փորձում ենք ծանոթանալ ոլորտի ներկա վիճակին ու հասկանալ բաց խնդիրները։

Գրականություն

1. "User-friendly introduction to PAC-Bayes bounds" by Pierre Alquier. Հիմնականում հետևում ենք այս աշխատանքին։
2. "Understanding Machine Learning: From Theory to Algorithms" by Shai Shalev-Shwartz and Shai Ben-David. Այս գրքի առաջին մասը ("Foundations") խորհուրդ է տրվում բոլոր նրանց ովքեր փնտրում են կարճ, հասանելի և որակյալ ներածություն մեքենայական ուսուցման տեսության հիմնական արդյունքներին։

Նյութեր

• Հանդիպում 1. Հիմնական տեսական հասկացություններ, Պակ և Պակ-Բայեսյան գնահատականների օրինակներ, անհրաժեշտ անհավասարություններ, Պակ գնահատականների ստացում վերջավոր և հաշվելի անվերջ հիպոթեզների դասերի համար։
  [Տեսագրություն] [Սլայդներ]

• Հանդիպում 2. Կուլբակ-Լայբլեռի տարամիտություն, Դոնսկեռ-Վարադհանի վարիացոն բանաձև, Գիբսի չափ, Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական, Գիբսի ալգորիթմ։
  [Տեսագրություն] [Սլայդներ]

• Հանդիպում 3. Լյամբդայի ընտրություն, միջինացված կանխատեսիչի ռիսկի գնահատական, հետին բաշխման նմուշի ռիսկի գնահատական, մոդելների ընտրում։
  [Տեսագրություն] [Սլայդներ]

• Հանդիպում 4. Պակ-Բայեսյան գնահատականներ նեյրոնային ցանցերի դեպքում։ Հիպոթեզների վերջավոր դասի դեպք, ուսուցման արդյունքում պարամետրերի սկզբնակետից շեղվելու չափը որպես ընդհանրացման ցուցիչ, Լանգֆորդի և Սիգերի Պակ-Բայեսյան գնահատականը, Ձյուգեյթի և Ռոյի հոդվածը։
  [Տեսագրություն] [Սլայդներ]

• Հանդիպում 5. Միջին ռիսկի մաթ․ սպասման գնահատականներ, Շենոնի փոխադարձ ինֆորմացիա, ինֆորմացիոն տեսությամբ ստացվող ընդհանրացման գնահատականներ և նրանց կապը Պակ-Բայեսյան գնահատականներեի հետ։
  [Տեսագրություն] [Սլայդներ]