m

Documents  Critères de recherche : "Convex optimization" | enregistrements trouvés : 11

O
     

-A +A

P Q

Déposez votre fichier ici pour le déplacer vers cet enregistrement.

Research talks;Computer Science;Control Theory and Optimization;Probability and Statistics

Many machine learning and signal processing problems are traditionally cast as convex optimization problems. A common difficulty in solving these problems is the size of the data, where there are many observations ("large n") and each of these is large ("large p"). In this setting, online algorithms such as stochastic gradient descent which pass over the data only once, are usually preferred over batch algorithms, which require multiple passes over the data. Given n observations/iterations, the optimal convergence rates of these algorithms are $O(1/\sqrt{n})$ for general convex functions and reaches $O(1/n)$ for strongly-convex functions. In this tutorial, I will first present the classical results in stochastic approximation and relate them to classical optimization and statistics results. I will then show how the smoothness of loss functions may be used to design novel algorithms with improved behavior, both in theory and practice: in the ideal infinite-data setting, an efficient novel Newton-based stochastic approximation algorithm leads to a convergence rate of $O(1/n)$ without strong convexity assumptions, while in the practical finite-data setting, an appropriate combination of batch and online algorithms leads to unexpected behaviors, such as a linear convergence rate for strongly convex problems, with an iteration cost similar to stochastic gradient descent. Many machine learning and signal processing problems are traditionally cast as convex optimization problems. A common difficulty in solving these problems is the size of the data, where there are many observations ("large n") and each of these is large ("large p"). In this setting, online algorithms such as stochastic gradient descent which pass over the data only once, are usually preferred over batch algorithms, which require multiple passes ...

62L20 ; 68T05 ; 90C06 ; 90C25

... Lire [+]

Déposez votre fichier ici pour le déplacer vers cet enregistrement.

Research talks;Computer Science;Control Theory and Optimization;Probability and Statistics

Many machine learning and signal processing problems are traditionally cast as convex optimization problems. A common difficulty in solving these problems is the size of the data, where there are many observations ("large n") and each of these is large ("large p"). In this setting, online algorithms such as stochastic gradient descent which pass over the data only once, are usually preferred over batch algorithms, which require multiple passes over the data. Given n observations/iterations, the optimal convergence rates of these algorithms are $O(1/\sqrt{n})$ for general convex functions and reaches $O(1/n)$ for strongly-convex functions. In this tutorial, I will first present the classical results in stochastic approximation and relate them to classical optimization and statistics results. I will then show how the smoothness of loss functions may be used to design novel algorithms with improved behavior, both in theory and practice: in the ideal infinite-data setting, an efficient novel Newton-based stochastic approximation algorithm leads to a convergence rate of $O(1/n)$ without strong convexity assumptions, while in the practical finite-data setting, an appropriate combination of batch and online algorithms leads to unexpected behaviors, such as a linear convergence rate for strongly convex problems, with an iteration cost similar to stochastic gradient descent. Many machine learning and signal processing problems are traditionally cast as convex optimization problems. A common difficulty in solving these problems is the size of the data, where there are many observations ("large n") and each of these is large ("large p"). In this setting, online algorithms such as stochastic gradient descent which pass over the data only once, are usually preferred over batch algorithms, which require multiple passes ...

62L20 ; 68T05 ; 90C06 ; 90C25

... Lire [+]

Déposez votre fichier ici pour le déplacer vers cet enregistrement.

- 293 p.

Grundlehren der mathematischen wissenschaften in einzeldarstellungen , 0163

Localisation : Collection 1er étage

convexité # dualité # ensemble convexe # fonction convexe # optimisation # théorème du point de selle

49-01 ; 49M45 ; 49N05 ; 49N15 ; 90C25

... Lire [+]

Déposez votre fichier ici pour le déplacer vers cet enregistrement.


ISBN 978-0-226-19987-0

Chicago lectures in mathematics

Localisation : Disparu

46A55 ; 49-02 ; 49AXX

... Lire [+]

Déposez votre fichier ici pour le déplacer vers cet enregistrement.

- 348 p.

Mathematics and its applications , 0297

Localisation : Ouvrage RdC (UDRI)

Hessien semi-défini # complétude et convexité sur variété de Finsler # connection # convexité riemannienne de fonction # exemple géométrique de fonction convexe # f à R double barre vers R double barre # flot convexité et énergie # fonction convexe sur variété de Riemann # géodésique # minimisation de fonction sur variété de Riemann # méthode d'opimisation sur variété de Riemann # méthode de descente en plan de Poincaré ou sur la sphère # point minimum # première et seconde variation de p-énergie d'une courbe # propriété métrique de variété de Riemann # système dynamique # système hamiltonien Hessien semi-défini # complétude et convexité sur variété de Finsler # connection # convexité riemannienne de fonction # exemple géométrique de fonction convexe # f à R double barre vers R double barre # flot convexité et énergie # fonction convexe sur variété de Riemann # géodésique # minimisation de fonction sur variété de Riemann # méthode d'opimisation sur variété de Riemann # méthode de descente en plan de Poincaré ou sur la sphère # point ...

52A41 ; 53C05 ; 53C20 ; 53C22 ; 58Fxx

... Lire [+]

Déposez votre fichier ici pour le déplacer vers cet enregistrement.

- 582 p.
ISBN 978-0-7923-4424-7

Mathematics and its applications , 0388

Localisation : Ouvrage RdC (PALL)

analyse convexe # analyse fonctionnelle # application # condition d'optimalité # dualité # espace de Banach # espace de Hilbert # espace métrique # mathématique économique # méthode numérique # optimisation # optimisation non différentiable # opérateur non linéaire # programmation mathématique # théorie d'opérateur

46N10 ; 47H99 ; 47N10 ; 49-02 ; 90-02

... Lire [+]

Déposez votre fichier ici pour le déplacer vers cet enregistrement.

- 339 p.
ISBN 978-0-7923-4818-4

Nonconvex optimization and its applications , 0022

Localisation : Ouvrage RdC (TUY)

analyse convexe # fonction convexe # géométrie discrète # optimisation # programmation convexe # programmation mathématique # technique variationnelle

26B25 ; 52A41 ; 65K05 ; 90-02 ; 90C25

... Lire [+]

Déposez votre fichier ici pour le déplacer vers cet enregistrement.

- 310 p.
ISBN 978-0-387-29570-1

CMS Books in mathematics

Localisation : Ouvrage RdC (BORW)

fonction convexe # optimisation # théorie non-linéaire # calcul de variations # point intérieur # programmation convexe # dualité de Frenckel # théorème de Karush-Kuhn-Tucker # point fixe # théorème de Radenacker

90-01 ; 49-01 ; 90C51 ; 90C25 ; 49J53 ; 52A41 ; 46N10 ; 47H10

... Lire [+]

Déposez votre fichier ici pour le déplacer vers cet enregistrement.

- ix; 294 p.
ISBN 978-3-540-85670-2

Nonconvex optimization and its applications , 0090

Localisation : Ouvrage RdC (MISH)

calcul des variations # optimisation # programmation mathématique # conditons optimales # convexité # optimsation par vecteurs # fonction convexe généralisée # théorie de la dualité

49-02 ; 90-02 ; 90Cxx ; 90C46 ; 26B25 ; 90C29 ; 52A01

... Lire [+]

Déposez votre fichier ici pour le déplacer vers cet enregistrement.

- xix; 476 p.
ISBN 978-1-611972-28-3

MOS-SIAM series on optimization

Localisation : Ouvrage RdC (SEMI)

programmation semi-définie # géométrie convexe # ensemble algébrique réel

90-06 ; 90C22 ; 52B55 ; 14P05 ; 00B15

... Lire [+]

Déposez votre fichier ici pour le déplacer vers cet enregistrement.

- viii; 185 p.
ISBN 978-3-11-036103-2

Series in nonlinear analysis and applications , 0022

Localisation : Ouvrage RdC (BACA)

espace de Hadamard # convexité # géodésique # matrice d'Hadamard # G-espace # espace métrique # optimisation convexe

47H20 ; 49M20 ; 49M25 ; 49M27 ; 51F99 ; 52A01 ; 60B99 ; 60J10 ; 92D15 ; 90-02 ; 90C48 ; 90C25 ; 90C30

... Lire [+]

Z