Déposez votre fichier ici pour le déplacer vers cet enregistrement.
- 237 p.
ISBN 978-0-8218-5125-8
Contemporary mathematics , 0119
Localisation : Collection 1er étage
géométrie # image informatique # informatique # informatique graphique
51-06 ; 68R99 ; 68T10 ; 68T99 ; 68Uxx
... Lire [+]
Déposez votre fichier ici pour le déplacer vers cet enregistrement.
Déposez votre fichier ici pour le déplacer vers cet enregistrement.
Research talks;Control Theory and Optimization;Mathematics in Science and Technology
We are interested in nonsmooth analysis of backpropagation as implemented in modern machine learning librairies, such as Tensorflow or Pytorch. First I will illustrate how blind application of
differential calculus to nonsmooth objects can be problematic, requiring a proper mathematical model.
Then I will introduce a weak notion of generalized derivative, named conservativity, and illustrate how it complies with calculus and optimization for well structured objects. We provide stability results for empirical risk minimization similar as in the smooth setting for the combination of nonsmooth automatic differentiation, minibatch stochastic approximation and first order optimization. This is joint work with Jérôme Bolte.
We are interested in nonsmooth analysis of backpropagation as implemented in modern machine learning librairies, such as Tensorflow or Pytorch. First I will illustrate how blind application of
differential calculus to nonsmooth objects can be problematic, requiring a proper mathematical model.
Then I will introduce a weak notion of generalized derivative, named conservativity, and illustrate how it complies with calculus and optimization for ...
65K05 ; 65K10 ; 68T99
... Lire [+]
Déposez votre fichier ici pour le déplacer vers cet enregistrement.
Research talks;Computer Science;Control Theory and Optimization;Probability and Statistics
Neural networks trained to minimize the logistic (a.k.a. cross-entropy) loss with gradient-based methods are observed to perform well in many supervised classification tasks. Towards understanding this phenomenon, we analyze the training and generalization behavior of infinitely wide two-layer neural networks with homogeneous activations. We show that the limits of the gradient flow on exponentially tailed losses can be fully characterized as a max-margin classifier in a certain non-Hilbertian space of functions.
Neural networks trained to minimize the logistic (a.k.a. cross-entropy) loss with gradient-based methods are observed to perform well in many supervised classification tasks. Towards understanding this phenomenon, we analyze the training and generalization behavior of infinitely wide two-layer neural networks with homogeneous activations. We show that the limits of the gradient flow on exponentially tailed losses can be fully characterized as a ...
65K10 ; 65K05 ; 68W99 ; 68T99
... Lire [+]
Déposez votre fichier ici pour le déplacer vers cet enregistrement.
- 160 p.
ISBN 978-0-8176-3332-5
Progress in computer science , 0007
Localisation : Ouvrage RdC (DONN)
locomotion # processus de données temps réel # robotique
68T99 ; 68Txx
... Lire [+]
Déposez votre fichier ici pour le déplacer vers cet enregistrement.
- 466 p.
ISBN 978-0-19-851973-7
Localisation : Ouvrage RdC (PENR)
axiomatique # biomathématique # épistémologie des mathématiques # gravitation # informatique # intelligence artificielle # philosophie # philosophie des mathématiques # psychologie # relativité # théorie quantique
00A69 ; 68T99 ; 81P99 ; 83C45 ; 92J99
... Lire [+]
Déposez votre fichier ici pour le déplacer vers cet enregistrement.
- 218 p.
ISBN 978-2-225-80471-7
Etudes et recherches en informatique
Localisation : Ouvrage RdC (WERT)
68T99
... Lire [+]
Déposez votre fichier ici pour le déplacer vers cet enregistrement.
- 63 p.
ISBN 978-2-86601-153-6
Technologies de pointe
Localisation : Ouvrage RdC (POME)
système expert # moteur d'inférence # contrôle # chaînage # représentation des connaissances
68T99 ; 68-01
... Lire [+]