Neural Networks: Tricks of the Trade
It is our belief that researchers and practitioners acquire, through experience and word-of-mouth, techniques and heuristics that help them successfully apply neural networks to di cult real world problems. Often these \tricks" are theo- tically well moti
- PDF / 7,152,930 Bytes
- 424 Pages / 433 x 652.064 pts Page_size
- 31 Downloads / 225 Views
1524
3
Berlin Heidelberg New York Barcelona Hong Kong London Milan Paris Singapore Tokyo
Genevieve B. Orr Klaus-Robert M¨uller (Eds.)
Neural Networks: Tricks of the Trade
13
Series Editors Gerhard Goos, Karlsruhe University, Germany Juris Hartmanis, Cornell University, NY, USA Jan van Leeuwen, Utrecht University, The Netherlands Volume Editors Genevieve B. Orr Willamette University, Department of Computer Science Salem, OR 97301, USA E-mail: [email protected] Klaus-Robert M¨uller GMD First (Forschungszentrum Informationstechnik) Rudower Chaussee 5, D-12489 Berlin, Germany E-mail: [email protected]
Cataloging-in-Publication data applied for Die Deutsche Bibliothek - CIP-Einheitsaufnahme Neural networks : tricks of the trade / Genevieve B. Orr ; Klaus-Robert M¨uller (ed.). - Berlin ; Heidelberg ; New York ; Barcelona ; Hong Kong ; London ; Milan ; Paris ; Singapore ; Tokyo : Springer, 1998 (Lecture notes in computer science ; Vol. 1524) ISBN 3-540-65311-2
CR Subject Classification (1998): F.1, I.2.6, I.5.1, C.1.3 ISSN 0302-9743 ISBN 3-540-65311-2 Springer-Verlag Berlin Heidelberg New York This work is subject to copyright. All rights are reserved, whether the whole or part of the material is concerned, specifically the rights of translation, reprinting, re-use of illustrations, recitation, broadcasting, reproduction on microfilms or in any other way, and storage in data banks. Duplication of this publication or parts thereof is permitted only under the provisions of the German Copyright Law of September 9, 1965, in its current version, and permission for use must always be obtained from Springer-Verlag. Violations are liable for prosecution under the German Copyright Law. © Springer-Verlag Berlin Heidelberg 1998 Printed in Germany Typesetting: Camera-ready by author SPIN: 10692833 06/3142 – 5 4 3 2 1 0
Printed on acid-free paper
Table of Contents
Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
1
Speeding Learning Preface : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
7
1 Efficient BackProp : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Yann LeCun, Leon Bottou, Genevieve B. Orr, and Klaus-Robert M¨ uller
9
Regularization Techniques to Improve Generalization Preface : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 51 2 Early Stopping – But When? : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 55 Lutz Prechelt 3 A Simple Trick for Estimating the Weight Decay Parameter : : : : : : : : : : 71 Thorsteinn S. R¨ ognvaldsson 4 Controling the Hyperparameter Search in MacKay’s Bayesian Neural Network Framework : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 93 Tony Plate 5 Adaptive Regularization in Neural Network Modeling : : : : : : : : : : : : : : : : 113 Jan Larsen, Claus Svarer
Data Loading...
