Algoritmen "gradientnedstigning" uppfanns före gradienten. Det beskrivs i likvärdig form av Cauchy i en 3-sidig uppsats i Comptes Rendus, Méthode générale pour la résolution des systèmes d'équations simultanées (1847). Här är en engelsk översättning. En bra sekundär källa är Cauchy and the Gradient Method av Lemaréchal, som kommenterar:

" Cauchy motiveras av astronomiska beräkningar som, som alla vet, är Normalt mycket voluminös. För att beräkna en himmelsk kropps bana vill han lösa "inte differentialekvationerna utan de [algebraiska] ekvationerna som representerar kroppens rörelse och tar som okända elementen i själva banan". lösa ett ekvationssystem på den tiden, "börjar man vanligtvis med att reducera dem till ett enda genom successiva elimineringar, för att så småningom lösa för gott den resulterande ekvationen, om möjligt. Men det är viktigt att observera att eliminering i många fall inte kan utföras på något sätt; 2◦ den resulterande ekvationen är vanligtvis mycket komplicerad, även om de givna ekvationerna är ganska enkla ". Något annat är önskat. "

I stället för gradientvektorn arbetar Cauchy helt enkelt med delderivaten $ X = f'_x, Y = f'_y, Z = f'_z, ... $ . Han tar liten $ \ theta $ , ställer in ekvationen $$ \ Theta = f (X- \ theta x, Y - \ theta y, Z- \ theta z, ...), $$ och rekommenderar i en av varianterna att du hittar $ \ theta $ från $ \ Theta '_ \ theta = 0 $ .

[...] En iteration av lutningsmetoden anges således med två varianter: (2) (Armijo-typ linjesökning) eller (3) (brantaste nedstigningen) ... Konvergens nämns bara slarvigt ... Cauchy verkar inte tro att metoden alltid hittar en lösning; ändå verkar han också hoppas på det: se utdraget av foten not 4. Hur som helst visar en enkel bild att funktionen med minsta kvadrater i (4) kan visa positiva lokala minima och spela rollen som ”parasitiska” lösningar. Å andra sidan verkar han övertygad om att sekvensen av u-värden måste konvergera till ett (lokalt) minimum eller åtminstone en stationär punkt, när den minskar. Således är ovanstående utdrag ganska intressant och kommer från en matematiker bland de mest rigorösa i sitt århundrade. Visserligen har Cauchy inte tänkt djupt över problemet: "Jag begränsar mig här till att beskriva de principer som ligger till grund för [min metod], med avsikt att komma igen om samma ämne, i ett papper att följa". Det "papper som ska följas" verkar emellertid inte existera. "

Se även relaterat inlägg Vem uppfann stokastisk gradientnedstigning? På Cross Validated.