diff --git a/main.lua b/main.lua
index 7e4f157..03ba74e 100644
--- a/main.lua
+++ b/main.lua
@@ -294,7 +294,7 @@ local function learn_from_epoch()
         end
         if cfg.param_decay > 0 then
             for i, v in ipairs(base_params) do
-                base_params[i] = v * (1 - es.param_rate * cfg.param_decay)
+                base_params[i] = v * (1 - es.param_rate * cfg.param_decay * es.sigma)
             end
         end
     else