Hyades Lai[Learning Rate之二] Learning Rate Scheduler，有效嗎?接續上篇，選好了學習率後，接著便可以考慮使用各種學習率調整的技巧 (learning rate scheduler) 。本文會介紹幾個學習率調整方法、其相關研究、 對應的 torch API 、與實驗結果。 還沒看過上篇？ 9898 -> [Learning Rate 之一]…Oct 8, 2022Oct 8, 2022
Hyades Lai[Learning Rate 之一] 學習率搜尋器(LR finder)，有效嗎?這篇會介紹一個搜尋合適學習率的方法 (LR finder)，並分享實際使用後者的實驗結果。程式實作在這裡： https://github.com/hyades910739/LR-FinderSep 26, 2022Sep 26, 2022
Hyades Lai[Python 實作筆記] 如何在多 GPU 環境以多執行緒同時跑多個模型簡單紀錄如何用 python ，以多執行緒的方式，在多 GPU 的機器上一張卡跑一或多個模型，並處理模型與卡片配對的問題。Sep 24, 2022Sep 24, 2022
Hyades Lai[論文筆記] Batch size 越小越好？這篇論文這樣說抱歉用了釣魚標題🥺，這篇文整理了論文 <Revisiting Small Batch Training for Deep Neural Networks> 中，作者對 batch size 的研究結果與我的觀察。作者透過大量的實驗，去比較不同 batch size 與…Aug 30, 2022Aug 30, 2022
Hyades Lai淺談 probability calibration (二) 流程與模型此為系列文之二。本文會介紹 probability calibration 的流程與模型。Aug 21, 2022Aug 21, 2022
Hyades Lai淺談 probability calibration (一) 簡介與指標此為系列文之一。本文會介紹 probability calibration 的概念、使用情境、與介紹相關的指標。 系列文之二則會介紹 probability calibration 的流程與模型。Aug 21, 2022Aug 21, 2022
![[Learning Rate之二] Learning Rate Scheduler，有效嗎?](https://miro.medium.com/v2/resize:fill:160:106/1*MX_3gl5et2OejP8ZusYZTw.png)
![[Learning Rate之二] Learning Rate Scheduler，有效嗎?](https://miro.medium.com/v2/resize:fill:320:214/1*MX_3gl5et2OejP8ZusYZTw.png)
![[Learning Rate 之一] 學習率搜尋器(LR finder)，有效嗎?](https://miro.medium.com/v2/resize:fill:160:106/1*1qpG8lIrXGVh7gwWN0yPrw.png)
![[Learning Rate 之一] 學習率搜尋器(LR finder)，有效嗎?](https://miro.medium.com/v2/resize:fill:320:214/1*1qpG8lIrXGVh7gwWN0yPrw.png)
![[Python 實作筆記] 如何在多 GPU 環境以多執行緒同時跑多個模型](https://miro.medium.com/v2/resize:fill:160:106/1*3uFhIo7zZ51Wpj-9QQI--w.jpeg)
![[Python 實作筆記] 如何在多 GPU 環境以多執行緒同時跑多個模型](https://miro.medium.com/v2/resize:fill:320:214/1*3uFhIo7zZ51Wpj-9QQI--w.jpeg)
![[論文筆記] Batch size 越小越好？這篇論文這樣說](https://miro.medium.com/v2/resize:fill:160:106/1*RiEQ89YpDz5ytmD2vDlx_A.png)
![[論文筆記] Batch size 越小越好？這篇論文這樣說](https://miro.medium.com/v2/resize:fill:320:214/1*RiEQ89YpDz5ytmD2vDlx_A.png)
