On demand와 On the fly

On demand: As soon as possible

유저의 요청을 하면, 그 즉시 시작해서 최대한 빨리 return 해주는 시스템

On the fly: While in progress

유저가 요청을 하면, 그 과정에서 멈추지 않고 무언가를 처리해서 return 해주는 시스템

https://ell.stackexchange.com/questions/140402/how-to-describe-the-difference-between-on-demand-and-on-the-fly

ML에서의 예시

On demand 전처리 : 유저가 학습 버튼을 클릭하면, 그 즉시 전체 데이터에 대한 전처리가 이뤄짐

On the fly 전처리 :   유저가 학습 버튼을 클릭하면, 전체 데이터에 대한 전처리가 끝날 때까지 기다리지 않고 즉시(realtime으로) 다음 batch 데이터에 대한 전처리가 이뤄짐.