Asynchronous Versus Synchronous Execution PyTorch Developer podcast

Artwork

Tech PyTorch Edward Yang Team PyTorch Deep Learning Machine Learning

PyTorch, Edward Yang, and Team PyTorch에서 제공하는 콘텐츠입니다. 에피소드, 그래픽, 팟캐스트 설명을 포함한 모든 팟캐스트 콘텐츠는 PyTorch, Edward Yang, and Team PyTorch 또는 해당 팟캐스트 플랫폼 파트너가 직접 업로드하고 제공합니다. 누군가가 귀하의 허락 없이 귀하의 저작물을 사용하고 있다고 생각되는 경우 여기에 설명된 절차를 따르실 수 있습니다 https://ko.player.fm/legal.

PyTorch Developer Podcast « »
Asynchronous versus synchronous execution

4y ago 15:03

공유

MP3•에피소드 홈

PyTorch, Edward Yang, and Team PyTorch에서 제공하는 콘텐츠입니다. 에피소드, 그래픽, 팟캐스트 설명을 포함한 모든 팟캐스트 콘텐츠는 PyTorch, Edward Yang, and Team PyTorch 또는 해당 팟캐스트 플랫폼 파트너가 직접 업로드하고 제공합니다. 누군가가 귀하의 허락 없이 귀하의 저작물을 사용하고 있다고 생각되는 경우 여기에 설명된 절차를 따르실 수 있습니다 https://ko.player.fm/legal.

CUDA is asynchronous, CPU is synchronous. Making them play well together can be one of the more thorny and easy to get wrong aspects of the PyTorch API. I talk about why non_blocking is difficult to use correctly, a hypothetical "asynchronous CPU" device which would help smooth over some of the API problems and also why it used to be difficult to implement async CPU (but it's not hard anymore!) At the end, I also briefly talk about how async/sync impedance can also show up in unusual places, namely the CUDA caching allocator.

Further reading.

CUDA semantics which discuss non_blocking somewhat https://pytorch.org/docs/stable/notes/cuda.html
Issue requesting async cpu https://github.com/pytorch/pytorch/issues/44343

… continue reading

83 에피소드

#Tech #PyTorch #Edward Yang #Team PyTorch #Deep Learning #Machine Learning

Artwork

Asynchronous versus synchronous execution

PyTorch Developer Podcast

26 subscribers

published 4y ago

공유

MP3•에피소드 홈

PyTorch, Edward Yang, and Team PyTorch에서 제공하는 콘텐츠입니다. 에피소드, 그래픽, 팟캐스트 설명을 포함한 모든 팟캐스트 콘텐츠는 PyTorch, Edward Yang, and Team PyTorch 또는 해당 팟캐스트 플랫폼 파트너가 직접 업로드하고 제공합니다. 누군가가 귀하의 허락 없이 귀하의 저작물을 사용하고 있다고 생각되는 경우 여기에 설명된 절차를 따르실 수 있습니다 https://ko.player.fm/legal.

CUDA is asynchronous, CPU is synchronous. Making them play well together can be one of the more thorny and easy to get wrong aspects of the PyTorch API. I talk about why non_blocking is difficult to use correctly, a hypothetical "asynchronous CPU" device which would help smooth over some of the API problems and also why it used to be difficult to implement async CPU (but it's not hard anymore!) At the end, I also briefly talk about how async/sync impedance can also show up in unusual places, namely the CUDA caching allocator.

Further reading.

CUDA semantics which discuss non_blocking somewhat https://pytorch.org/docs/stable/notes/cuda.html
Issue requesting async cpu https://github.com/pytorch/pytorch/issues/44343

… continue reading

83 에피소드

#Tech #PyTorch #Edward Yang #Team PyTorch #Deep Learning #Machine Learning

Tüm bölümler

×

플레이어 FM에 오신것을 환영합니다!

플레이어 FM은 웹에서 고품질 팟캐스트를 검색하여 지금 바로 즐길 수 있도록 합니다. 최고의 팟캐스트 앱이며 Android, iPhone 및 웹에서도 작동합니다. 장치 간 구독 동기화를 위해 가입하세요.

500개 이상의 주제를 청취

탐색하는 동안 이 프로그램을 들어보세요.