へっぽこプログラマーの備忘録
プログラムを中心とした個人的なメモ用のブログです。 タイトルは迷走中。
内容の保証はできませんのであしからずご了承ください。
menu
keyboard_arrow_up
Top
search
close
home
ホーム
computer
PC一般
construction
開発環境・ツール
code
プログラミング
home
ホーム
computer
PC一般
construction
開発環境・ツール
code
プログラミング
Home
›
Python
›
[Python] 同期処理を非同期化して扱う
2023/01/26
[Python] 同期処理を非同期化して扱う
update
event_note
label
Python
async のついていない関数を非同期化して、async のついた非同期関数と同じように扱いたいというときの方法です。
## 環境 - python 3.8.1 ## 概要 同期関数を非同期化するには `run_in_executor` を使用します。 ただし、CPU バウンドな処理を非同期化しても並列では実行されないので、マルチプロセス化などを行う必要があります。 これについては以下の記事が参考になりました。 - https://pod.hatenablog.com/entry/2019/03/21/162511 また、`run_in_executor` で実行する関数に名前付き引数を渡す場合、`functools.partial` を使う必要があります。 引数で渡せる値は、Python の仕様上 Picklable な値のみだそうです。 ラムダ式やモジュールトップレベル以外で定義された関数やクラスは渡せません - https://docs.python.org/ja/3/library/pickle.html#what-can-be-pickled-and-unpickled ## サンプルコード 上記を踏まえたサンプルコードです。 同期処理として CPU バウンドを想定した処理を2つ、非同期処理として I/O バウンドを想定した処理を2つ、計4つの処理を並列で動かしています。 ```py import asyncio import time from functools import partial from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor def cpu_bound(index): # CPU バウンドな処理を想定 count = 0 while count < 1000: print(f'cpu_bound[{index}] count={count}') count += 1 time.sleep(0.01) async def io_bound(index): # I/O バウンドな処理を想定 count = 0 while count < 1000: print(f'io_bound[{index}] count={count}') count += 1 await asyncio.sleep(0.01) async def main(): loop = asyncio.get_running_loop() executor = ProcessPoolExecutor(max_workers=2) tasks = [ loop.run_in_executor(executor, partial(cpu_bound, 0)), loop.run_in_executor(executor, partial(cpu_bound, 1)), io_bound(0), io_bound(1), ] await asyncio.gather(*tasks) asyncio.run(main(), debug=True) ``` `ProcessPoolExecutor` により、CPU バウンドな処理はそれぞれ個別のプロセスとして動作させています。 I/O バウンドな処理はどちらもメインプロセスで動作します。 従って、I/O バウンドな処理のほうが少し終わるのが遅くなります。
## 参考 URL - https://cpoint-lab.co.jp/article/202208/23186/ - https://pod.hatenablog.com/entry/2019/03/21/162511 - https://hachibeedi.github.io/entry/unify-sync-and-async-function-in-python/ - https://qiita.com/smatsumt/items/d8f290e40077a14210f2 - https://docs.python.org/ja/3/library/pickle.html#what-can-be-pickled-and-unpickled
tweet
facebook
Pocket
B!
はてブ
LINE
chevron_left
chevron_right
Translate
Popular Posts
TortoiseGit でコミットメッセージを変更する
image
NO IMAGE
smbclient で session setup failed: NT_STATUS_LOGON_FAILURE が表示される
Docker for Windows の設定
image
NO IMAGE
マージ元ブランチとマージ先ブランチ
TortoiseGit でブランチ間の差分を見る
[Python] 文字列の判定で、None と空文字を同時に判定する
[Python] matplotlib で plot する際に "Tcl_AsyncDelete: async handler deleted by the wrong thread" というエラーがでる
[Python] Tesseract で OCR を行ったら `UnicodeEncodeError: 'ascii' codec can't encode characters` のエラーが表示された
image
NO IMAGE
GitLab Runner でクローンする URL を変更する
image
NO IMAGE
Visual Studio で文字がにじむ(ぼやける)
Labels
.NET Core
31
.NET Framework
17
.NET Standard
2
AdminLTE
1
AI
1
Apache
3
AppVeyor
2
AsciiDoc
3
ASP.NET Core
55
Atom
4
AWS
5
AWS Cloud9
4
blockdiag
1
Blogger
13
Bootstrap
3
C/C++
6
C#
106
CentOS
3
Chrome
1
Chronograf
3
chrony
1
Codecov
1
CSS
1
Docker
79
DokuWiki
4
Doxygen
1
draw.io
1
EasyTag
1
Electron
1
Electron.NET
2
Entity Framework Core
9
Excel
2
FFmpeg
3
Firefox
6
Flask
1
Git
19
GitBook
4
GitBucket
7
GitHub
7
GitLab
39
Go
1
Google
1
Google Cloud Platform
1
Grafana
13
GStreamer
2
HTML
5
IIS
8
InfluxDB
14
JavaScript
15
Jenkins
7
Linux
34
Log4View
1
MahApps.Metro
3
MaterialDesignInXamlToolkit
1
MkDocs
2
MongoDB
5
MVC
1
MVVM
6
nginx
3
NLog
3
Node.js
8
npm
1
NVIDIA
3
onvif
1
OpenAPI
2
OpenCV
4
OpenSSL
3
OpenVINO
2
ownCloud
2
pandas
1
Pine Script
1
PlantUML
5
Portainer
3
PowerShell
8
Prism
2
PySide
18
Python
86
PyTorch
1
RabbitVCS
1
Razor
3
Redmine
33
Redoc
1
remark.js
2
rocketchat
10
Ruby
3
scikit-learn
1
SignalR
1
Slack
1
Socket.IO
1
SonarQube
5
Sphinx
10
SQL Server
5
SQLite
1
StableDiffusion
1
Subversion
2
Swagger
1
Swarmpit
1
Syslog
3
Telegraf
6
Tesseract
3
TestLink
2
Tomcat
2
TortoiseGit
11
TortoiseSVN
2
Trading View
1
Traefik
3
Travis CI
1
Ubuntu
31
Visual Studio
39
Visual Studio Code
10
VSCode
8
Vue.js
8
Windows
62
Windows 10
5
Windows ADK
1
Windows API
2
Windows Embedded
4
wkhtmltopdf
2
Word
3
WPF
12
WSL
5
WSL2
5
Xamarin
1
xUnit
5
yaml
1
yolo
1
アプリケーション
1
デザインパターン
1
テスト
1
バッチファイル
2
プログラミング
4
ライセンス
1
暗号資産(仮想通貨)
1
英語
2
確定申告
1
機械学習
1
強化学習
1
雑記
1
書籍
1
数学
1
正規表現
1
Blog Archive
►
2024
(9)
►
4月
(2)
►
3月
(1)
►
2月
(5)
►
1月
(1)
▼
2023
(30)
►
12月
(3)
►
11月
(5)
►
10月
(2)
►
9月
(1)
►
8月
(2)
►
7月
(4)
►
6月
(2)
►
5月
(3)
►
4月
(2)
►
3月
(2)
►
2月
(3)
▼
1月
(1)
[Python] 同期処理を非同期化して扱う
►
2022
(106)
►
12月
(5)
►
11月
(1)
►
10月
(3)
►
9月
(6)
►
8月
(7)
►
7月
(6)
►
6月
(13)
►
5月
(9)
►
4月
(15)
►
3月
(11)
►
2月
(14)
►
1月
(16)
►
2021
(85)
►
12月
(11)
►
11月
(6)
►
10月
(4)
►
9月
(10)
►
8月
(8)
►
7月
(4)
►
6月
(18)
►
5月
(7)
►
4月
(8)
►
3月
(2)
►
2月
(2)
►
1月
(5)
►
2020
(56)
►
12月
(1)
►
11月
(3)
►
10月
(3)
►
9月
(3)
►
8月
(3)
►
7月
(7)
►
6月
(7)
►
5月
(2)
►
4月
(6)
►
3月
(6)
►
2月
(3)
►
1月
(12)
►
2019
(92)
►
12月
(13)
►
11月
(9)
►
10月
(3)
►
9月
(2)
►
8月
(3)
►
7月
(5)
►
6月
(11)
►
5月
(6)
►
4月
(17)
►
3月
(9)
►
2月
(6)
►
1月
(8)
►
2018
(100)
►
12月
(1)
►
11月
(11)
►
10月
(8)
►
9月
(6)
►
8月
(10)
►
7月
(10)
►
6月
(8)
►
5月
(9)
►
4月
(8)
►
3月
(14)
►
2月
(4)
►
1月
(11)
►
2017
(117)
►
12月
(14)
►
11月
(20)
►
10月
(17)
►
9月
(19)
►
8月
(10)
►
7月
(8)
►
6月
(3)
►
5月
(6)
►
4月
(5)
►
3月
(2)
►
2月
(8)
►
1月
(5)
►
2016
(91)
►
12月
(5)
►
11月
(9)
►
10月
(11)
►
9月
(9)
►
8月
(6)
►
7月
(14)
►
6月
(14)
►
5月
(11)
►
4月
(10)
►
3月
(2)
►
2015
(23)
►
12月
(4)
►
11月
(2)
►
10月
(8)
►
9月
(8)
►
7月
(1)
►
2013
(3)
►
11月
(1)
►
9月
(1)
►
7月
(1)
►
2012
(2)
►
7月
(1)
►
6月
(1)
►
2011
(1)
►
9月
(1)
►
2009
(1)
►
7月
(1)
►
2008
(2)
►
11月
(1)
►
7月
(1)
►
2007
(3)
►
10月
(3)