You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2022-01-17 - 02:55

Intel(R) Atom(TM) CPU E3845 @ 1.91GHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the alll highest latencies:
System rackdslot2.osadl.org (updated Mon Jan 17, 2022 00:46:09)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1751821790,8sleep2863599cyclictest20:00:032
1719521530,3sleep0863399cyclictest20:00:010
1206721520,8sleep3863699cyclictest19:50:333
12699111592,10phc2sys0-21swapper/319:08:163
55598860,58rtkit-daemon0-21swapper/219:08:532
80862804,19sleep10-21swapper/119:06:371
11782660,4sleep31180-21unixbench_singl20:20:043
8636996347,9cyclictest41-21ksoftirqd/319:10:153
8636996347,9cyclictest41-21ksoftirqd/319:10:143
118852590,2sleep30-21swapper/300:30:253
118852590,2sleep30-21swapper/300:30:243
325492580,4sleep332551-21timerandwakeup23:35:333
95252570,2sleep20-21swapper/222:30:032
863599541,13cyclictest7785-21sed23:45:292
863599525,11cyclictest17703-21apache219:30:292
863599521,13cyclictest23011-21/usr/sbin/munin00:05:202
55598520,10rtkit-daemon0-21swapper/319:24:063
101522500,5sleep2321ktimersoftd/223:10:112
101522500,5sleep2321ktimersoftd/223:10:102
863599491,12cyclictest25691-21/usr/sbin/munin00:10:042
808524716,19sleep00-21swapper/019:06:360
863599435,6cyclictest0-21swapper/221:00:112
8634994236,3cyclictest25-21ksoftirqd/119:10:151
8634994236,3cyclictest25-21ksoftirqd/119:10:141
8634994034,3cyclictest25-21ksoftirqd/123:55:141
8635993519,9cyclictest33-21ksoftirqd/200:25:152
8633993528,4cyclictest9-21ksoftirqd/000:30:140
8633993528,4cyclictest9-21ksoftirqd/000:30:130
166062350,5sleep3401ktimersoftd/323:56:123
1297323527,4sleep09-21ksoftirqd/021:15:020
8635993421,6cyclictest14252-21apt-get19:15:142
8635993421,6cyclictest14252-21apt-get19:15:142
8634993428,4cyclictest25-21ksoftirqd/100:20:321
8634993428,4cyclictest25-21ksoftirqd/100:05:221
8634993427,4cyclictest25-21ksoftirqd/123:18:291
8633993428,4cyclictest9-21ksoftirqd/020:44:540
12272340,5sleep341-21ksoftirqd/319:40:053
8636993325,5cyclictest41-21ksoftirqd/321:32:353
8635993326,4cyclictest33-21ksoftirqd/223:50:052
8635993326,4cyclictest20885-21cron21:24:592
8635993320,7cyclictest18707-21apt-get23:20:152
8634993327,4cyclictest25-21ksoftirqd/122:25:151
8634993327,4cyclictest25-21ksoftirqd/120:45:141
8634993327,4cyclictest25-21ksoftirqd/120:03:401
8634993326,4cyclictest25-21ksoftirqd/120:18:581
8633993327,4cyclictest9-21ksoftirqd/020:10:150
8633993327,4cyclictest9-21ksoftirqd/019:23:510
8633993327,3cyclictest9-21ksoftirqd/023:10:510
8633993327,3cyclictest9-21ksoftirqd/023:10:500
8633993327,3cyclictest9-21ksoftirqd/019:33:290
8633993326,4cyclictest9-21ksoftirqd/021:50:160
8633993326,4cyclictest9-21ksoftirqd/019:58:290
8633993326,4cyclictest9-21ksoftirqd/019:43:150
8633993325,5cyclictest9-21ksoftirqd/020:36:390
8633993325,5cyclictest9-21ksoftirqd/020:36:390
701323326,3sleep125-21ksoftirqd/121:05:231
863699329,11cyclictest26558-21cpuspeed_turbos19:30:153
8636993227,3cyclictest41-21ksoftirqd/321:00:043
8636993226,4cyclictest41-21ksoftirqd/322:15:033
8636993226,3cyclictest41-21ksoftirqd/320:55:143
8636993225,4cyclictest41-21ksoftirqd/321:25:123
8636993225,4cyclictest41-21ksoftirqd/320:01:023
8636993224,5cyclictest41-21ksoftirqd/323:25:093
863599323,17cyclictest17712-21apache222:25:232
8635993226,4cyclictest33-21ksoftirqd/223:28:102
8635993226,4cyclictest33-21ksoftirqd/200:39:492
8635993225,4cyclictest33-21ksoftirqd/220:07:132
8635993225,4cyclictest33-21ksoftirqd/219:56:362
8635993225,4cyclictest33-21ksoftirqd/219:45:302
8635993225,4cyclictest33-21ksoftirqd/219:30:012
8635993216,11cyclictest14418-21apt-get21:55:132
8635993215,10cyclictest6279-21apt-get21:45:132
8634993227,3cyclictest25-21ksoftirqd/123:20:141
8634993226,4cyclictest25-21ksoftirqd/123:39:551
8634993226,4cyclictest25-21ksoftirqd/123:30:111
8634993226,4cyclictest25-21ksoftirqd/122:07:301
8634993226,4cyclictest25-21ksoftirqd/120:42:421
8634993226,4cyclictest25-21ksoftirqd/119:45:211
8634993226,4cyclictest25-21ksoftirqd/100:25:131
8634993226,3cyclictest25-21ksoftirqd/100:01:371
8634993225,4cyclictest25-21ksoftirqd/122:52:151
8634993225,4cyclictest25-21ksoftirqd/121:24:251
8634993225,4cyclictest25-21ksoftirqd/120:05:471
8634993225,4cyclictest25-21ksoftirqd/100:11:561
8634993224,5cyclictest25-21ksoftirqd/121:02:491
8634993224,5cyclictest25-21ksoftirqd/119:25:571
8633993227,3cyclictest9-21ksoftirqd/022:35:130
8633993226,4cyclictest9-21ksoftirqd/020:17:110
8633993226,3cyclictest9-21ksoftirqd/023:08:570
8633993225,4cyclictest9-21ksoftirqd/022:01:150
8633993225,4cyclictest9-21ksoftirqd/021:03:410
8633993225,4cyclictest9-21ksoftirqd/019:51:410
8636993126,3cyclictest41-21ksoftirqd/300:00:093
8636993125,4cyclictest41-21ksoftirqd/321:35:103
8636993125,4cyclictest41-21ksoftirqd/320:30:093
8636993125,3cyclictest41-21ksoftirqd/321:40:583
8636993125,3cyclictest41-21ksoftirqd/319:49:303
8636993124,4cyclictest41-21ksoftirqd/322:45:143
8636993124,4cyclictest41-21ksoftirqd/320:40:433
8636993124,4cyclictest41-21ksoftirqd/300:05:273
8636993123,5cyclictest41-21ksoftirqd/300:26:113
8636993121,5cyclictest41-21ksoftirqd/320:10:163
8635993126,3cyclictest33-21ksoftirqd/200:15:032
8635993125,4cyclictest33-21ksoftirqd/219:13:262
8635993125,4cyclictest33-21ksoftirqd/219:13:252
8635993125,4cyclictest33-21ksoftirqd/200:00:092
8635993125,3cyclictest33-21ksoftirqd/223:56:572
8635993124,4cyclictest33-21ksoftirqd/222:50:462
8635993124,4cyclictest33-21ksoftirqd/222:07:192
8635993124,4cyclictest33-21ksoftirqd/221:26:002
8635993124,4cyclictest33-21ksoftirqd/221:08:452
8635993124,4cyclictest33-21ksoftirqd/220:34:312
8635993124,4cyclictest33-21ksoftirqd/220:18:142
8635993117,7cyclictest22498-21apt-get20:45:132
8635993117,7cyclictest10394-21apt-get21:50:152
8634993126,3cyclictest25-21ksoftirqd/121:40:051
8634993126,3cyclictest25-21ksoftirqd/121:35:031
8634993126,3cyclictest25-21ksoftirqd/119:56:171
8634993126,3cyclictest25-21ksoftirqd/119:40:131
8634993125,4cyclictest25-21ksoftirqd/122:04:521
8634993124,4cyclictest25-21ksoftirqd/123:44:101
8634993124,4cyclictest25-21ksoftirqd/123:26:351
8634993124,4cyclictest25-21ksoftirqd/123:05:161
8634993124,4cyclictest25-21ksoftirqd/121:46:081
8634993124,4cyclictest25-21ksoftirqd/121:28:191
8634993124,4cyclictest25-21ksoftirqd/120:40:001
8634993124,4cyclictest25-21ksoftirqd/120:40:001
8634993124,4cyclictest25-21ksoftirqd/119:23:131
8633993126,3cyclictest9-21ksoftirqd/020:55:170
8633993126,3cyclictest9-21ksoftirqd/000:04:280
8633993125,3cyclictest9-21ksoftirqd/023:59:260
8633993125,3cyclictest9-21ksoftirqd/022:56:010
8633993125,3cyclictest9-21ksoftirqd/022:26:540
8633993125,3cyclictest9-21ksoftirqd/019:15:470
8633993125,3cyclictest9-21ksoftirqd/019:15:460
8633993125,3cyclictest9-21ksoftirqd/000:38:070
8633993124,4cyclictest9-21ksoftirqd/023:42:240
8633993124,4cyclictest9-21ksoftirqd/023:36:320
8633993124,4cyclictest9-21ksoftirqd/023:32:560
8633993124,4cyclictest9-21ksoftirqd/021:48:540
8633993124,4cyclictest9-21ksoftirqd/020:48:520
8633993124,4cyclictest9-21ksoftirqd/020:27:150
8633993123,5cyclictest9-21ksoftirqd/023:03:530
174582310,9sleep3863699cyclictest00:40:003
8636993024,4cyclictest41-21ksoftirqd/323:05:043
8636993024,4cyclictest41-21ksoftirqd/322:25:133
8636993024,4cyclictest41-21ksoftirqd/300:15:153
8636993024,3cyclictest41-21ksoftirqd/323:44:213
8636993024,3cyclictest41-21ksoftirqd/323:33:483
8636993024,3cyclictest41-21ksoftirqd/321:47:213
8636993023,4cyclictest41-21ksoftirqd/323:13:283
8636993023,4cyclictest41-21ksoftirqd/323:13:283
8636993023,4cyclictest41-21ksoftirqd/322:20:203
8636993023,4cyclictest41-21ksoftirqd/322:07:163
8636993023,4cyclictest41-21ksoftirqd/321:51:383
8636993023,4cyclictest41-21ksoftirqd/319:17:453
8636993023,4cyclictest41-21ksoftirqd/319:17:443
8636993023,4cyclictest41-21ksoftirqd/300:21:003
8635993024,4cyclictest33-21ksoftirqd/219:54:172
8635993024,3cyclictest33-21ksoftirqd/200:23:052
8635993023,4cyclictest33-21ksoftirqd/222:57:252
8635993023,4cyclictest33-21ksoftirqd/220:37:052
8635993023,4cyclictest33-21ksoftirqd/220:37:052
8635993023,4cyclictest21068-21cron22:45:002
863599302,11cyclictest0-21swapper/223:07:582
8635993017,8cyclictest18573-21apt-get20:40:142
8634993025,3cyclictest25-21ksoftirqd/121:50:131
8634993024,4cyclictest25-21ksoftirqd/100:17:581
8634993023,4cyclictest25-21ksoftirqd/122:45:361
8634993023,4cyclictest25-21ksoftirqd/122:36:041
8634993023,4cyclictest25-21ksoftirqd/122:17:051
8634993023,4cyclictest25-21ksoftirqd/121:11:211
8634993023,4cyclictest25-21ksoftirqd/100:35:081
8633993025,3cyclictest9-21ksoftirqd/020:06:440
8633993024,4cyclictest9-21ksoftirqd/023:22:530
8633993024,4cyclictest9-21ksoftirqd/020:50:150
8633993024,3cyclictest9-21ksoftirqd/023:16:210
8633993024,3cyclictest9-21ksoftirqd/019:14:060
8633993024,3cyclictest9-21ksoftirqd/019:14:060
8633993024,3cyclictest9-21ksoftirqd/000:21:160
1269913023,3phc2sys41-21ksoftirqd/323:45:023
8636992923,4cyclictest41-21ksoftirqd/323:52:563
8636992923,4cyclictest41-21ksoftirqd/323:15:173
8636992923,4cyclictest41-21ksoftirqd/322:11:023
8636992923,4cyclictest41-21ksoftirqd/320:29:553
8636992923,3cyclictest41-21ksoftirqd/319:56:413
8636992922,4cyclictest41-21ksoftirqd/322:03:353
8636992922,4cyclictest41-21ksoftirqd/320:36:183
8636992922,4cyclictest41-21ksoftirqd/320:36:173
8636992922,4cyclictest41-21ksoftirqd/320:06:003
8636992921,5cyclictest41-21ksoftirqd/322:35:343
863699290,5cyclictest121rcu_preempt19:25:103
8635992922,4cyclictest33-21ksoftirqd/223:40:452
8635992922,4cyclictest33-21ksoftirqd/223:32:022
8635992922,4cyclictest33-21ksoftirqd/222:38:022
8635992922,4cyclictest33-21ksoftirqd/222:14:142
8635992922,4cyclictest33-21ksoftirqd/221:43:462
8635992922,4cyclictest33-21ksoftirqd/219:45:002
8635992910,10cyclictest18487-21cpuspeed_turbos19:20:152
8634992923,4cyclictest25-21ksoftirqd/122:10:101
8634992923,4cyclictest25-21ksoftirqd/119:30:201
8634992922,4cyclictest25-21ksoftirqd/123:50:081
8634992922,4cyclictest25-21ksoftirqd/122:33:151
8634992922,4cyclictest25-21ksoftirqd/120:50:461
8634992922,4cyclictest25-21ksoftirqd/120:25:071
8634992922,4cyclictest25-21ksoftirqd/119:51:131
8633992924,3cyclictest9-21ksoftirqd/019:36:320
8633992923,4cyclictest9-21ksoftirqd/023:51:430
8633992923,4cyclictest9-21ksoftirqd/021:55:280
8633992923,4cyclictest9-21ksoftirqd/021:40:390
8633992923,4cyclictest9-21ksoftirqd/021:12:110
8633992923,3cyclictest9-21ksoftirqd/022:32:200
8633992923,3cyclictest9-21ksoftirqd/000:12:360
8633992922,4cyclictest9-21ksoftirqd/023:46:020
8633992922,4cyclictest9-21ksoftirqd/022:13:350
8633992922,4cyclictest9-21ksoftirqd/021:32:310
8633992922,4cyclictest9-21ksoftirqd/000:09:380
8636992822,3cyclictest41-21ksoftirqd/321:18:163
8636992821,4cyclictest41-21ksoftirqd/323:03:123
8636992821,4cyclictest41-21ksoftirqd/322:55:043
8636992821,4cyclictest41-21ksoftirqd/321:10:093
8636992821,4cyclictest41-21ksoftirqd/320:45:063
8636992821,4cyclictest41-21ksoftirqd/320:16:343
8636992821,4cyclictest41-21ksoftirqd/319:36:353
8635992822,4cyclictest33-21ksoftirqd/221:33:222
8635992821,4cyclictest33-21ksoftirqd/223:35:442
8635992821,4cyclictest33-21ksoftirqd/223:17:052
8635992821,4cyclictest33-21ksoftirqd/221:12:022
863499284,4cyclictest121rcu_preempt21:59:331
8634992822,4cyclictest25-21ksoftirqd/123:45:151
8634992822,4cyclictest25-21ksoftirqd/122:55:041
8634992822,4cyclictest25-21ksoftirqd/119:15:271
8634992822,4cyclictest25-21ksoftirqd/119:15:261
8634992822,3cyclictest25-21ksoftirqd/122:43:021
8634992821,4cyclictest25-21ksoftirqd/122:20:151
8633992822,4cyclictest9-21ksoftirqd/022:20:490
8633992822,4cyclictest9-21ksoftirqd/019:25:330
8633992822,3cyclictest9-21ksoftirqd/020:34:100
8633992821,4cyclictest9-21ksoftirqd/022:20:000
8633992821,4cyclictest9-21ksoftirqd/022:08:580
8633992821,4cyclictest9-21ksoftirqd/019:47:130
8636992722,3cyclictest41-21ksoftirqd/320:50:143
8636992721,3cyclictest41-21ksoftirqd/300:11:373
8636992719,5cyclictest41-21ksoftirqd/322:43:383
8636992715,10cyclictest41-21ksoftirqd/322:33:383
8635992721,4cyclictest33-21ksoftirqd/220:24:192
8635992721,3cyclictest33-21ksoftirqd/219:39:362
8635992715,7cyclictest30660-21apt-get20:55:152
8635992712,9cyclictest17817-21timerandwakeup22:00:052
8634992722,3cyclictest25-21ksoftirqd/120:11:131
8634992722,3cyclictest25-21ksoftirqd/119:35:521
8634992720,4cyclictest25-21ksoftirqd/121:15:141
8634992720,4cyclictest25-21ksoftirqd/100:30:281
8634992720,4cyclictest25-21ksoftirqd/100:30:271
8633992721,3cyclictest9-21ksoftirqd/022:41:580
8633992720,5cyclictest9-21ksoftirqd/023:27:510
8633992720,4cyclictest9-21ksoftirqd/022:53:370
863599268,15cyclictest957-21/usr/sbin/munin23:00:072
8635992619,4cyclictest33-21ksoftirqd/221:17:442
8635992619,4cyclictest33-21ksoftirqd/220:25:572
8635992619,4cyclictest27662-21grep20:10:222
8634992619,4cyclictest25-21ksoftirqd/120:32:061
8633992621,3cyclictest9-21ksoftirqd/000:29:330
8636992519,4cyclictest41-21ksoftirqd/322:50:313
8636992516,5cyclictest18876-21cstates23:20:153
8634992518,4cyclictest25-21ksoftirqd/121:34:541
8634992518,4cyclictest25-21ksoftirqd/120:24:511
8633992520,3cyclictest9-21ksoftirqd/021:28:110
8633992519,4cyclictest9-21ksoftirqd/022:47:440
8633992519,4cyclictest9-21ksoftirqd/020:20:030
8633992518,4cyclictest9-21ksoftirqd/021:24:440
863599242,5cyclictest0-21swapper/222:20:152
8635992416,5cyclictest31456-21grep21:35:212
8635992412,7cyclictest11298-21apt-get00:30:182
8635992412,7cyclictest11298-21apt-get00:30:182
8634992417,4cyclictest25-21ksoftirqd/123:12:141
8634992417,4cyclictest25-21ksoftirqd/123:12:141
8633992419,3cyclictest9-21ksoftirqd/000:15:160
8633992418,3cyclictest9-21ksoftirqd/021:08:180
8636992316,4cyclictest41-21ksoftirqd/321:23:443
8635992317,4cyclictest33-21ksoftirqd/222:17:582
8634992318,3cyclictest25-21ksoftirqd/123:04:461
8634992316,4cyclictest25-21ksoftirqd/120:58:161
8633992316,4cyclictest9-21ksoftirqd/021:39:220
8636992216,4cyclictest41-21ksoftirqd/321:57:453
8636992215,4cyclictest8318-21unixbench_singl21:05:383
863599229,10cyclictest22934-21cstates22:45:162
8635992210,9cyclictest25469-21switchtime20:50:032
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional