You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2022-01-23 - 19:58

Intel(R) Atom(TM) CPU E3845 @ 1.91GHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #4
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of all highest latencies:
System rackdslot4.osadl.org (updated Sun Jan 23, 2022 12:46:11)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1298921610,7sleep2712199cyclictest07:55:132
150821500,8sleep0711999cyclictest08:20:210
150821500,8sleep0711999cyclictest08:20:200
6684211189,10sleep10-21swapper/107:08:101
668528866,10sleep20-21swapper/207:08:112
120791803,62phc2sys5385-21basename07:05:273
209522750,6sleep2219-21systemd-journal10:45:002
41302720,5sleep24129-21phc2sys-jitter11:40:322
214652700,4sleep221426-21cpuspeed_turbos07:25:172
87402680,5sleep18744-21phc2sys12:25:321
7119996330,5cyclictest9-21ksoftirqd/011:35:010
7122996229,4cyclictest41-21ksoftirqd/309:45:203
7122996228,5cyclictest41-21ksoftirqd/312:35:203
711999626,10cyclictest9-21ksoftirqd/008:45:090
142842620,5sleep214283-21sort09:15:232
7122996129,7cyclictest41-21ksoftirqd/308:25:213
7122996125,7cyclictest41-21ksoftirqd/311:37:193
711999612,7cyclictest9-21ksoftirqd/011:20:000
7122996027,7cyclictest41-21ksoftirqd/309:13:593
7122996024,9cyclictest41-21ksoftirqd/307:40:293
7122996017,8cyclictest41-21ksoftirqd/310:50:423
7119996028,5cyclictest9-21ksoftirqd/010:55:110
7119996028,5cyclictest9-21ksoftirqd/010:55:110
712099598,6cyclictest18358-21/usr/sbin/munin10:40:111
711999592,8cyclictest17627-21ptp4l-jitter12:00:020
7119995926,11cyclictest9-21ksoftirqd/011:10:200
7122995827,8cyclictest41-21ksoftirqd/309:30:213
711999587,4cyclictest9-21ksoftirqd/009:30:060
711999584,7cyclictest9-21ksoftirqd/010:10:050
7122995727,7cyclictest41-21ksoftirqd/308:44:193
7122995725,8cyclictest41-21ksoftirqd/311:13:353
7122995725,7cyclictest41-21ksoftirqd/311:27:193
7122995723,9cyclictest41-21ksoftirqd/309:59:153
7121995745,6cyclictest33-21ksoftirqd/207:45:152
711999576,5cyclictest9-21ksoftirqd/009:20:390
711999574,8cyclictest9-21ksoftirqd/008:10:340
711999572,8cyclictest9-21ksoftirqd/007:45:200
10082570,2sleep10-21swapper/107:40:151
7122995628,8cyclictest41-21ksoftirqd/311:24:183
7122995626,4cyclictest41-21ksoftirqd/308:36:353
7122995625,8cyclictest41-21ksoftirqd/311:05:443
7122995625,8cyclictest41-21ksoftirqd/309:04:153
7122995622,7cyclictest41-21ksoftirqd/310:32:073
711999567,11cyclictest9-21ksoftirqd/008:55:000
711999564,7cyclictest9-21ksoftirqd/010:35:130
711999564,7cyclictest9-21ksoftirqd/007:25:110
711999562,8cyclictest9-21ksoftirqd/010:00:030
7119995628,9cyclictest9-21ksoftirqd/007:55:090
711999562,7cyclictest9-21ksoftirqd/008:00:100
711999561,11cyclictest9-21ksoftirqd/008:30:050
711999560,4cyclictest9796-21chrt12:30:010
711999560,15cyclictest9-21ksoftirqd/009:00:010
7122995528,7cyclictest41-21ksoftirqd/309:36:433
7122995528,7cyclictest41-21ksoftirqd/309:36:433
7122995528,7cyclictest41-21ksoftirqd/307:16:313
7122995527,8cyclictest41-21ksoftirqd/312:01:133
7122995527,8cyclictest41-21ksoftirqd/311:48:193
7122995527,7cyclictest41-21ksoftirqd/309:26:273
7122995526,7cyclictest41-21ksoftirqd/309:21:463
7122995526,4cyclictest41-21ksoftirqd/309:44:173
7122995526,4cyclictest41-21ksoftirqd/309:44:173
7122995525,7cyclictest41-21ksoftirqd/308:19:473
712099557,7cyclictest1613-21latency_hist12:20:001
711999555,10cyclictest9-21ksoftirqd/010:15:390
711999553,10cyclictest9653-21apt-get12:30:060
711999553,10cyclictest3988-21tune2fs12:20:240
711999552,8cyclictest9-21ksoftirqd/008:55:230
711999552,7cyclictest9-21ksoftirqd/011:10:010
711999552,7cyclictest9-21ksoftirqd/009:35:050
711999552,7cyclictest9-21ksoftirqd/009:35:040
711999551,8cyclictest9-21ksoftirqd/011:35:350
711999550,8cyclictest9-21ksoftirqd/009:55:160
711999550,17cyclictest9-21ksoftirqd/008:15:130
7122995427,7cyclictest41-21ksoftirqd/308:03:043
7122995426,8cyclictest41-21ksoftirqd/308:11:393
7122995426,7cyclictest41-21ksoftirqd/311:51:293
7122995425,7cyclictest41-21ksoftirqd/308:47:043
7122995424,7cyclictest41-21ksoftirqd/307:22:283
7122995422,7cyclictest41-21ksoftirqd/308:20:543
7122995422,7cyclictest41-21ksoftirqd/308:20:543
712099549,7cyclictest9218-21date11:49:591
712099548,9cyclictest13276-21timerandwakeup08:35:131
711999547,10cyclictest9-21ksoftirqd/011:50:310
711999545,11cyclictest9-21ksoftirqd/011:25:020
711999544,7cyclictest25528-21apt-get12:10:040
711999544,7cyclictest25528-21apt-get12:10:030
711999543,7cyclictest9-21ksoftirqd/012:05:060
711999543,7cyclictest9-21ksoftirqd/009:30:000
711999542,8cyclictest9-21ksoftirqd/008:40:380
711999542,7cyclictest9-21ksoftirqd/010:45:080
711999541,8cyclictest9-21ksoftirqd/010:05:040
711999541,8cyclictest9-21ksoftirqd/009:10:010
711999541,8cyclictest9-21ksoftirqd/008:25:080
711999541,8cyclictest9-21ksoftirqd/007:10:080
711999541,7cyclictest9-21ksoftirqd/010:40:370
711999541,7cyclictest9-21ksoftirqd/007:35:170
711999540,9cyclictest9-21ksoftirqd/007:50:310
711999540,7cyclictest9-21ksoftirqd/007:40:120
711999540,15cyclictest9-21ksoftirqd/010:30:150
711999540,15cyclictest9-21ksoftirqd/008:35:200
7122995328,8cyclictest41-21ksoftirqd/307:14:583
7122995327,8cyclictest41-21ksoftirqd/312:20:513
7122995327,7cyclictest41-21ksoftirqd/311:03:543
7122995327,7cyclictest41-21ksoftirqd/309:05:393
7122995327,7cyclictest41-21ksoftirqd/308:58:283
7122995326,7cyclictest41-21ksoftirqd/312:28:503
7122995326,7cyclictest41-21ksoftirqd/310:46:453
7122995325,7cyclictest41-21ksoftirqd/308:06:503
7122995324,7cyclictest41-21ksoftirqd/311:56:103
7122995324,7cyclictest41-21ksoftirqd/308:54:073
7122995324,4cyclictest41-21ksoftirqd/311:16:553
7122995323,7cyclictest41-21ksoftirqd/307:49:493
7122995321,8cyclictest41-21ksoftirqd/312:05:183
7122995321,7cyclictest41-21ksoftirqd/309:52:253
7122995321,7cyclictest41-21ksoftirqd/308:32:083
711999536,5cyclictest9-21ksoftirqd/010:25:350
711999535,7cyclictest9-21ksoftirqd/012:35:020
711999533,10cyclictest9-21ksoftirqd/009:15:040
711999532,8cyclictest31055-21sed12:15:100
711999532,10cyclictest6951-21grep09:45:320
711999531,7cyclictest12991-21apt-get07:15:200
711999531,15cyclictest9-21ksoftirqd/009:50:320
711999530,7cyclictest9-21ksoftirqd/011:00:330
711999530,7cyclictest9-21ksoftirqd/010:20:250
711999530,7cyclictest9-21ksoftirqd/007:20:330
7122995227,5cyclictest41-21ksoftirqd/307:54:293
7122995226,7cyclictest41-21ksoftirqd/309:19:043
7122995224,7cyclictest41-21ksoftirqd/310:44:563
7122995224,7cyclictest41-21ksoftirqd/310:22:163
7122995223,7cyclictest41-21ksoftirqd/311:40:433
7122995222,8cyclictest41-21ksoftirqd/307:35:373
712099525,12cyclictest25927-21/usr/sbin/munin12:10:111
712099525,12cyclictest25927-21/usr/sbin/munin12:10:101
711999526,9cyclictest9-21ksoftirqd/011:45:260
711999520,8cyclictest9-21ksoftirqd/009:10:060
711999520,8cyclictest9-21ksoftirqd/008:05:130
711999520,16cyclictest9-21ksoftirqd/011:20:230
711999520,13cyclictest9-21ksoftirqd/012:00:010
711999520,13cyclictest9-21ksoftirqd/011:40:010
7122995127,8cyclictest41-21ksoftirqd/310:14:093
7122995127,4cyclictest41-21ksoftirqd/310:36:243
7122995125,7cyclictest41-21ksoftirqd/310:06:463
7122995117,9cyclictest41-21ksoftirqd/312:34:233
711999511,7cyclictest9-21ksoftirqd/009:40:040
711999511,7cyclictest9-21ksoftirqd/009:40:040
711999510,7cyclictest9-21ksoftirqd/010:50:070
711999510,14cyclictest9-21ksoftirqd/007:30:040
7122995026,7cyclictest41-21ksoftirqd/311:33:133
712099501,13cyclictest1088-21runrttasks10:51:441
7122994928,10cyclictest41-21ksoftirqd/310:00:073
7122994927,7cyclictest41-21ksoftirqd/310:28:063
7122994925,5cyclictest41-21ksoftirqd/310:16:253
7122994919,5cyclictest41-21ksoftirqd/307:30:323
7122994916,8cyclictest41-21ksoftirqd/307:56:303
712099492,7cyclictest0-21swapper/111:50:371
712099491,10cyclictest27551-21/usr/sbin/munin09:30:371
56598490,22rtkit-daemon0-21swapper/007:06:200
7122994816,10cyclictest41-21ksoftirqd/310:59:003
7122994816,10cyclictest41-21ksoftirqd/310:59:003
712099486,9cyclictest32486-21sed10:55:361
712099486,9cyclictest32486-21sed10:55:361
712099483,7cyclictest14684-21memory11:15:151
712099477,7cyclictest7968-21awk07:10:091
712099472,6cyclictest0-21swapper/110:00:331
7121994639,4cyclictest33-21ksoftirqd/208:05:052
7122994525,8cyclictest41-21ksoftirqd/312:12:153
7122994525,8cyclictest41-21ksoftirqd/312:12:153
7121994538,4cyclictest33-21ksoftirqd/212:20:002
712099457,8cyclictest15194-21mailstats09:15:361
712099457,7cyclictest32634-21awk11:35:361
712099457,7cyclictest12294-21awk11:10:351
712099455,8cyclictest13475-21grep09:55:111
712099450,9cyclictest3389-21runrttasks08:22:461
712099450,9cyclictest3389-21runrttasks08:22:451
7122994426,5cyclictest41-21ksoftirqd/312:15:043
7121994236,3cyclictest42250irq/98-enp4s0-T11:15:392
7121994233,4cyclictest33-21ksoftirqd/208:10:202
7121994229,10cyclictest33-21ksoftirqd/212:30:042
712099427,8cyclictest22752-21cat10:45:161
712099423,7cyclictest25823-21runrttasks10:10:101
7121994135,4cyclictest33-21ksoftirqd/210:00:012
712099414,7cyclictest10148-21apt-key12:30:031
712099412,5cyclictest0-21swapper/111:05:371
7120994117,7cyclictest25-21ksoftirqd/112:35:231
7121994034,4cyclictest33-21ksoftirqd/208:30:212
712099404,6cyclictest0-21swapper/107:50:051
712099402,7cyclictest241ktimersoftd/108:25:141
7121993933,3cyclictest27184-21tr10:50:192
7121993932,4cyclictest33-21ksoftirqd/209:45:042
712099397,7cyclictest2281-21apt-get11:00:111
712099396,6cyclictest4453-21cat12:20:291
712099395,7cyclictest22736-21df_abs10:05:221
712099394,8cyclictest0-21swapper/108:40:101
712099390,8cyclictest25-21ksoftirqd/108:59:021
7121993832,4cyclictest33-21ksoftirqd/210:00:162
7121993832,3cyclictest33-21ksoftirqd/209:00:022
7121993831,4cyclictest33-21ksoftirqd/209:40:042
7121993831,4cyclictest33-21ksoftirqd/209:40:032
7121993831,4cyclictest33-21ksoftirqd/207:35:162
712099388,27cyclictest0-21swapper/112:05:081
712099386,8cyclictest0-21swapper/109:05:051
712099385,13cyclictest22744-21netstat08:05:331
712099382,13cyclictest16731-21chrt10:38:201
712099381,13cyclictest22822-21taskset09:25:271
7121993731,4cyclictest33-21ksoftirqd/209:35:002
7121993731,4cyclictest22023-21cpuspeed_turbos08:45:242
7121993731,3cyclictest311rcuc/209:05:182
7121993730,4cyclictest33-21ksoftirqd/212:25:032
7121993730,4cyclictest33-21ksoftirqd/209:50:382
712099376,6cyclictest330-21apt-get10:20:051
712099375,7cyclictest3443-21unixbench_multi09:40:411
712099375,7cyclictest3443-21unixbench_multi09:40:401
712099373,6cyclictest11774-21taskset09:14:101
712099373,5cyclictest0-21swapper/112:03:321
712099371,6cyclictest26043-21snmpd08:14:491
7121993631,3cyclictest33-21ksoftirqd/211:50:002
7121993631,3cyclictest33-21ksoftirqd/210:24:592
7121993630,4cyclictest33-21ksoftirqd/211:35:392
7121993630,3cyclictest33-21ksoftirqd/212:05:022
7121993630,3cyclictest33-21ksoftirqd/208:40:202
7121993630,3cyclictest33-21ksoftirqd/208:15:202
7121993629,4cyclictest33-21ksoftirqd/211:30:032
7121993629,4cyclictest33-21ksoftirqd/207:50:052
712099363,7cyclictest7678-21taskset09:46:251
712099360,8cyclictest25-21ksoftirqd/107:18:421
7121993530,3cyclictest33-21ksoftirqd/211:50:342
7121993530,3cyclictest33-21ksoftirqd/209:20:392
7121993530,3cyclictest33-21ksoftirqd/207:30:042
7121993529,4cyclictest33-21ksoftirqd/212:00:012
7121993529,4cyclictest33-21ksoftirqd/211:10:032
7121993528,4cyclictest33-21ksoftirqd/208:03:082
712199351,3cyclictest0-21swapper/208:55:162
712099354,7cyclictest0-21swapper/111:30:141
712099353,7cyclictest12816-21latency_hist10:34:591
7122993428,4cyclictest41-21ksoftirqd/307:25:123
7121993429,3cyclictest33-21ksoftirqd/210:55:112
7121993429,3cyclictest33-21ksoftirqd/210:55:112
7121993429,3cyclictest33-21ksoftirqd/210:15:392
7121993429,3cyclictest33-21ksoftirqd/210:10:052
7121993428,4cyclictest33-21ksoftirqd/210:30:022
7121993428,3cyclictest33-21ksoftirqd/208:40:002
7121993428,3cyclictest33-21ksoftirqd/207:25:002
7121993427,4cyclictest33-21ksoftirqd/211:20:032
712199334,3cyclictest121rcu_preempt10:35:112
7121993328,3cyclictest33-21ksoftirqd/212:00:032
7121993328,3cyclictest33-21ksoftirqd/208:25:052
7121993327,4cyclictest33-21ksoftirqd/212:11:402
7121993327,4cyclictest33-21ksoftirqd/212:11:402
7121993327,4cyclictest33-21ksoftirqd/207:40:112
7121993327,3cyclictest3945-21kworker/2:209:10:302
7121993327,3cyclictest33-21ksoftirqd/207:19:152
7121993326,4cyclictest33-21ksoftirqd/212:37:152
712099339,6cyclictest22244-21grep11:25:091
712099332,7cyclictest241ktimersoftd/110:18:371
7120993326,4cyclictest25-21ksoftirqd/107:47:211
7121993226,4cyclictest33-21ksoftirqd/208:55:012
7121993225,4cyclictest33-21ksoftirqd/209:27:592
7121993225,4cyclictest33-21ksoftirqd/207:12:572
712099327,8cyclictest25-21ksoftirqd/109:35:031
712099327,8cyclictest25-21ksoftirqd/109:35:031
712099324,11cyclictest193882chrt08:04:161
712099323,12cyclictest1088-21runrttasks11:56:561
712099322,7cyclictest241ktimersoftd/107:29:511
7120993225,4cyclictest25-21ksoftirqd/111:42:281
7121993126,3cyclictest33-21ksoftirqd/210:05:112
7121993125,4cyclictest33-21ksoftirqd/211:05:022
7121993125,3cyclictest33-21ksoftirqd/208:20:302
7121993125,3cyclictest33-21ksoftirqd/208:20:292
7121993124,4cyclictest33-21ksoftirqd/211:26:512
712099317,7cyclictest16738-21proc_pri07:20:131
712099316,7cyclictest22745-21latency08:45:321
712099312,7cyclictest241ktimersoftd/110:25:341
712099312,7cyclictest241ktimersoftd/108:52:421
7120993125,4cyclictest25-21ksoftirqd/107:55:121
7121993024,4cyclictest33-21ksoftirqd/210:25:022
7121993024,4cyclictest33-21ksoftirqd/209:39:282
7121993024,4cyclictest33-21ksoftirqd/209:39:282
712099307,10cyclictest1088-21runrttasks07:37:101
7120993023,4cyclictest25-21ksoftirqd/109:20:441
712099301,12cyclictest31725-21runrttasks08:18:201
7121992923,3cyclictest33-21ksoftirqd/212:20:132
7121992922,4cyclictest42250irq/98-enp4s0-T10:48:482
7121992922,4cyclictest33-21ksoftirqd/211:00:022
712099298,7cyclictest18258-21sensors_temp11:20:101
712099294,7cyclictest0-21swapper/108:30:181
7120992910,5cyclictest25-21ksoftirqd/107:30:031
712099281,14cyclictest1088-21runrttasks09:03:131
712099271,13cyclictest11770-21chrt09:52:001
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional