You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-03-20 - 22:55

x86 Intel Atom E3845 @1910 MHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #4
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 376 highest latencies:
System rackdslot4.osadl.org (updated Mon Mar 20, 2023 12:46:27)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2641924510,11sleep20-21swapper/207:05:312
1299911930,5ptp4l401ktimersoftd/307:09:333
340721510,6sleep02722299cyclictest09:45:170
27222998073,4cyclictest9-21ksoftirqd/010:00:160
27222997971,5cyclictest9-21ksoftirqd/009:30:180
27222997971,5cyclictest9-21ksoftirqd/009:30:170
27222997945,7cyclictest9-21ksoftirqd/009:35:160
27222997921,4cyclictest9-21ksoftirqd/009:10:310
27222997737,5cyclictest9-21ksoftirqd/010:25:520
27222997637,6cyclictest9-21ksoftirqd/010:55:280
27222997546,4cyclictest9-21ksoftirqd/010:15:160
27222997539,4cyclictest9-21ksoftirqd/007:45:150
2722499746,9cyclictest10569-21turbostat12:20:002
27222997439,5cyclictest9-21ksoftirqd/011:45:190
27222997438,5cyclictest9-21ksoftirqd/007:40:120
27222997434,9cyclictest9-21ksoftirqd/007:20:270
27222997336,5cyclictest9-21ksoftirqd/011:10:380
275372720,8sleep02722299cyclictest09:25:300
2722499725,10cyclictest27533-21cron08:20:002
27222997236,5cyclictest9-21ksoftirqd/008:30:290
27222997232,7cyclictest9-21ksoftirqd/010:45:170
76352710,1sleep30-21swapper/312:10:363
27222997135,5cyclictest9-21ksoftirqd/012:12:180
27222997028,7cyclictest9-21ksoftirqd/012:15:280
2722499695,8cyclictest8862-21latency_hist07:40:002
2722499695,10cyclictest29472-21apt-config07:15:012
27222996962,4cyclictest9-21ksoftirqd/011:40:130
27222996936,7cyclictest9-21ksoftirqd/010:35:270
27222996934,5cyclictest9-21ksoftirqd/008:35:200
27222996931,5cyclictest9-21ksoftirqd/011:35:280
27222996924,11cyclictest9-21ksoftirqd/011:20:200
129991690,12ptp4l0-21swapper/307:25:243
27224996858,6cyclictest33-21ksoftirqd/207:45:122
27222996834,5cyclictest9-21ksoftirqd/011:55:300
27222996834,5cyclictest9-21ksoftirqd/008:00:360
2722499676,8cyclictest20158-21grep08:00:372
27222996760,4cyclictest9-21ksoftirqd/008:40:120
27222996741,4cyclictest9-21ksoftirqd/011:05:190
27222996731,5cyclictest9-21ksoftirqd/007:55:300
27222996726,5cyclictest9-21ksoftirqd/007:30:160
27222996724,8cyclictest9-21ksoftirqd/008:25:230
301942660,2sleep10-21swapper/108:25:131
27222996632,4cyclictest9-21ksoftirqd/011:00:180
27222996632,4cyclictest9-21ksoftirqd/011:00:170
2722499655,8cyclictest209-21systemd-journal12:15:002
27222996531,4cyclictest9-21ksoftirqd/011:15:320
27222996530,10cyclictest9-21ksoftirqd/009:00:150
27222996528,5cyclictest9-21ksoftirqd/008:10:010
27222996528,5cyclictest9-21ksoftirqd/008:10:000
27222996524,11cyclictest9-21ksoftirqd/007:50:290
2722599648,8cyclictest41-21ksoftirqd/308:59:593
27225996452,6cyclictest41-21ksoftirqd/312:05:183
2722499646,7cyclictest24518-21irqrtprio09:20:232
2722499645,9cyclictest25141-21cut10:30:282
2722499643,14cyclictest31259-21latency_hist11:54:592
27222996431,7cyclictest9-21ksoftirqd/010:05:130
27222996430,4cyclictest9-21ksoftirqd/012:05:000
27222996430,4cyclictest9-21ksoftirqd/009:40:300
27222996425,7cyclictest9-21ksoftirqd/012:25:210
27222996425,7cyclictest9-21ksoftirqd/012:25:200
2722499635,8cyclictest18211-21grep10:15:262
2722499634,8cyclictest444-21sed09:40:002
2722499633,7cyclictest12786-21fschecks_count10:05:182
27222996329,4cyclictest9-21ksoftirqd/009:20:230
27222996328,5cyclictest9-21ksoftirqd/007:25:160
27222996327,6cyclictest9-21ksoftirqd/011:30:220
27222996326,6cyclictest9-21ksoftirqd/008:50:200
27222996323,11cyclictest9-21ksoftirqd/008:10:150
2722499625,7cyclictest22369-21expr11:35:142
2722499624,10cyclictest5649-21kernelversion08:40:212
2722499622,8cyclictest8538-21latency09:55:222
238302620,8sleep32722599cyclictest10:30:013
27225996147,8cyclictest41-21ksoftirqd/311:30:193
27225996147,8cyclictest41-21ksoftirqd/307:30:123
2722499615,8cyclictest4070-21cstates12:05:202
2722499614,8cyclictest31231-21cpuspeed_turbos10:45:192
2722499612,8cyclictest19841-21grep09:10:252
27222996126,5cyclictest9-21ksoftirqd/007:10:210
2722499603,7cyclictest16827-21ls10:15:012
2722499602,7cyclictest11525-21expr11:10:322
2722499602,18cyclictest4298-21irqrtprio10:55:242
2722499600,8cyclictest0-21swapper/211:25:222
27222996046,4cyclictest9-21ksoftirqd/008:15:270
27222996044,4cyclictest9-21ksoftirqd/010:30:240
27222996026,4cyclictest9-21ksoftirqd/009:55:280
2722499593,8cyclictest6695-21sed09:50:372
27224995928,9cyclictest33-21ksoftirqd/208:10:012
27224995928,9cyclictest33-21ksoftirqd/208:10:002
2722499592,7cyclictest21927-21latency_hist11:35:012
2722499590,7cyclictest0-21swapper/209:35:012
2722499590,7cyclictest0-21swapper/209:35:002
2722299594,7cyclictest9-21ksoftirqd/011:50:170
27222995945,4cyclictest9-21ksoftirqd/009:05:280
27222995921,6cyclictest9-21ksoftirqd/011:25:300
2722299590,3cyclictest121rcu_preempt07:20:010
2722499583,8cyclictest4500-21latency_hist08:40:012
2722499583,8cyclictest321ktimersoftd/211:00:222
2722499583,8cyclictest321ktimersoftd/211:00:222
2722499583,8cyclictest321ktimersoftd/210:50:152
2722499583,8cyclictest27039-21ls09:25:242
27222995851,4cyclictest9-21ksoftirqd/012:25:000
27222995851,4cyclictest9-21ksoftirqd/009:55:000
27222995846,4cyclictest9-21ksoftirqd/010:55:010
27222995844,4cyclictest9-21ksoftirqd/012:36:100
27222995844,4cyclictest9-21ksoftirqd/012:05:320
27222995819,5cyclictest9-21ksoftirqd/010:40:270
129991580,1ptp4l401ktimersoftd/312:35:333
27225995743,8cyclictest41-21ksoftirqd/310:50:143
2722499573,9cyclictest9168-21latency_hist08:50:002
2722499573,8cyclictest321ktimersoftd/208:25:002
2722499573,6cyclictest321ktimersoftd/212:00:002
27224995726,9cyclictest33-21ksoftirqd/211:45:222
2722499571,8cyclictest19913-21latency_hist12:40:002
2722299576,8cyclictest9-21ksoftirqd/010:10:190
27222995743,3cyclictest9-21ksoftirqd/008:55:280
2722299572,4cyclictest121rcu_preempt10:20:270
2722299570,8cyclictest23248-21sendmail-msp09:20:000
2722499563,8cyclictest5840-21cat07:30:292
2722499563,8cyclictest23902-21irqrtprio08:10:202
2722499562,8cyclictest2007-21latency_hist07:25:002
2722499560,9cyclictest33-21ksoftirqd/210:25:152
2722299560,3cyclictest9-21ksoftirqd/007:40:000
56498550,16rtkit-daemon0-21swapper/108:57:441
27225995543,6cyclictest41-21ksoftirqd/312:15:143
27224995534,10cyclictest33-21ksoftirqd/209:05:292
2722499552,7cyclictest1176-21idleruntime09:40:242
27224995525,9cyclictest33-21ksoftirqd/210:40:232
2722499551,8cyclictest14065-21/usr/sbin/munin09:00:212
2722499551,7cyclictest29801-21acpi07:15:142
27222995549,4cyclictest9-21ksoftirqd/008:45:200
27222995549,3cyclictest9-21ksoftirqd/008:25:000
2722299551,8cyclictest9-21ksoftirqd/012:30:200
2722299551,8cyclictest9-21ksoftirqd/012:30:190
27225995447,4cyclictest41-21ksoftirqd/309:45:013
2722499543,7cyclictest321ktimersoftd/207:50:282
27225995347,3cyclictest41-21ksoftirqd/309:20:003
27225995347,3cyclictest41-21ksoftirqd/309:15:003
27225995346,4cyclictest41-21ksoftirqd/311:00:003
27225995315,4cyclictest41-21ksoftirqd/311:40:013
2722499531,9cyclictest3784-21irqrtprio09:45:212
27225995247,3cyclictest41-21ksoftirqd/308:20:003
27225995246,3cyclictest41-21ksoftirqd/310:15:013
27225995245,4cyclictest41-21ksoftirqd/311:50:003
27225995245,4cyclictest41-21ksoftirqd/310:40:003
27225995241,6cyclictest41-21ksoftirqd/309:45:123
27224995246,4cyclictest33-21ksoftirqd/209:15:342
27224995232,10cyclictest33-21ksoftirqd/212:00:302
27223995245,4cyclictest25-21ksoftirqd/111:45:001
27225995145,4cyclictest41-21ksoftirqd/307:50:003
27225995144,4cyclictest41-21ksoftirqd/307:15:013
27225995144,3cyclictest41-21ksoftirqd/311:00:203
27225995144,3cyclictest41-21ksoftirqd/311:00:203
27225995043,4cyclictest41-21ksoftirqd/309:55:013
27225995043,4cyclictest41-21ksoftirqd/309:00:233
27225995043,4cyclictest41-21ksoftirqd/307:40:003
27225995037,8cyclictest41-21ksoftirqd/310:20:153
27223995043,4cyclictest25-21ksoftirqd/111:40:011
27225994944,3cyclictest41-21ksoftirqd/312:05:003
27225994943,4cyclictest41-21ksoftirqd/308:25:013
27225994943,3cyclictest41-21ksoftirqd/312:35:013
27225994943,3cyclictest41-21ksoftirqd/312:35:003
27225994943,3cyclictest41-21ksoftirqd/309:29:593
27225994943,3cyclictest41-21ksoftirqd/307:20:013
27225994942,4cyclictest41-21ksoftirqd/310:45:373
27225994912,5cyclictest41-21ksoftirqd/309:55:163
27225994843,3cyclictest41-21ksoftirqd/312:25:003
27225994843,3cyclictest41-21ksoftirqd/308:30:003
27225994842,4cyclictest41-21ksoftirqd/309:20:263
27225994842,3cyclictest41-21ksoftirqd/310:45:003
27225994842,3cyclictest41-21ksoftirqd/308:30:293
27225994842,3cyclictest41-21ksoftirqd/307:55:003
27225994841,4cyclictest41-21ksoftirqd/311:55:153
27225994841,4cyclictest41-21ksoftirqd/311:20:003
27225994841,4cyclictest41-21ksoftirqd/309:35:283
2722499483,6cyclictest33-21ksoftirqd/210:20:252
27223994843,3cyclictest25-21ksoftirqd/110:40:001
27225994742,3cyclictest41-21ksoftirqd/309:10:003
27225994742,3cyclictest41-21ksoftirqd/307:55:253
27225994741,4cyclictest41-21ksoftirqd/311:30:003
27225994741,4cyclictest41-21ksoftirqd/310:30:243
27225994741,3cyclictest41-21ksoftirqd/312:25:283
27225994741,3cyclictest41-21ksoftirqd/312:25:273
27225994740,4cyclictest41-21ksoftirqd/308:10:013
27225994740,4cyclictest41-21ksoftirqd/308:10:003
27225994711,8cyclictest41-21ksoftirqd/308:05:013
27225994710,5cyclictest41-21ksoftirqd/308:50:283
27224994742,3cyclictest311rcuc/207:26:522
2722499471,6cyclictest31066-21cat08:25:222
2722599468,4cyclictest41-21ksoftirqd/308:40:243
2722599468,4cyclictest41-21ksoftirqd/307:40:133
2722599467,6cyclictest41-21ksoftirqd/311:15:003
27225994641,3cyclictest41-21ksoftirqd/311:54:593
27225994640,4cyclictest41-21ksoftirqd/309:30:223
27225994640,4cyclictest41-21ksoftirqd/309:30:213
27225994640,3cyclictest41-21ksoftirqd/311:45:013
27225994640,3cyclictest41-21ksoftirqd/310:20:003
2722499464,5cyclictest33-21ksoftirqd/210:00:162
2722599456,3cyclictest41-21ksoftirqd/310:05:013
27225994540,3cyclictest41-21ksoftirqd/308:45:153
27225994539,4cyclictest41-21ksoftirqd/308:10:193
27225994538,4cyclictest41-21ksoftirqd/310:05:293
27224994541,2cyclictest311rcuc/211:16:542
27224994541,2cyclictest311rcuc/208:55:222
27223994540,3cyclictest25-21ksoftirqd/108:00:001
27223994539,4cyclictest25-21ksoftirqd/110:45:001
27223994539,3cyclictest25-21ksoftirqd/111:20:001
27225994438,4cyclictest41-21ksoftirqd/308:40:013
27225994438,3cyclictest41-21ksoftirqd/311:20:243
27225994436,4cyclictest41-21ksoftirqd/307:20:153
2722499445,7cyclictest1066-21cut08:30:232
27224994440,2cyclictest311rcuc/210:39:082
27224994438,4cyclictest33-21ksoftirqd/211:45:012
27224994437,5cyclictest33-21ksoftirqd/212:25:332
27224994437,5cyclictest33-21ksoftirqd/212:25:322
27224994424,10cyclictest33-21ksoftirqd/212:30:352
27224994424,10cyclictest33-21ksoftirqd/212:30:342
27223994439,3cyclictest25-21ksoftirqd/111:00:001
27223994438,4cyclictest25-21ksoftirqd/107:15:011
27223994438,3cyclictest25-21ksoftirqd/111:05:001
27223994438,3cyclictest25-21ksoftirqd/111:05:001
2665924415,18sleep10-21swapper/107:06:321
27225994337,3cyclictest41-21ksoftirqd/311:05:243
27224994339,2cyclictest311rcuc/212:22:282
27224994338,3cyclictest33-21ksoftirqd/208:50:182
27223994338,3cyclictest25-21ksoftirqd/108:45:011
27223994338,3cyclictest25-21ksoftirqd/107:45:001
27223994338,3cyclictest25-21ksoftirqd/107:40:011
27223994337,3cyclictest25-21ksoftirqd/112:35:201
27223994337,3cyclictest25-21ksoftirqd/109:20:001
2665324314,18sleep00-21swapper/007:06:270
27223994237,3cyclictest25-21ksoftirqd/112:20:001
27223994236,4cyclictest25-21ksoftirqd/109:34:461
27223994236,4cyclictest25-21ksoftirqd/109:34:451
27223994236,4cyclictest25-21ksoftirqd/107:25:201
27223994235,4cyclictest25-21ksoftirqd/110:05:011
27223994235,4cyclictest20553-21cron08:04:591
27223994136,3cyclictest25-21ksoftirqd/107:20:001
27223994135,4cyclictest25-21ksoftirqd/112:35:011
27223994135,4cyclictest25-21ksoftirqd/112:35:001
27223994035,3cyclictest25-21ksoftirqd/109:00:181
27223994033,4cyclictest25-21ksoftirqd/111:29:541
27223994033,4cyclictest25-21ksoftirqd/110:25:051
27223994033,4cyclictest25-21ksoftirqd/109:10:001
27223993934,3cyclictest25-21ksoftirqd/110:10:241
27223993934,3cyclictest25-21ksoftirqd/109:50:401
27223993933,4cyclictest25-21ksoftirqd/110:15:221
27223993933,3cyclictest25-21ksoftirqd/110:34:521
27223993933,3cyclictest25-21ksoftirqd/109:30:001
27223993933,3cyclictest25-21ksoftirqd/107:34:171
27223993932,4cyclictest25-21ksoftirqd/111:09:401
27224993832,4cyclictest33-21ksoftirqd/207:40:142
2722399385,4cyclictest25-21ksoftirqd/107:25:001
27223993833,3cyclictest25-21ksoftirqd/108:50:001
27223993832,4cyclictest25-21ksoftirqd/109:15:001
27223993832,4cyclictest25-21ksoftirqd/108:38:181
27223993832,3cyclictest25-21ksoftirqd/111:46:441
27223993831,5cyclictest25-21ksoftirqd/109:50:001
27223993831,4cyclictest25-21ksoftirqd/109:59:551
27223993831,4cyclictest25-21ksoftirqd/108:21:311
27223993831,4cyclictest25-21ksoftirqd/108:11:161
27224993732,3cyclictest33-21ksoftirqd/211:10:002
27224993731,3cyclictest33-21ksoftirqd/207:55:182
27223993732,3cyclictest25-21ksoftirqd/111:30:121
27223993731,4cyclictest25-21ksoftirqd/110:08:181
27223993731,4cyclictest25-21ksoftirqd/108:15:171
27223993731,4cyclictest25-21ksoftirqd/107:50:291
27223993731,3cyclictest25-21ksoftirqd/112:20:571
27223993731,3cyclictest25-21ksoftirqd/110:23:381
27223993730,4cyclictest25-21ksoftirqd/111:14:421
27223993730,4cyclictest25-21ksoftirqd/109:23:011
2722399371,5cyclictest121rcu_preempt08:10:011
2722399371,5cyclictest121rcu_preempt08:10:001
2722499363,5cyclictest33-21ksoftirqd/211:24:262
27223993631,3cyclictest25-21ksoftirqd/110:50:271
27223993630,4cyclictest25-21ksoftirqd/110:45:271
27223993630,4cyclictest25-21ksoftirqd/108:50:281
27223993630,3cyclictest25-21ksoftirqd/111:55:121
27223993629,4cyclictest25-21ksoftirqd/111:53:591
27223993529,4cyclictest25-21ksoftirqd/109:37:071
27223993529,4cyclictest25-21ksoftirqd/107:46:471
2722399350,3cyclictest0-21swapper/112:00:181
27223993428,4cyclictest25-21ksoftirqd/111:25:001
2722399341,3cyclictest121rcu_preempt12:05:231
27223993327,3cyclictest25-21ksoftirqd/112:14:251
2722399332,3cyclictest121rcu_preempt12:25:391
2722399332,3cyclictest121rcu_preempt12:25:381
27223993226,4cyclictest25-21ksoftirqd/108:30:551
27223993124,4cyclictest25-21ksoftirqd/109:40:181
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional