You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2021-05-12 - 12:10

Intel(R) Atom(TM) CPU E3845 @ 1.91GHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #3
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot3.osadl.org (updated Wed May 12, 2021 00:46:04)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
743121630,2sleep20-21swapper/200:15:142
128291160138,9phc2sys0-21swapper/319:09:433
170432129107,9sleep10-21swapper/119:08:151
17560998978,6cyclictest25-21ksoftirqd/119:30:141
17562998874,10cyclictest41-21ksoftirqd/321:50:143
17560998874,8cyclictest25-21ksoftirqd/100:15:131
17560998776,6cyclictest25-21ksoftirqd/119:20:131
17562998472,7cyclictest41-21ksoftirqd/319:25:123
17562998470,8cyclictest41-21ksoftirqd/320:05:143
1756199834,30cyclictest13752-21/usr/sbin/munin21:45:032
217272780,3sleep10-21swapper/100:35:011
171122774,19sleep20-21swapper/219:09:092
18412740,1sleep10-21swapper/123:30:041
32612730,2sleep30-21swapper/323:30:143
128391730,2ptp4l401ktimersoftd/322:40:113
220622720,2sleep20-21swapper/223:55:032
17560997161,5cyclictest25-21ksoftirqd/123:35:131
17560997037,4cyclictest25-21ksoftirqd/122:25:221
17562996958,5cyclictest41-21ksoftirqd/321:00:123
17560996931,8cyclictest25-21ksoftirqd/119:15:361
17560996831,8cyclictest25-21ksoftirqd/121:20:061
1756099673,8cyclictest25-21ksoftirqd/119:25:131
17560996730,7cyclictest25-21ksoftirqd/120:15:031
17560996729,8cyclictest25-21ksoftirqd/120:55:001
17560996728,8cyclictest25-21ksoftirqd/121:45:001
17560996653,4cyclictest25-21ksoftirqd/119:45:131
17560996633,4cyclictest25-21ksoftirqd/122:45:211
17560996628,8cyclictest25-21ksoftirqd/121:35:071
17560996628,8cyclictest25-21ksoftirqd/121:35:071
17560996627,9cyclictest25-21ksoftirqd/123:45:281
17562996553,7cyclictest41-21ksoftirqd/321:05:133
17560996528,8cyclictest25-21ksoftirqd/123:00:151
17560996527,9cyclictest25-21ksoftirqd/119:55:281
17560996432,5cyclictest25-21ksoftirqd/123:10:031
17560996428,8cyclictest25-21ksoftirqd/122:10:131
17560996427,8cyclictest25-21ksoftirqd/122:30:061
17560996427,8cyclictest25-21ksoftirqd/122:20:061
17560996426,8cyclictest25-21ksoftirqd/100:25:331
17562996350,8cyclictest41-21ksoftirqd/321:35:123
17562996350,8cyclictest41-21ksoftirqd/321:35:113
17560996327,8cyclictest25-21ksoftirqd/123:50:201
17560996327,7cyclictest25-21ksoftirqd/100:05:101
17560996326,8cyclictest25-21ksoftirqd/120:00:101
17560996326,7cyclictest25-21ksoftirqd/121:00:171
17560996236,4cyclictest25-21ksoftirqd/120:45:591
17560996226,8cyclictest25-21ksoftirqd/122:50:051
17560996226,11cyclictest25-21ksoftirqd/123:25:091
17562996153,4cyclictest41-21ksoftirqd/321:20:123
1756099615,5cyclictest2039-21python00:10:051
1756099615,5cyclictest2039-21python00:10:041
17560996133,7cyclictest25-21ksoftirqd/121:15:011
17560996127,9cyclictest25-21ksoftirqd/119:40:111
17560996126,7cyclictest25-21ksoftirqd/121:55:321
17560996124,12cyclictest25-21ksoftirqd/119:50:271
17560996123,8cyclictest25-21ksoftirqd/123:05:151
17560996046,3cyclictest25-21ksoftirqd/123:15:101
17560996029,4cyclictest25-21ksoftirqd/119:35:051
17560996028,8cyclictest25-21ksoftirqd/100:20:301
17560996027,8cyclictest25-21ksoftirqd/120:20:101
17560996026,9cyclictest25-21ksoftirqd/120:05:151
17560996025,9cyclictest25-21ksoftirqd/122:15:281
17560996025,8cyclictest25-21ksoftirqd/122:00:081
17560996025,7cyclictest25-21ksoftirqd/121:05:111
17562995947,8cyclictest41-21ksoftirqd/323:45:153
17562995944,9cyclictest41-21ksoftirqd/319:35:123
17560995947,4cyclictest25-21ksoftirqd/120:30:141
1756099594,3cyclictest25-21ksoftirqd/123:55:091
17560995926,5cyclictest25-21ksoftirqd/121:15:181
17560995925,9cyclictest25-21ksoftirqd/120:55:071
1756099585,10cyclictest25-21ksoftirqd/121:55:011
17560995822,8cyclictest25-21ksoftirqd/122:05:111
1756099581,9cyclictest25-21ksoftirqd/121:30:141
17560995724,8cyclictest25-21ksoftirqd/120:40:241
17560995722,7cyclictest25-21ksoftirqd/120:10:241
1756099570,11cyclictest27816-21cstates22:40:141
17562995648,5cyclictest41-21ksoftirqd/320:10:113
1756099567,4cyclictest25-21ksoftirqd/122:35:051
17560995622,8cyclictest25-21ksoftirqd/119:15:001
17562995540,10cyclictest41-21ksoftirqd/300:15:133
1756099555,3cyclictest25-21ksoftirqd/120:35:211
17560995547,4cyclictest25-21ksoftirqd/121:25:141
17560995543,4cyclictest25-21ksoftirqd/122:55:051
17560995543,4cyclictest25-21ksoftirqd/122:55:051
17560995521,11cyclictest25-21ksoftirqd/100:35:171
1756099550,9cyclictest25-21ksoftirqd/121:50:001
1756099547,4cyclictest25-21ksoftirqd/123:20:091
1756099544,8cyclictest25-21ksoftirqd/120:25:011
1756099544,8cyclictest25-21ksoftirqd/120:25:001
1756099543,4cyclictest25-21ksoftirqd/123:40:241
17562995347,3cyclictest41-21ksoftirqd/300:20:133
17562995342,7cyclictest41-21ksoftirqd/320:40:143
151162530,1sleep30-21swapper/322:25:103
17562995239,8cyclictest41-21ksoftirqd/323:10:123
1756099523,9cyclictest25-21ksoftirqd/100:00:071
17562995041,5cyclictest41-21ksoftirqd/323:25:133
128391500,1ptp4l401ktimersoftd/300:34:443
17562994939,5cyclictest41-21ksoftirqd/323:00:133
17562994936,8cyclictest41-21ksoftirqd/300:00:143
17559994938,6cyclictest9-21ksoftirqd/021:50:120
17562994839,5cyclictest41-21ksoftirqd/319:30:133
1756199482,38cyclictest11486-21apt-get20:20:142
1756199472,38cyclictest31616-21apt-get20:05:132
1756199471,39cyclictest3140-21apt-get20:50:132
1696024716,19sleep00-21swapper/019:07:080
17562994638,4cyclictest41-21ksoftirqd/322:00:133
17562994637,5cyclictest41-21ksoftirqd/320:45:133
1756199462,35cyclictest15406-21apt-get23:45:152
1755999463,20cyclictest27648-21uname23:20:150
1756299454,7cyclictest121rcu_preempt21:30:013
17562994539,4cyclictest41-21ksoftirqd/320:30:143
17562994533,7cyclictest41-21ksoftirqd/319:55:153
17562994533,7cyclictest41-21ksoftirqd/319:50:113
1756199452,35cyclictest31457-21apt-get23:25:132
1756199452,35cyclictest27470-21apt-get00:00:132
1756199451,35cyclictest3313-21apt-get20:10:142
1756199450,5cyclictest27513-21cstates22:00:122
17561994429,9cyclictest33-21ksoftirqd/221:50:122
17561994416,24cyclictest5549-21/usr/sbin/munin19:35:012
17562994337,4cyclictest41-21ksoftirqd/323:00:003
17562994337,4cyclictest41-21ksoftirqd/323:00:003
17562994337,3cyclictest41-21ksoftirqd/322:20:073
17562994330,3cyclictest41-21ksoftirqd/319:15:013
1756199433,33cyclictest31400-21apt-get20:45:132
1756199432,34cyclictest27545-21apt-get22:40:132
1756199432,33cyclictest31343-21apt-get22:05:142
1756199430,4cyclictest1787-21dpkg19:30:052
128391430,1ptp4l401ktimersoftd/323:50:163
17562994236,3cyclictest41-21ksoftirqd/323:55:063
17562994228,11cyclictest41-21ksoftirqd/322:15:103
1756199422,35cyclictest15907-21fschecks_time20:25:182
1756199422,35cyclictest15907-21fschecks_time20:25:172
1756199422,33cyclictest18988-21apt-get19:50:122
1756199422,32cyclictest7224-21apt-get21:35:122
1756199422,32cyclictest7224-21apt-get21:35:122
1756199422,32cyclictest23333-21apt-get22:35:122
1756199422,32cyclictest11304-21apt-get23:00:122
17561994214,24cyclictest15793-21bc23:05:142
1756199421,34cyclictest23182-21apt-get19:55:142
1756199420,5cyclictest1147-21latency_hist19:30:012
1755999422,11cyclictest11564-21df22:20:140
17562994135,4cyclictest41-21ksoftirqd/319:10:143
17562994135,3cyclictest41-21ksoftirqd/323:35:073
17562994134,4cyclictest41-21ksoftirqd/322:10:053
17562994134,4cyclictest41-21ksoftirqd/320:55:003
17562994133,4cyclictest41-21ksoftirqd/321:30:003
1756199413,32cyclictest0-21swapper/221:05:132
1756199413,31cyclictest18898-21apt-get19:10:112
1756199412,34cyclictest27469-21apt-get20:40:142
1756199412,34cyclictest19557-21apt-get23:50:162
1756199412,33cyclictest0-21swapper/222:15:142
1756199412,32cyclictest31559-21apt-get22:45:132
1756199412,32cyclictest27298-21apt-get21:20:122
1756199412,32cyclictest23353-21apt-get00:35:132
1756199412,30cyclictest15233-21apt-get00:25:122
1756199411,36cyclictest30304-21sort21:25:052
1756199411,33cyclictest7296-21apt-get20:15:122
1756199410,3cyclictest0-21swapper/219:20:122
1755999418,4cyclictest16662dpkg19:30:040
1755999414,13cyclictest19416-21apt-get20:30:120
1755999412,9cyclictest7153-21cpu19:35:130
1755999412,8cyclictest31403-21cut22:45:130
17562994035,3cyclictest41-21ksoftirqd/323:05:073
17562994035,3cyclictest41-21ksoftirqd/319:25:003
17562994035,3cyclictest41-21ksoftirqd/300:35:143
17562994034,4cyclictest41-21ksoftirqd/321:45:013
17562994034,4cyclictest41-21ksoftirqd/300:10:223
17562994034,4cyclictest41-21ksoftirqd/300:10:213
17562994034,3cyclictest41-21ksoftirqd/321:45:073
17562994034,3cyclictest41-21ksoftirqd/320:00:123
17562994034,3cyclictest41-21ksoftirqd/300:05:243
17562994033,4cyclictest41-21ksoftirqd/320:35:073
17562994032,4cyclictest41-21ksoftirqd/323:44:593
1756199402,33cyclictest0-21swapper/221:30:132
1756199402,32cyclictest11067-21apt-get19:40:132
17561994013,23cyclictest31978-21sed00:05:192
1756199401,31cyclictest15075-21apt-get19:45:122
1756199400,4cyclictest4837-21cat22:10:282
1756199400,3cyclictest21741-21grep00:35:012
1755999403,10cyclictest27470-21dpkg20:40:130
17559994024,13cyclictest9-21ksoftirqd/023:40:550
17562993934,3cyclictest41-21ksoftirqd/321:55:373
17562993933,4cyclictest41-21ksoftirqd/323:15:113
17562993932,4cyclictest41-21ksoftirqd/322:05:143
17562993932,4cyclictest41-21ksoftirqd/319:50:003
1756199393,29cyclictest11221-21apt-get00:20:122
1756199392,33cyclictest19154-21apt-get23:10:112
1756199392,32cyclictest11039-21/usr/sbin/munin23:40:122
1756199392,31cyclictest3135-21apt-get22:50:122
1756199392,31cyclictest19180-21apt-get21:10:122
1756199392,30cyclictest11400-21apt-get22:20:122
1756199392,29cyclictest23214-21apt-get21:55:122
17561993914,22cyclictest9318-21sshd22:57:002
17561993914,22cyclictest9318-21sshd22:57:002
1756199391,33cyclictest0-21swapper/223:30:132
17561993913,23cyclictest21927-21/usr/sbin/munin20:35:142
17561993911,24cyclictest6802-21missed_timers20:55:102
1756199390,4cyclictest21248-21apt-get19:15:042
1756199390,4cyclictest13695-21latency_hist21:45:002
1756199390,3cyclictest12403-21ls21:00:212
1756199390,2cyclictest0-21swapper/220:00:042
1755999393,9cyclictest27688-21df_abs22:00:140
17559993913,5cyclictest1553-21latency_hist20:10:000
17562993833,3cyclictest41-21ksoftirqd/321:15:213
17562993833,3cyclictest41-21ksoftirqd/320:20:143
17562993832,4cyclictest41-21ksoftirqd/300:25:013
1756199382,29cyclictest3225-21apt-get00:10:132
1756199382,29cyclictest3225-21apt-get00:10:132
17561993813,21cyclictest16970-21ptp4l-jitter22:25:302
1756199381,30cyclictest19430-21apt-get22:30:122
1756199380,2cyclictest0-21swapper/223:20:012
1755999384,7cyclictest0-21swapper/000:35:120
17562993731,4cyclictest41-21ksoftirqd/322:50:073
17562993731,4cyclictest41-21ksoftirqd/319:40:063
17562993731,3cyclictest41-21ksoftirqd/323:25:003
17562993730,4cyclictest41-21ksoftirqd/322:35:133
17561993711,22cyclictest23460-21/usr/sbin/munin21:15:262
17559993730,4cyclictest9-21ksoftirqd/000:16:320
17562993631,3cyclictest41-21ksoftirqd/322:34:593
17562993631,3cyclictest41-21ksoftirqd/320:15:053
17562993630,4cyclictest41-21ksoftirqd/321:10:133
17562993630,4cyclictest41-21ksoftirqd/320:25:143
17562993630,4cyclictest41-21ksoftirqd/320:25:143
17562993629,4cyclictest41-21ksoftirqd/322:45:473
17562993629,4cyclictest41-21ksoftirqd/320:55:103
1756199360,4cyclictest7049-21apt-get23:35:122
1756199360,2cyclictest0-21swapper/223:25:012
17559993630,3cyclictest25638-21cron00:00:000
17559993629,5cyclictest9-21ksoftirqd/019:44:040
17559993629,4cyclictest9-21ksoftirqd/022:08:210
17559993628,5cyclictest9-21ksoftirqd/022:33:580
17559993628,5cyclictest9-21ksoftirqd/021:59:490
17559993628,5cyclictest9-21ksoftirqd/021:23:120
1756199358,24cyclictest19145-21fschecks_count20:30:112
1755999354,19cyclictest3024-21irqrtprio22:10:120
17559993528,5cyclictest9-21ksoftirqd/020:51:490
17559993528,4cyclictest9-21ksoftirqd/023:45:010
17559993528,4cyclictest9-21ksoftirqd/021:47:380
17559993528,4cyclictest9-21ksoftirqd/019:25:410
17559993527,5cyclictest9-21ksoftirqd/023:53:270
17559993527,5cyclictest9-21ksoftirqd/022:54:020
17559993428,4cyclictest9-21ksoftirqd/000:10:050
17559993428,4cyclictest9-21ksoftirqd/000:10:040
17559993428,3cyclictest9-21ksoftirqd/022:36:320
17559993428,3cyclictest9-21ksoftirqd/021:27:250
17559993428,3cyclictest9-21ksoftirqd/019:55:230
17559993428,3cyclictest9-21ksoftirqd/000:30:530
17559993427,4cyclictest9-21ksoftirqd/023:08:190
17559993427,4cyclictest9-21ksoftirqd/023:03:500
17559993427,4cyclictest9-21ksoftirqd/021:14:000
17559993427,4cyclictest9-21ksoftirqd/021:02:440
17559993427,4cyclictest9-21ksoftirqd/020:29:530
17559993427,4cyclictest9-21ksoftirqd/020:29:520
17559993327,3cyclictest9-21ksoftirqd/000:07:050
17559993326,4cyclictest9-21ksoftirqd/022:18:290
17559993326,4cyclictest9-21ksoftirqd/021:09:110
17559993326,4cyclictest9-21ksoftirqd/020:56:290
17559993325,5cyclictest9-21ksoftirqd/022:40:500
17559993325,5cyclictest9-21ksoftirqd/019:15:490
17559993325,5cyclictest9-21ksoftirqd/000:26:080
17559993226,4cyclictest9-21ksoftirqd/020:20:000
17559993226,3cyclictest9-21ksoftirqd/021:39:480
17559993226,3cyclictest9-21ksoftirqd/021:39:480
17559993226,3cyclictest9-21ksoftirqd/021:18:080
17559993226,3cyclictest9-21ksoftirqd/020:14:040
17559993225,4cyclictest9-21ksoftirqd/019:47:480
17559993225,4cyclictest9-21ksoftirqd/019:23:320
17559993224,5cyclictest9-21ksoftirqd/023:39:110
17559993224,5cyclictest9-21ksoftirqd/023:26:110
17559993125,3cyclictest9-21ksoftirqd/022:59:180
17559993125,3cyclictest9-21ksoftirqd/022:59:180
17559993124,4cyclictest9-21ksoftirqd/021:44:150
17559993124,4cyclictest9-21ksoftirqd/021:33:070
17559993124,4cyclictest9-21ksoftirqd/020:38:040
17559993124,4cyclictest9-21ksoftirqd/020:04:150
17559993023,4cyclictest9-21ksoftirqd/023:18:270
17559993023,4cyclictest9-21ksoftirqd/023:10:110
17559993023,4cyclictest9-21ksoftirqd/022:26:110
17559993023,4cyclictest9-21ksoftirqd/019:13:360
17559992922,4cyclictest9-21ksoftirqd/023:34:210
17559992822,3cyclictest9-21ksoftirqd/020:19:080
17559992620,3cyclictest9-21ksoftirqd/019:53:120
17559992519,3cyclictest9-21ksoftirqd/000:03:210
17559992518,4cyclictest9-21ksoftirqd/020:48:470
17559992518,4cyclictest9-21ksoftirqd/000:23:230
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional