You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2021-07-29 - 18:39

Intel(R) Atom(TM) CPU E3845 @ 1.91GHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot2.osadl.org (updated Thu Jul 29, 2021 12:46:16)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2856022800,34sleep341-21ksoftirqd/307:05:073
2856022800,34sleep341-21ksoftirqd/307:05:063
555981840,10rtkit-daemon554-21rtkit-daemon07:07:032
555981840,10rtkit-daemon554-21rtkit-daemon07:07:022
3227821780,8sleep23198599cyclictest07:10:032
1487321740,8sleep03198399cyclictest07:25:300
293462940,3sleep10-21swapper/107:05:141
293462940,3sleep10-21swapper/107:05:131
126891830,1ptp4l401ktimersoftd/310:15:213
76062790,6sleep03198399cyclictest07:20:000
316652767,17sleep00-21swapper/007:09:380
316652767,17sleep00-21swapper/007:09:370
126891760,1ptp4l401ktimersoftd/310:25:343
230572720,2sleep00-21swapper/008:55:520
126891660,1ptp4l391rcuc/307:30:033
99472650,6sleep23198599cyclictest07:20:182
31986996455,6cyclictest41-21ksoftirqd/307:10:133
126891610,1ptp4l401ktimersoftd/309:50:043
188132600,3sleep10-21swapper/107:30:331
126891600,1ptp4l401ktimersoftd/311:13:553
126891600,1ptp4l391rcuc/310:55:183
126891600,1ptp4l391rcuc/310:55:183
45092580,2sleep20-21swapper/212:35:122
137292550,2sleep30-21swapper/311:25:193
3198499540,3cyclictest121rcu_preempt07:35:151
86092520,1sleep00-21swapper/008:40:100
3198399520,3cyclictest121rcu_preempt11:40:130
107222510,1sleep20-21swapper/210:40:422
123191500,2getstats0-21swapper/312:30:413
126891490,1ptp4l401ktimersoftd/307:41:023
1269914731,5phc2sys41-21ksoftirqd/310:40:133
126891470,1ptp4l401ktimersoftd/308:12:053
55598450,3rtkit-daemon554-21rtkit-daemon10:08:223
31986994531,8cyclictest41-21ksoftirqd/311:20:143
3198599451,19cyclictest0-21swapper/207:45:132
31984994537,5cyclictest25-21ksoftirqd/109:40:141
31984994537,5cyclictest25-21ksoftirqd/109:40:141
126891450,1ptp4l401ktimersoftd/307:36:373
31986994430,7cyclictest41-21ksoftirqd/311:05:143
126891440,1ptp4l401ktimersoftd/312:10:333
126891440,1ptp4l401ktimersoftd/308:55:423
126891440,1ptp4l401ktimersoftd/307:26:563
126891430,1ptp4l401ktimersoftd/311:54:393
126891430,1ptp4l401ktimersoftd/310:30:363
3198599422,17cyclictest554-21rtkit-daemon09:13:182
31985994220,18cyclictest28614-21grep08:25:092
31983994229,5cyclictest9-21ksoftirqd/009:50:160
126891420,1ptp4l401ktimersoftd/312:35:343
31986994126,9cyclictest41-21ksoftirqd/309:15:123
3198599412,35cyclictest7835-21sort12:00:032
126891410,1ptp4l401ktimersoftd/311:30:163
126891410,1ptp4l401ktimersoftd/310:50:223
126891410,1ptp4l401ktimersoftd/310:10:173
126891410,1ptp4l401ktimersoftd/309:35:013
126891410,1ptp4l401ktimersoftd/308:30:043
126891410,1ptp4l401ktimersoftd/308:30:033
126891400,1ptp4l401ktimersoftd/309:05:383
126891400,1ptp4l401ktimersoftd/309:00:113
126891400,1ptp4l401ktimersoftd/308:26:593
126891400,15ptp4l401ktimersoftd/308:35:163
31986993928,6cyclictest41-21ksoftirqd/309:45:133
3198599392,33cyclictest1303-21tr11:50:192
3198599392,29cyclictest4847-21apt-get09:15:152
3198599392,29cyclictest20949-21apt-get10:55:142
3198599392,29cyclictest20949-21apt-get10:55:132
31985993916,19cyclictest32394-21cat10:30:072
31984993932,4cyclictest9116-21kworker/1:009:45:131
31984993919,7cyclictest25-21ksoftirqd/108:15:211
31983993933,3cyclictest9-21ksoftirqd/008:15:130
126891390,1ptp4l401ktimersoftd/312:21:293
31986993828,7cyclictest41-21ksoftirqd/310:45:143
31985993816,19cyclictest25026-21cat11:00:142
31985993816,19cyclictest25026-21cat11:00:142
31985993816,18cyclictest21922-21if_enp4s012:15:192
31985993816,18cyclictest21922-21if_enp4s012:15:192
31983993832,4cyclictest9-21ksoftirqd/012:25:150
31983993822,5cyclictest9-21ksoftirqd/012:06:390
31986993730,4cyclictest41-21ksoftirqd/312:00:013
31986993730,4cyclictest41-21ksoftirqd/310:25:003
31985993731,4cyclictest33-21ksoftirqd/212:22:392
31985993730,4cyclictest33-21ksoftirqd/210:10:002
31984993731,3cyclictest25-21ksoftirqd/110:50:151
31984993728,6cyclictest25-21ksoftirqd/112:10:311
3198499370,4cyclictest121rcu_preempt09:55:371
31983993730,4cyclictest9-21ksoftirqd/009:20:210
31983993720,4cyclictest9-21ksoftirqd/007:46:460
126891370,1ptp4l401ktimersoftd/311:45:023
31986993630,4cyclictest41-21ksoftirqd/310:00:003
31985993617,12cyclictest5423-21df_abs07:15:182
31985993616,17cyclictest5051-21cstates11:55:142
31985993615,18cyclictest10079-21sed09:20:232
31985993614,19cyclictest6013-21sort10:35:232
31985993614,18cyclictest23775-21/usr/sbin/munin07:40:132
31985993613,20cyclictest32686-21cut09:50:092
31985993612,20cyclictest26205-21sed09:00:192
31984993629,4cyclictest25-21ksoftirqd/111:40:141
31984993629,4cyclictest25-21ksoftirqd/111:30:011
31984993628,5cyclictest25-21ksoftirqd/108:20:151
31984993628,5cyclictest25-21ksoftirqd/107:16:131
31983993630,4cyclictest9-21ksoftirqd/012:20:010
31983993630,4cyclictest9-21ksoftirqd/012:20:000
31983993630,4cyclictest9-21ksoftirqd/009:45:120
31983993629,4cyclictest9-21ksoftirqd/011:05:140
126891360,1ptp4l401ktimersoftd/309:20:083
31986993529,4cyclictest41-21ksoftirqd/311:35:113
31986993529,3cyclictest41-21ksoftirqd/311:40:153
31986993527,5cyclictest41-21ksoftirqd/307:25:003
31985993514,19cyclictest0-21swapper/211:30:172
31985993514,18cyclictest11071-21latency_hist11:25:002
3198599351,29cyclictest0-21swapper/208:00:142
3198599351,26cyclictest25083-21apt-get08:20:132
3198599351,25cyclictest29017-21apt-get11:45:142
31985993512,20cyclictest16220-21ls10:10:042
31984993530,3cyclictest25-21ksoftirqd/107:15:001
31984993529,4cyclictest25-21ksoftirqd/111:35:091
31984993529,4cyclictest25-21ksoftirqd/109:25:131
31984993529,4cyclictest25-21ksoftirqd/108:10:041
31984993528,4cyclictest25-21ksoftirqd/109:20:211
31984993527,5cyclictest25-21ksoftirqd/108:38:431
31983993529,4cyclictest9-21ksoftirqd/009:25:090
31983993529,4cyclictest9-21ksoftirqd/007:35:150
31983993529,3cyclictest9-21ksoftirqd/009:58:580
31983993529,3cyclictest9-21ksoftirqd/008:26:360
31983993528,4cyclictest9-21ksoftirqd/008:53:190
31983993527,5cyclictest9-21ksoftirqd/012:35:140
126891350,1ptp4l401ktimersoftd/308:52:313
126891350,1ptp4l401ktimersoftd/308:47:163
126891350,1ptp4l401ktimersoftd/307:51:283
31986993428,4cyclictest41-21ksoftirqd/308:40:163
3198599347,23cyclictest565-21in:imuxsock09:38:182
31985993427,4cyclictest33-21ksoftirqd/211:19:562
31985993427,4cyclictest33-21ksoftirqd/208:38:232
3198599342,29cyclictest14785-21wc08:45:282
3198599342,25cyclictest25000-21apt-get11:40:142
31985993415,16cyclictest1188-21runrttasks07:38:532
31985993414,17cyclictest18060-21hddtemp_smartct07:30:232
31985993413,18cyclictest23589-21cat10:20:012
3198599341,27cyclictest0-21swapper/210:20:112
3198499343,4cyclictest121rcu_preempt11:05:461
31984993429,3cyclictest25-21ksoftirqd/108:40:011
31984993428,4cyclictest25-21ksoftirqd/111:00:161
31984993428,4cyclictest25-21ksoftirqd/111:00:151
31984993428,4cyclictest25-21ksoftirqd/109:15:071
31984993428,4cyclictest25-21ksoftirqd/108:30:101
31984993428,4cyclictest25-21ksoftirqd/108:30:091
31984993427,4cyclictest25-21ksoftirqd/111:48:011
31984993427,4cyclictest25-21ksoftirqd/111:32:161
31984993427,4cyclictest25-21ksoftirqd/110:21:451
31984993427,4cyclictest25-21ksoftirqd/109:52:591
31984993427,4cyclictest25-21ksoftirqd/108:52:561
31984993427,3cyclictest25-21ksoftirqd/112:20:141
31984993426,4cyclictest25-21ksoftirqd/107:25:011
31984993419,4cyclictest25-21ksoftirqd/111:20:371
31983993429,3cyclictest9-21ksoftirqd/010:45:030
31983993428,4cyclictest9-21ksoftirqd/010:55:150
31983993428,4cyclictest9-21ksoftirqd/010:55:150
31983993428,3cyclictest9-21ksoftirqd/010:29:010
31983993428,3cyclictest9-21ksoftirqd/008:45:080
31983993427,4cyclictest9-21ksoftirqd/012:04:590
31983993427,4cyclictest9-21ksoftirqd/010:08:590
31983993427,4cyclictest9-21ksoftirqd/009:05:010
31983993418,4cyclictest9-21ksoftirqd/008:34:570
31983993418,4cyclictest9-21ksoftirqd/008:34:560
126891340,1ptp4l401ktimersoftd/312:08:233
126891340,1ptp4l401ktimersoftd/311:17:543
126891340,1ptp4l401ktimersoftd/309:14:263
126891340,1ptp4l401ktimersoftd/308:22:383
126891340,1ptp4l401ktimersoftd/308:04:523
31986993326,4cyclictest41-21ksoftirqd/312:26:503
3198599332,24cyclictest600-21apt-get08:30:132
3198599332,24cyclictest600-21apt-get08:30:122
31985993313,17cyclictest25172-21cpuspeed_turbos09:40:142
31985993313,17cyclictest25172-21cpuspeed_turbos09:40:142
3198599331,28cyclictest28629-21fschecks_time09:05:092
3198599331,28cyclictest13802-21grep12:05:262
3198599331,26cyclictest29263-21cat11:05:152
31985993312,18cyclictest19546-21irqrtprio10:55:002
31985993312,18cyclictest11936-21df_abs11:25:062
31985993310,19cyclictest31438-21wc12:30:002
31984993328,3cyclictest25-21ksoftirqd/110:20:011
31984993328,3cyclictest25-21ksoftirqd/108:00:281
31984993327,4cyclictest25-21ksoftirqd/110:10:281
31984993327,3cyclictest25-21ksoftirqd/107:44:361
31984993326,4cyclictest25-21ksoftirqd/110:49:281
31984993326,4cyclictest25-21ksoftirqd/109:39:571
31984993325,5cyclictest25-21ksoftirqd/108:59:591
31984993325,5cyclictest25-21ksoftirqd/107:58:321
31983993328,3cyclictest9-21ksoftirqd/011:30:150
31983993328,3cyclictest9-21ksoftirqd/007:40:050
31983993327,4cyclictest9-21ksoftirqd/011:50:000
31983993327,3cyclictest9-21ksoftirqd/012:31:100
31983993327,3cyclictest9-21ksoftirqd/011:11:380
31983993327,3cyclictest9-21ksoftirqd/010:31:060
31983993327,3cyclictest9-21ksoftirqd/010:20:160
31983993326,4cyclictest9-21ksoftirqd/012:11:290
31983993326,4cyclictest9-21ksoftirqd/010:39:150
31983993326,4cyclictest9-21ksoftirqd/009:43:060
31983993326,4cyclictest9-21ksoftirqd/009:43:060
31983993326,4cyclictest9-21ksoftirqd/009:14:270
31983993324,6cyclictest9-21ksoftirqd/007:58:100
31983993316,5cyclictest9-21ksoftirqd/009:17:410
126891330,1ptp4l401ktimersoftd/311:03:193
126891330,1ptp4l401ktimersoftd/311:03:193
126891330,1ptp4l401ktimersoftd/310:35:313
31986993226,4cyclictest41-21ksoftirqd/311:55:073
31986993225,4cyclictest15213-21cron09:30:003
3198599329,20cyclictest21865-21irqrtprio11:35:292
3198599323,12cyclictest55598rtkit-daemon09:57:462
31985993225,4cyclictest33-21ksoftirqd/209:34:322
31985993224,5cyclictest33-21ksoftirqd/208:16:522
3198599322,25cyclictest395-21apt-get11:10:122
3198599322,23cyclictest841-21apt-get07:50:132
31985993211,18cyclictest14749-21date09:25:402
31984993227,3cyclictest25-21ksoftirqd/112:35:311
31984993227,3cyclictest25-21ksoftirqd/111:10:271
31984993227,3cyclictest25-21ksoftirqd/110:00:081
31984993226,4cyclictest25-21ksoftirqd/111:50:121
31984993226,4cyclictest25-21ksoftirqd/109:30:301
31984993226,4cyclictest25-21ksoftirqd/109:00:171
31984993226,4cyclictest25-21ksoftirqd/107:25:141
31984993226,3cyclictest21201-21kworker/1:207:50:021
31984993225,4cyclictest25-21ksoftirqd/112:15:151
31984993225,4cyclictest25-21ksoftirqd/112:15:141
31984993225,4cyclictest25-21ksoftirqd/109:14:001
31983993226,4cyclictest9-21ksoftirqd/012:25:000
31983993226,4cyclictest9-21ksoftirqd/011:55:130
31983993226,4cyclictest9-21ksoftirqd/010:55:000
31983993226,4cyclictest9-21ksoftirqd/008:00:280
31983993226,3cyclictest9-21ksoftirqd/011:37:300
31983993226,3cyclictest9-21ksoftirqd/010:19:350
126891320,1ptp4l401ktimersoftd/308:17:193
126891320,1ptp4l401ktimersoftd/307:58:263
31986993125,4cyclictest41-21ksoftirqd/309:43:393
31986993125,4cyclictest41-21ksoftirqd/309:43:383
31986993124,4cyclictest41-21ksoftirqd/307:45:033
3198699312,11cyclictest13872-21perl08:05:193
3198599319,19cyclictest14473-21ptp4l-jitter10:45:342
3198599314,21cyclictest8993-21apt-get08:40:152
31985993124,5cyclictest33-21ksoftirqd/209:49:502
31985993124,4cyclictest33-21ksoftirqd/212:31:552
31985993124,4cyclictest33-21ksoftirqd/208:59:402
31985993124,4cyclictest33-21ksoftirqd/208:13:262
31985993112,16cyclictest15937-21unixbench_singl08:50:032
31985993110,18cyclictest14254-21irqrtprio07:25:232
31984993125,4cyclictest25-21ksoftirqd/112:00:301
31984993125,4cyclictest25-21ksoftirqd/110:35:141
31984993125,4cyclictest25-21ksoftirqd/110:05:181
31984993124,4cyclictest25-21ksoftirqd/111:55:011
31984993124,4cyclictest25-21ksoftirqd/110:57:581
31984993124,4cyclictest25-21ksoftirqd/110:57:581
31984993124,4cyclictest25-21ksoftirqd/110:43:211
31983993125,4cyclictest9-21ksoftirqd/011:29:130
31983993125,4cyclictest9-21ksoftirqd/008:05:150
31983993125,3cyclictest9-21ksoftirqd/011:47:300
31983993125,3cyclictest9-21ksoftirqd/011:18:090
31983993125,3cyclictest9-21ksoftirqd/010:13:140
31983993125,3cyclictest9-21ksoftirqd/008:20:140
31983993125,3cyclictest9-21ksoftirqd/008:10:040
31983993125,3cyclictest9-21ksoftirqd/007:54:160
31983993125,3cyclictest9-21ksoftirqd/007:12:480
31983993124,4cyclictest9-21ksoftirqd/007:21:490
31986993024,4cyclictest41-21ksoftirqd/309:34:013
31986993023,4cyclictest41-21ksoftirqd/312:17:433
31986993023,4cyclictest41-21ksoftirqd/312:17:423
3198599302,22cyclictest12902-21apt-get08:05:132
3198599301,25cyclictest7257-21/usr/sbin/munin10:00:032
3198599301,25cyclictest19322-21latency_hist12:15:002
31985993011,15cyclictest28979-21acpi10:25:122
31984993025,3cyclictest25-21ksoftirqd/108:25:081
31984993024,4cyclictest25-21ksoftirqd/112:05:271
31984993024,3cyclictest25-21ksoftirqd/110:28:051
31984993024,3cyclictest25-21ksoftirqd/107:48:011
31984993023,4cyclictest25-21ksoftirqd/109:05:051
31983993023,4cyclictest9-21ksoftirqd/011:20:190
31983993023,4cyclictest9-21ksoftirqd/009:35:430
126891300,1ptp4l401ktimersoftd/310:00:493
31986992922,4cyclictest41-21ksoftirqd/307:16:073
31984992924,3cyclictest25-21ksoftirqd/108:46:291
31983992923,4cyclictest9-21ksoftirqd/010:40:030
31983992923,3cyclictest9-21ksoftirqd/009:34:240
31983992922,4cyclictest9-21ksoftirqd/009:07:000
31983992922,4cyclictest9-21ksoftirqd/008:35:040
3198599281,24cyclictest3814-21grep07:55:022
31984992822,4cyclictest25-21ksoftirqd/112:25:001
31984992822,4cyclictest25-21ksoftirqd/110:30:331
31984992822,4cyclictest25-21ksoftirqd/108:05:031
31983992822,4cyclictest9-21ksoftirqd/011:00:240
31983992822,4cyclictest9-21ksoftirqd/011:00:240
31983992820,5cyclictest9-21ksoftirqd/010:00:490
31984992721,4cyclictest25-21ksoftirqd/112:35:011
31984992720,4cyclictest7032-21sendmail11:20:001
31983992722,3cyclictest9-21ksoftirqd/007:34:220
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional