You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2021-05-12 - 12:21

Intel(R) Atom(TM) CPU E3845 @ 1.91GHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #4
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot4.osadl.org (updated Wed May 12, 2021 00:46:04)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2716821750,7sleep2566099cyclictest00:10:272
1101721710,8sleep2566099cyclictest21:15:022
50612144123,9sleep30-21swapper/319:08:053
602121000,3sleep1241ktimersoftd/122:25:281
5661999077,7cyclictest41-21ksoftirqd/300:10:133
162622900,2sleep10-21swapper/123:20:081
5659998165,9cyclictest25-21ksoftirqd/123:50:141
5659998165,9cyclictest25-21ksoftirqd/123:50:131
51472814,12sleep20-21swapper/219:09:132
203452790,9sleep3566199cyclictest22:45:093
120891780,1ptp4l401ktimersoftd/300:08:273
5660997159,8cyclictest33-21ksoftirqd/219:10:122
70112690,2sleep10-21swapper/120:30:051
5659996958,6cyclictest25-21ksoftirqd/100:10:111
120891650,2ptp4l401ktimersoftd/319:15:133
566099643,13cyclictest24505-21fschecks_time23:30:102
566099642,13cyclictest15506-21sed21:20:052
5658996431,9cyclictest9-21ksoftirqd/022:15:260
120891640,2ptp4l401ktimersoftd/320:55:373
120891640,1ptp4l401ktimersoftd/323:45:233
5661996357,3cyclictest41-21ksoftirqd/320:50:113
566099638,8cyclictest20091-21fschecks_count20:05:172
566099626,7cyclictest15328-21irqrtprio00:00:012
566099622,12cyclictest31122-21df_abs20:20:052
566099621,12cyclictest7594-21cpu19:50:112
566099621,12cyclictest6479-21sed21:10:002
566099621,12cyclictest32535-21basename21:40:112
566099621,12cyclictest30135-21df_abs00:15:152
5659996250,7cyclictest25-21ksoftirqd/119:20:121
5658996232,8cyclictest9-21ksoftirqd/023:45:150
5661996152,5cyclictest41-21ksoftirqd/300:20:133
566099618,8cyclictest13687-21sed19:20:002
566099613,13cyclictest15357-21cpu19:20:142
566099611,12cyclictest16356-21cpuspeed_turbos20:40:152
252592610,4sleep125-21ksoftirqd/120:50:201
566099602,13cyclictest13488-21grep23:15:152
566099602,12cyclictest9415-21fschecks_count23:10:162
566099602,12cyclictest4059-21grep00:25:022
566099602,11cyclictest7955-21kernelversion23:50:052
566099602,11cyclictest7955-21kernelversion23:50:052
565899603,8cyclictest8459-21cat21:50:110
565899602,8cyclictest19132-21latency_hist22:45:000
120891600,1ptp4l401ktimersoftd/323:39:543
120891600,1ptp4l401ktimersoftd/322:53:533
120891600,1ptp4l401ktimersoftd/321:50:033
566099592,12cyclictest450-21diskstats21:00:142
566099592,12cyclictest27007-21/usr/sbin/munin21:35:042
566099592,12cyclictest16085-21cstates00:00:042
565899596,7cyclictest11310-21grep21:55:020
5658995928,11cyclictest9-21ksoftirqd/020:55:010
5658995926,6cyclictest9-21ksoftirqd/019:11:500
135042590,2sleep00-21swapper/023:55:200
566099583,17cyclictest29612-21sshd19:36:222
5658995827,10cyclictest9-21ksoftirqd/021:10:020
120891580,2ptp4l5215-21meminfo21:05:213
5661995749,4cyclictest41-21ksoftirqd/320:20:133
566099574,8cyclictest14196-21/usr/sbin/munin20:00:092
566099571,17cyclictest25707-21cat22:10:202
565899574,7cyclictest101ktimersoftd/023:10:140
565899573,8cyclictest12712-21irqrtprio19:55:210
566099568,7cyclictest13938-21df_abs00:35:152
566099566,6cyclictest6120-21latency_hist20:30:012
566099562,12cyclictest31872-21awk23:40:032
566099561,13cyclictest27541-21awk22:55:022
5659995645,6cyclictest25-21ksoftirqd/100:15:121
5659995642,8cyclictest25-21ksoftirqd/120:10:111
5659995642,8cyclictest25-21ksoftirqd/120:10:101
565899563,7cyclictest9-21ksoftirqd/022:35:150
565899563,7cyclictest9-21ksoftirqd/022:35:150
565899563,6cyclictest0-21swapper/021:25:210
565899563,6cyclictest0-21swapper/021:25:200
5658995636,7cyclictest9-21ksoftirqd/019:15:140
5658995627,8cyclictest9-21ksoftirqd/023:19:460
5658995626,9cyclictest9-21ksoftirqd/021:21:140
566099554,7cyclictest7145-21latency_hist23:10:022
565899554,6cyclictest101ktimersoftd/019:25:320
565899553,7cyclictest101ktimersoftd/022:10:030
5658995526,10cyclictest9-21ksoftirqd/023:09:590
282202550,2sleep30-21swapper/320:15:173
120891550,1ptp4l401ktimersoftd/322:25:353
566099545,7cyclictest27416-21cat22:55:002
566099541,17cyclictest1166-21sed22:20:152
565899545,5cyclictest9-21ksoftirqd/023:35:060
5658995425,8cyclictest9-21ksoftirqd/023:27:370
5658995425,8cyclictest9-21ksoftirqd/023:03:330
565899541,8cyclictest101ktimersoftd/020:45:160
566099534,6cyclictest33-21ksoftirqd/222:05:242
565899534,7cyclictest101ktimersoftd/021:40:140
5658995324,10cyclictest9-21ksoftirqd/019:33:220
566099526,8cyclictest23046-21cut21:30:012
565899523,5cyclictest0-21swapper/023:20:030
565899522,6cyclictest101ktimersoftd/022:45:020
565899521,6cyclictest7186-21/usr/sbin/munin22:30:130
565899520,5cyclictest101ktimersoftd/023:40:290
5661995141,5cyclictest41-21ksoftirqd/319:40:133
5659995136,8cyclictest25-21ksoftirqd/121:00:101
565899514,6cyclictest9-21ksoftirqd/020:00:010
565899510,6cyclictest101ktimersoftd/021:00:220
5661995043,4cyclictest41-21ksoftirqd/320:45:013
566099505,7cyclictest6525-21expr23:45:312
5659995036,8cyclictest25-21ksoftirqd/121:30:121
5659995036,8cyclictest25-21ksoftirqd/121:05:101
565899504,5cyclictest9-21ksoftirqd/023:30:170
565899501,9cyclictest26098-21latency_hist20:15:010
565899501,9cyclictest26098-21latency_hist20:15:000
565899501,8cyclictest101ktimersoftd/020:55:280
565899500,8cyclictest101ktimersoftd/022:20:140
27382505,24sleep10-21swapper/119:05:121
271572500,2sleep00-21swapper/020:15:060
566099493,6cyclictest321ktimersoftd/222:05:012
5659994938,6cyclictest25-21ksoftirqd/123:10:111
5658994929,8cyclictest9-21ksoftirqd/000:15:280
565899490,6cyclictest8907-21cut20:30:210
565899490,5cyclictest0-21swapper/000:10:050
566099481,6cyclictest9016-21ps21:10:212
566099481,14cyclictest14688-21chrt22:35:412
566099481,14cyclictest14688-21chrt22:35:412
5659994841,4cyclictest25-21ksoftirqd/121:40:011
565899485,8cyclictest0-21swapper/022:57:000
5658994843,3cyclictest9-21ksoftirqd/019:45:040
5658994843,3cyclictest111rcuc/020:36:310
5658994828,5cyclictest9-21ksoftirqd/022:26:270
120891480,1ptp4l401ktimersoftd/322:30:133
566099477,9cyclictest27368-21ptp4l-jitter22:15:022
566099476,7cyclictest412-21awk00:20:062
566099471,14cyclictest15919-21irqstats23:20:042
565899474,7cyclictest9-21ksoftirqd/021:10:000
5658994742,3cyclictest111rcuc/020:27:170
5658994741,3cyclictest9-21ksoftirqd/021:45:110
5658994740,4cyclictest9-21ksoftirqd/022:50:250
5658994727,7cyclictest9-21ksoftirqd/021:30:260
5659994639,5cyclictest25-21ksoftirqd/121:00:001
5658994641,3cyclictest111rcuc/023:51:170
5658994641,3cyclictest111rcuc/023:51:160
5658994639,4cyclictest9-21ksoftirqd/019:40:150
5658994639,4cyclictest9-21ksoftirqd/000:30:020
565899463,7cyclictest9-21ksoftirqd/019:21:190
5658994629,9cyclictest9-21ksoftirqd/021:35:130
5658994619,9cyclictest9-21ksoftirqd/000:28:540
565899460,8cyclictest101ktimersoftd/000:35:150
514024616,18sleep00-21swapper/019:09:070
5659994539,4cyclictest25-21ksoftirqd/121:50:011
5659994538,4cyclictest25-21ksoftirqd/122:40:001
5659994538,4cyclictest25-21ksoftirqd/122:39:591
5659994538,4cyclictest25-21ksoftirqd/100:00:001
5658994540,3cyclictest9-21ksoftirqd/000:20:240
5658994536,5cyclictest9-21ksoftirqd/022:00:120
5658994527,7cyclictest9-21ksoftirqd/000:04:310
5658994525,6cyclictest9-21ksoftirqd/020:44:220
5658994520,7cyclictest9-21ksoftirqd/020:05:110
5661994437,4cyclictest41-21ksoftirqd/322:00:113
566099444,6cyclictest33-21ksoftirqd/219:55:252
5659994438,4cyclictest25-21ksoftirqd/123:45:151
5659994437,4cyclictest25-21ksoftirqd/119:10:141
5659994433,7cyclictest25-21ksoftirqd/121:20:131
5659994433,6cyclictest25-21ksoftirqd/123:35:121
5658994439,3cyclictest111rcuc/000:05:060
5658994437,4cyclictest9-21ksoftirqd/019:35:140
5658994427,7cyclictest9-21ksoftirqd/019:50:080
120891440,1ptp4l401ktimersoftd/321:33:433
120891440,1ptp4l401ktimersoftd/320:13:193
120891440,1ptp4l401ktimersoftd/320:13:183
5661994336,4cyclictest41-21ksoftirqd/323:00:003
5659994337,4cyclictest25-21ksoftirqd/121:55:041
5659994336,4cyclictest25-21ksoftirqd/122:25:011
5659994336,4cyclictest25-21ksoftirqd/121:55:011
5659994336,4cyclictest25-21ksoftirqd/100:05:011
5658994339,2cyclictest111rcuc/020:20:280
120891430,1ptp4l401ktimersoftd/319:11:033
120891430,1ptp4l401ktimersoftd/300:15:283
5661994237,3cyclictest41-21ksoftirqd/323:10:103
5661994236,4cyclictest41-21ksoftirqd/322:15:143
5661994236,4cyclictest41-21ksoftirqd/300:30:013
5661994236,3cyclictest41-21ksoftirqd/321:50:013
5661994235,4cyclictest41-21ksoftirqd/323:40:033
5659994236,4cyclictest25-21ksoftirqd/122:55:011
5659994236,3cyclictest25-21ksoftirqd/123:30:151
5659994235,4cyclictest25-21ksoftirqd/123:25:001
120891420,2ptp4l0-21swapper/321:37:543
5661994135,4cyclictest41-21ksoftirqd/300:00:003
5661994135,3cyclictest41-21ksoftirqd/323:15:153
5661994134,4cyclictest41-21ksoftirqd/323:30:143
5661994134,4cyclictest41-21ksoftirqd/319:30:023
5661994133,4cyclictest41-21ksoftirqd/322:20:133
5659994135,4cyclictest25-21ksoftirqd/120:05:151
5659994135,3cyclictest25-21ksoftirqd/120:35:121
5659994134,4cyclictest25-21ksoftirqd/120:50:011
5659994134,4cyclictest25-21ksoftirqd/120:25:181
5658994137,2cyclictest111rcuc/022:05:120
5658994134,4cyclictest9-21ksoftirqd/021:15:150
5661994035,3cyclictest41-21ksoftirqd/321:15:093
5661994034,4cyclictest41-21ksoftirqd/320:45:043
5661994033,4cyclictest41-21ksoftirqd/320:35:133
5661994033,4cyclictest41-21ksoftirqd/300:00:143
565999404,10cyclictest121rcu_preempt00:30:111
5659994034,4cyclictest25-21ksoftirqd/123:05:121
5659994034,4cyclictest25-21ksoftirqd/122:30:121
5659994034,4cyclictest25-21ksoftirqd/122:05:151
5659994034,4cyclictest25-21ksoftirqd/120:20:081
5659994034,4cyclictest25-21ksoftirqd/119:25:121
5659994034,3cyclictest25-21ksoftirqd/100:25:241
5659994033,4cyclictest25-21ksoftirqd/119:30:051
5659994030,5cyclictest25-21ksoftirqd/121:40:111
5661993934,3cyclictest41-21ksoftirqd/322:40:133
5661993932,4cyclictest41-21ksoftirqd/323:05:283
5661993932,4cyclictest41-21ksoftirqd/319:20:133
5661993929,8cyclictest41-21ksoftirqd/320:25:153
566099395,8cyclictest33-21ksoftirqd/221:49:082
5659993932,4cyclictest25-21ksoftirqd/123:00:121
5659993932,4cyclictest25-21ksoftirqd/122:55:011
5659993932,4cyclictest25-21ksoftirqd/122:45:231
5659993932,4cyclictest25-21ksoftirqd/119:40:141
5659993932,4cyclictest25-21ksoftirqd/119:35:021
5659993932,4cyclictest25-21ksoftirqd/100:35:151
5659993923,13cyclictest25-21ksoftirqd/100:00:141
100402390,7sleep1565999cyclictest19:55:001
566199386,3cyclictest121rcu_preempt20:05:163
5661993833,3cyclictest41-21ksoftirqd/321:40:253
5661993833,3cyclictest41-21ksoftirqd/319:30:133
5661993832,4cyclictest41-21ksoftirqd/321:55:023
5661993832,4cyclictest41-21ksoftirqd/319:55:203
5661993832,3cyclictest41-21ksoftirqd/322:10:133
5661993832,3cyclictest41-21ksoftirqd/321:00:073
5661993832,3cyclictest41-21ksoftirqd/319:45:143
5661993832,3cyclictest41-21ksoftirqd/300:30:003
5661993831,4cyclictest41-21ksoftirqd/323:20:313
5661993831,4cyclictest41-21ksoftirqd/323:00:243
5659993832,4cyclictest25-21ksoftirqd/122:20:001
5659993832,4cyclictest25-21ksoftirqd/121:10:131
5659993832,4cyclictest25-21ksoftirqd/100:20:061
5659993831,5cyclictest25-21ksoftirqd/121:25:011
5659993831,5cyclictest25-21ksoftirqd/121:25:011
5659993831,5cyclictest25-21ksoftirqd/120:00:141
5659993831,4cyclictest25-21ksoftirqd/123:15:101
5659993831,4cyclictest25-21ksoftirqd/122:10:121
5659993830,5cyclictest25-21ksoftirqd/119:59:591
5659993821,11cyclictest16745-21runrttasks22:40:121
5661993731,3cyclictest41-21ksoftirqd/319:35:023
5661993731,3cyclictest41-21ksoftirqd/300:35:113
5661993730,4cyclictest41-21ksoftirqd/323:25:003
5661993730,4cyclictest41-21ksoftirqd/322:05:023
5661993730,3cyclictest41-21ksoftirqd/320:30:023
5660993730,4cyclictest33-21ksoftirqd/221:54:212
5659993731,4cyclictest25-21ksoftirqd/122:00:141
5659993730,4cyclictest25-21ksoftirqd/123:40:121
5659993730,4cyclictest25-21ksoftirqd/120:40:151
5659993730,4cyclictest25-21ksoftirqd/119:15:061
565999370,3cyclictest121rcu_preempt21:15:291
5661993631,3cyclictest41-21ksoftirqd/319:50:123
5661993630,3cyclictest41-21ksoftirqd/322:35:093
5661993630,3cyclictest41-21ksoftirqd/322:35:093
5661993630,3cyclictest41-21ksoftirqd/321:20:003
5661993629,4cyclictest41-21ksoftirqd/323:50:023
5661993629,4cyclictest41-21ksoftirqd/323:50:023
566099366,6cyclictest33-21ksoftirqd/222:31:432
566099366,6cyclictest19635-21sed23:25:022
566099366,6cyclictest11436-21awk21:55:022
5659993629,4cyclictest25-21ksoftirqd/120:20:001
566099353,6cyclictest321ktimersoftd/223:02:012
5660993529,4cyclictest33-21ksoftirqd/222:45:562
5660993528,4cyclictest33-21ksoftirqd/223:37:162
5660993528,4cyclictest33-21ksoftirqd/200:07:032
5661993428,4cyclictest41-21ksoftirqd/320:00:153
5661993428,3cyclictest41-21ksoftirqd/321:10:133
5660993429,3cyclictest33-21ksoftirqd/220:55:242
5660993428,3cyclictest33-21ksoftirqd/219:43:312
5660993427,4cyclictest33-21ksoftirqd/222:27:452
5660993427,4cyclictest33-21ksoftirqd/220:36:292
5659993428,3cyclictest25-21ksoftirqd/119:45:051
5661993327,4cyclictest41-21ksoftirqd/321:25:353
5661993327,4cyclictest41-21ksoftirqd/321:25:343
566099336,9cyclictest33-21ksoftirqd/220:50:062
5660993326,4cyclictest33-21ksoftirqd/220:17:332
5660993326,4cyclictest33-21ksoftirqd/219:31:212
5660993225,4cyclictest33-21ksoftirqd/222:40:062
5660993225,4cyclictest33-21ksoftirqd/200:33:242
5660993125,3cyclictest33-21ksoftirqd/219:25:522
5660993124,4cyclictest33-21ksoftirqd/220:14:082
5660993124,4cyclictest33-21ksoftirqd/220:14:082
566099303,6cyclictest33-21ksoftirqd/221:25:042
566099303,6cyclictest33-21ksoftirqd/221:25:032
566099303,5cyclictest33-21ksoftirqd/220:30:262
566099296,7cyclictest6051-21sed19:50:002
566099285,7cyclictest33-21ksoftirqd/220:45:162
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional