You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-02-07 - 13:39

x86 Intel Atom E3845 @1910 MHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #4
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the alll highest latencies:
System rackdslot4.osadl.org (updated Tue Feb 07, 2023 00:46:21)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1299911990,5ptp4l401ktimersoftd/319:05:313
1658521600,8sleep31163699cyclictest22:45:003
564981410,112rtkit-daemon30368-21apache219:05:041
111352868,66sleep20-21swapper/219:07:162
129991790,2ptp4l401ktimersoftd/320:40:273
1163599775,29cyclictest159642apt-config21:35:022
1163599753,68cyclictest11665-21cut21:25:242
11633997430,10cyclictest9-21ksoftirqd/022:35:010
11633997133,8cyclictest9-21ksoftirqd/023:00:270
1163599700,3cyclictest575-21chrt21:01:262
129991690,8ptp4l1163699cyclictest20:24:063
1163399687,7cyclictest4583-21sendmail-msp22:20:000
11633996832,6cyclictest9-21ksoftirqd/023:29:000
11633996830,10cyclictest9-21ksoftirqd/023:35:330
129991660,38ptp4l35192irq/88-enp1s0-T19:10:023
1163399667,9cyclictest9-21ksoftirqd/021:00:180
1163399657,9cyclictest9-21ksoftirqd/019:25:000
1163399654,8cyclictest9-21ksoftirqd/000:20:000
11633996530,9cyclictest9-21ksoftirqd/023:10:200
1163399645,8cyclictest9-21ksoftirqd/020:15:300
11633996457,4cyclictest9-21ksoftirqd/021:05:050
1163399644,7cyclictest9-21ksoftirqd/021:10:330
1163399637,9cyclictest9-21ksoftirqd/022:20:300
1163399637,10cyclictest9-21ksoftirqd/023:20:130
1163399637,10cyclictest9-21ksoftirqd/021:35:390
1163399636,9cyclictest9-21ksoftirqd/022:00:000
1163399636,6cyclictest16508-21latency_hist22:45:000
1163399634,7cyclictest9-21ksoftirqd/022:50:160
1163399634,7cyclictest9-21ksoftirqd/020:35:360
11633996329,10cyclictest9-21ksoftirqd/020:30:200
11633996327,10cyclictest9-21ksoftirqd/000:30:220
11633996327,10cyclictest9-21ksoftirqd/000:30:220
11633996326,8cyclictest9-21ksoftirqd/000:25:340
1163399630,7cyclictest9-21ksoftirqd/019:40:220
1163399627,9cyclictest9-21ksoftirqd/020:40:170
1163399626,9cyclictest9-21ksoftirqd/021:40:280
1163399626,9cyclictest16197-21date23:50:250
1163399626,8cyclictest30523-21cat19:50:160
1163399626,6cyclictest30958-21cron21:00:000
1163399625,9cyclictest9-21ksoftirqd/000:25:010
1163399625,8cyclictest27245-21irqrtprio20:50:250
11633996254,4cyclictest9-21ksoftirqd/021:25:040
11633996233,5cyclictest9-21ksoftirqd/021:32:500
11633996228,9cyclictest9-21ksoftirqd/023:05:220
11633996228,9cyclictest9-21ksoftirqd/000:05:220
1163399617,8cyclictest9-21ksoftirqd/022:05:310
1163399616,7cyclictest9-21ksoftirqd/023:30:150
1163399616,10cyclictest9-21ksoftirqd/000:00:340
1163399615,8cyclictest9-21ksoftirqd/023:15:280
1163399615,8cyclictest9-21ksoftirqd/023:00:010
1163399615,8cyclictest9-21ksoftirqd/023:00:000
1163399613,7cyclictest9-21ksoftirqd/000:35:290
11633996126,9cyclictest9-21ksoftirqd/021:20:350
11633996122,8cyclictest9-21ksoftirqd/021:15:310
1163399607,9cyclictest9-21ksoftirqd/021:45:320
1163399606,8cyclictest9-21ksoftirqd/023:50:000
1163399606,10cyclictest9-21ksoftirqd/019:45:260
1163399605,9cyclictest9-21ksoftirqd/019:55:150
1163399605,8cyclictest9-21ksoftirqd/000:15:010
1163399605,7cyclictest9-21ksoftirqd/020:10:300
1163399605,7cyclictest9-21ksoftirqd/019:30:250
1163399604,7cyclictest9-21ksoftirqd/022:45:180
11633996027,10cyclictest9-21ksoftirqd/022:00:290
1163599590,56cyclictest25164-21sshd19:36:482
1163399595,8cyclictest9-21ksoftirqd/019:35:230
11633995954,3cyclictest111rcuc/022:25:220
1163399593,9cyclictest9-21ksoftirqd/023:55:300
1163399593,9cyclictest9-21ksoftirqd/019:10:140
11633995925,9cyclictest9-21ksoftirqd/020:00:130
11633995925,9cyclictest9-21ksoftirqd/020:00:120
199592580,2sleep30-21swapper/300:00:183
1163399586,9cyclictest9-21ksoftirqd/020:25:160
1163399585,7cyclictest2192-21sed22:15:000
11633995851,4cyclictest9-21ksoftirqd/019:15:130
11633995824,9cyclictest9-21ksoftirqd/023:44:410
1163399581,7cyclictest9-21ksoftirqd/020:45:190
129991570,1ptp4l391rcuc/323:05:353
1163399576,7cyclictest9-21ksoftirqd/020:05:210
1163399576,7cyclictest9-21ksoftirqd/020:05:200
11633995724,9cyclictest9-21ksoftirqd/022:30:310
1163399564,9cyclictest9-21ksoftirqd/019:25:180
1163399555,8cyclictest9-21ksoftirqd/020:20:230
11636995449,3cyclictest41-21ksoftirqd/323:40:013
11636995447,4cyclictest41-21ksoftirqd/323:25:003
4332530,2sleep20-21swapper/222:10:182
11636995346,4cyclictest41-21ksoftirqd/321:19:593
11636995246,3cyclictest41-21ksoftirqd/323:20:013
11636995246,3cyclictest41-21ksoftirqd/323:14:593
11636995246,3cyclictest41-21ksoftirqd/320:00:003
11636995245,4cyclictest41-21ksoftirqd/300:14:593
75952510,2sleep10-21swapper/120:10:151
11636995145,4cyclictest41-21ksoftirqd/300:35:333
1163499511,47cyclictest13754-21cron19:15:001
11636995044,4cyclictest41-21ksoftirqd/300:00:003
11636995044,3cyclictest41-21ksoftirqd/323:30:013
11636995043,4cyclictest41-21ksoftirqd/321:14:593
11636994943,3cyclictest41-21ksoftirqd/323:00:003
11636994943,3cyclictest41-21ksoftirqd/323:00:003
11636994942,4cyclictest41-21ksoftirqd/322:35:003
11636994942,4cyclictest41-21ksoftirqd/322:20:003
11636994942,4cyclictest41-21ksoftirqd/321:30:273
11636994942,3cyclictest41-21ksoftirqd/320:35:003
11636994941,4cyclictest41-21ksoftirqd/322:05:013
1163399494,8cyclictest9-21ksoftirqd/021:50:260
11636994843,3cyclictest41-21ksoftirqd/322:25:003
11636994843,3cyclictest41-21ksoftirqd/300:20:003
11636994842,3cyclictest41-21ksoftirqd/323:54:593
11636994842,3cyclictest41-21ksoftirqd/323:44:593
11636994841,4cyclictest41-21ksoftirqd/321:00:003
11636994819,4cyclictest41-21ksoftirqd/321:20:343
1163599480,2cyclictest0-21swapper/219:12:452
11636994740,4cyclictest41-21ksoftirqd/321:55:013
11636994740,4cyclictest41-21ksoftirqd/319:20:213
11636994740,3cyclictest41-21ksoftirqd/321:57:193
11636994641,3cyclictest41-21ksoftirqd/321:40:003
11636994641,3cyclictest41-21ksoftirqd/319:30:003
11636994640,4cyclictest41-21ksoftirqd/320:50:343
11636994640,4cyclictest41-21ksoftirqd/320:15:243
11636994640,3cyclictest41-21ksoftirqd/321:49:593
11636994640,3cyclictest41-21ksoftirqd/320:30:013
11636994640,3cyclictest41-21ksoftirqd/320:10:243
11636994639,4cyclictest41-21ksoftirqd/322:15:003
11636994639,4cyclictest41-21ksoftirqd/321:45:003
11636994639,3cyclictest41-21ksoftirqd/300:35:003
11636994639,3cyclictest41-21ksoftirqd/300:35:003
49432450,2sleep14947-21sed00:35:341
11636994540,3cyclictest41-21ksoftirqd/323:35:003
11636994539,4cyclictest41-21ksoftirqd/321:05:003
11636994538,4cyclictest41-21ksoftirqd/319:15:243
11636994538,4cyclictest41-21ksoftirqd/300:20:203
11636994538,4cyclictest41-21ksoftirqd/300:10:013
11634994539,3cyclictest25-21ksoftirqd/119:58:291
1055324528,7sleep00-21swapper/019:05:280
56498440,3rtkit-daemon563-21rtkit-daemon19:28:551
11636994438,4cyclictest41-21ksoftirqd/319:30:183
11636994438,3cyclictest41-21ksoftirqd/323:00:313
11636994438,3cyclictest41-21ksoftirqd/322:10:003
11636994438,3cyclictest41-21ksoftirqd/319:45:333
11636994438,3cyclictest41-21ksoftirqd/319:45:003
11636994437,4cyclictest41-21ksoftirqd/319:50:203
1163599440,2cyclictest0-21swapper/220:54:332
11636994338,3cyclictest41-21ksoftirqd/320:35:283
11636994337,4cyclictest41-21ksoftirqd/322:30:003
11636994337,4cyclictest41-21ksoftirqd/300:25:273
11636994336,4cyclictest41-21ksoftirqd/323:50:003
1163699430,3cyclictest121rcu_preempt21:30:003
11635994336,4cyclictest33-21ksoftirqd/220:15:002
1163599430,27cyclictest0-21swapper/219:31:492
11636994237,3cyclictest41-21ksoftirqd/319:35:223
11636994235,4cyclictest41-21ksoftirqd/320:05:013
11636994235,4cyclictest41-21ksoftirqd/320:05:003
11636994235,3cyclictest41-21ksoftirqd/321:05:193
11635994235,4cyclictest33-21ksoftirqd/221:05:042
1163599421,37cyclictest10249-21idleruntime-cro23:40:002
1163599421,24cyclictest0-21swapper/223:30:182
11634994236,3cyclictest25-21ksoftirqd/120:05:011
11634994236,3cyclictest25-21ksoftirqd/120:05:001
11634994235,4cyclictest25-21ksoftirqd/120:55:161
11634994235,4cyclictest25-21ksoftirqd/119:40:311
11636994135,4cyclictest41-21ksoftirqd/320:10:003
11636994135,4cyclictest41-21ksoftirqd/320:10:003
11636994135,3cyclictest41-21ksoftirqd/322:45:223
11635994134,4cyclictest33-21ksoftirqd/221:11:022
11635994134,4cyclictest33-21ksoftirqd/219:45:002
1163599411,37cyclictest28356-21cat23:10:002
1163599410,4cyclictest14063-21/usr/sbin/munin19:15:132
11634994135,3cyclictest25-21ksoftirqd/122:25:121
11634994135,3cyclictest25-21ksoftirqd/121:50:121
11634994134,4cyclictest25-21ksoftirqd/120:50:161
11634994134,4cyclictest25-21ksoftirqd/120:19:581
11634994134,4cyclictest25-21ksoftirqd/119:48:351
11634994127,5cyclictest25-21ksoftirqd/121:00:571
11635994033,4cyclictest33-21ksoftirqd/220:34:372
11635994033,4cyclictest33-21ksoftirqd/200:17:562
1163599403,30cyclictest21612-21apt-get22:55:142
1163599403,30cyclictest21612-21apt-get22:55:132
1163599402,31cyclictest19341-21apt-get20:35:192
1163599402,31cyclictest16415-21apt-get19:20:112
11635994012,24cyclictest25604-21wc00:10:302
11635994012,24cyclictest25113-21sed20:45:272
11635994012,24cyclictest18265-21grep22:45:302
1163599400,5cyclictest14595-21grep21:30:292
11634994033,4cyclictest25-21ksoftirqd/123:34:081
11634994033,4cyclictest25-21ksoftirqd/122:35:421
11634994033,4cyclictest25-21ksoftirqd/121:46:361
11634994032,5cyclictest25-21ksoftirqd/119:32:281
11636993934,3cyclictest41-21ksoftirqd/322:50:143
11636993934,3cyclictest41-21ksoftirqd/320:45:193
11636993933,4cyclictest41-21ksoftirqd/322:35:263
11635993933,3cyclictest33-21ksoftirqd/221:17:282
11635993932,4cyclictest33-21ksoftirqd/223:47:132
11635993932,4cyclictest33-21ksoftirqd/222:23:192
11635993932,4cyclictest33-21ksoftirqd/200:02:232
11635993931,5cyclictest33-21ksoftirqd/200:09:212
1163599392,31cyclictest28618-21apt-get23:10:162
1163599392,30cyclictest23132-21apt-get21:50:132
1163599391,31cyclictest18749-21apt-get19:25:162
11635993912,23cyclictest32231-21cut00:25:232
1163599390,4cyclictest19217-21cat22:50:132
1163599390,4cyclictest19122-21interrupts21:40:212
1163599390,4cyclictest15567-21df_abs23:50:172
11634993933,4cyclictest25-21ksoftirqd/120:40:321
11634993933,3cyclictest25-21ksoftirqd/123:10:311
11634993933,3cyclictest25-21ksoftirqd/119:38:411
11634993933,3cyclictest25-21ksoftirqd/119:22:381
11634993932,4cyclictest25-21ksoftirqd/123:19:191
11634993932,4cyclictest25-21ksoftirqd/121:16:471
11634993931,5cyclictest25-21ksoftirqd/100:03:581
1163599383,30cyclictest0-21swapper/223:15:132
11635993831,4cyclictest33-21ksoftirqd/222:26:212
11635993831,4cyclictest33-21ksoftirqd/221:56:502
11635993831,4cyclictest33-21ksoftirqd/220:27:222
1163599382,30cyclictest23957-21apt-get23:00:132
1163599382,29cyclictest21684-21apt-get20:40:152
11635993810,24cyclictest31422-21sed19:50:252
1163599380,34cyclictest32259-21date22:10:012
11634993833,3cyclictest25-21ksoftirqd/120:37:021
11634993832,3cyclictest25-21ksoftirqd/123:35:041
11634993832,3cyclictest25-21ksoftirqd/122:21:351
11634993831,4cyclictest25-21ksoftirqd/123:41:181
11634993831,4cyclictest25-21ksoftirqd/122:41:051
11634993831,4cyclictest25-21ksoftirqd/121:22:001
11634993831,4cyclictest25-21ksoftirqd/121:05:511
11634993831,4cyclictest25-21ksoftirqd/120:46:361
11634993831,4cyclictest25-21ksoftirqd/120:29:211
11634993831,4cyclictest25-21ksoftirqd/100:28:161
11634993831,4cyclictest25-21ksoftirqd/100:16:521
11634993826,9cyclictest25-21ksoftirqd/121:27:241
11634993824,11cyclictest25-21ksoftirqd/121:10:201
1163599373,27cyclictest29433-21apt-get00:20:172
1163599372,31cyclictest10546-21apt-get23:40:152
1163599372,28cyclictest917-21apt-get23:20:132
11635993714,20cyclictest30098-21apt19:50:002
1163599371,30cyclictest2993-21apt-get20:00:132
1163599371,30cyclictest2993-21apt-get20:00:132
1163599371,28cyclictest1685-21apt-get00:30:212
1163599371,28cyclictest1685-21apt-get00:30:202
11634993732,3cyclictest25-21ksoftirqd/122:45:251
11634993731,4cyclictest25-21ksoftirqd/123:02:251
11634993731,3cyclictest25-21ksoftirqd/123:57:141
11634993731,3cyclictest25-21ksoftirqd/123:07:271
11634993731,3cyclictest25-21ksoftirqd/119:16:211
11634993730,4cyclictest25-21ksoftirqd/123:25:561
11634993730,4cyclictest25-21ksoftirqd/122:32:221
11634993730,4cyclictest25-21ksoftirqd/121:41:511
11634993730,4cyclictest25-21ksoftirqd/120:06:081
11634993730,4cyclictest25-21ksoftirqd/120:06:081
11634993713,7cyclictest25-21ksoftirqd/122:00:141
1163599369,24cyclictest16051-21unixbench_singl22:40:312
1163599369,23cyclictest6300-21cat20:05:292
1163599369,23cyclictest6300-21cat20:05:292
1163599368,24cyclictest209-21systemd-journal22:01:112
11635993629,4cyclictest33-21ksoftirqd/222:16:212
11635993629,4cyclictest33-21ksoftirqd/220:23:522
1163599362,27cyclictest9506-21apt-get22:30:142
1163599361,31cyclictest6246-21apt-config00:40:012
1163599361,27cyclictest12066-21apt-get22:35:172
1163599360,2cyclictest0-21swapper/220:55:172
11634993631,3cyclictest25-21ksoftirqd/123:50:191
11634993630,4cyclictest25-21ksoftirqd/122:14:081
11634993630,3cyclictest25-21ksoftirqd/123:48:051
11634993630,3cyclictest25-21ksoftirqd/121:32:411
11634993629,4cyclictest25-21ksoftirqd/123:24:101
11634993629,4cyclictest25-21ksoftirqd/122:18:571
11634993629,4cyclictest25-21ksoftirqd/120:22:111
11634993629,4cyclictest25-21ksoftirqd/100:34:091
11634993629,4cyclictest25-21ksoftirqd/100:34:091
11634993629,4cyclictest25-21ksoftirqd/100:05:481
11635993511,21cyclictest12027-21latency_hist20:20:012
11634993528,4cyclictest25-21ksoftirqd/122:52:211
11634993528,4cyclictest25-21ksoftirqd/122:07:091
11634993528,4cyclictest25-21ksoftirqd/121:56:271
1163599346,25cyclictest18855-21mailstats23:55:312
11635993428,3cyclictest33-21ksoftirqd/223:26:332
11635993427,4cyclictest33-21ksoftirqd/219:59:532
1163599340,2cyclictest0-21swapper/221:45:172
11634993427,4cyclictest25-21ksoftirqd/121:38:501
11634993426,5cyclictest25-21ksoftirqd/119:51:321
1163599332,28cyclictest8882-21cpuspeed_turbos21:20:202
11634993328,3cyclictest25-21ksoftirqd/120:32:221
11634993326,4cyclictest25-21ksoftirqd/100:23:301
11634993227,3cyclictest25-21ksoftirqd/100:10:301
11634993124,4cyclictest25-21ksoftirqd/122:55:101
11634993124,4cyclictest25-21ksoftirqd/122:55:101
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional