You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2022-06-25 - 03:57

x86 Intel Atom E3845 @1910 MHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #1
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of all highest latencies:
System rackdslot1.osadl.org (updated Mon Mar 07, 2022 12:46:04)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
847421810,8sleep2443899cyclictest09:15:002
847421810,8sleep2443899cyclictest09:15:002
219121660,8sleep0443699cyclictest11:45:090
118791143120,10phc2sys0-21swapper/107:07:371
4437999984,8cyclictest25-21ksoftirqd/108:10:141
389629572,10sleep30-21swapper/307:07:083
4437998269,8cyclictest25-21ksoftirqd/110:10:151
39282799,18sleep20-21swapper/207:07:322
4439997664,6cyclictest41-21ksoftirqd/310:40:153
4439997564,6cyclictest41-21ksoftirqd/310:00:153
4439997361,6cyclictest41-21ksoftirqd/310:55:163
4439997261,6cyclictest41-21ksoftirqd/311:20:203
443699698,14cyclictest25813-21sed12:15:050
4438996755,9cyclictest33-21ksoftirqd/209:55:152
4437996754,8cyclictest25-21ksoftirqd/109:15:151
443699679,13cyclictest11821-21ls09:15:350
4439996555,5cyclictest41-21ksoftirqd/311:25:163
4439996427,10cyclictest41-21ksoftirqd/310:05:063
4439996330,8cyclictest41-21ksoftirqd/312:15:053
443699635,13cyclictest13939-21cat08:00:120
4439996225,12cyclictest41-21ksoftirqd/308:45:323
4437996252,6cyclictest25-21ksoftirqd/111:00:151
4437996252,4cyclictest25-21ksoftirqd/107:15:151
443699625,18cyclictest11265-21irqrtprio09:55:240
4439996131,4cyclictest41-21ksoftirqd/307:55:023
4439996126,9cyclictest41-21ksoftirqd/312:00:103
443699619,11cyclictest7070-21cut10:30:180
443699615,13cyclictest2987-21awk09:05:190
443699615,13cyclictest2987-21awk09:05:190
4439996030,8cyclictest41-21ksoftirqd/311:55:093
4439996027,5cyclictest41-21ksoftirqd/312:20:143
4439996026,9cyclictest41-21ksoftirqd/309:35:273
443699605,12cyclictest30871-21df_abs08:20:190
443699604,14cyclictest31630-21cat09:40:240
443699604,13cyclictest13470-21/usr/sbin/munin12:00:030
4439995947,7cyclictest41-21ksoftirqd/311:15:193
4439995928,5cyclictest41-21ksoftirqd/308:38:263
4439995926,9cyclictest41-21ksoftirqd/309:10:173
4439995926,9cyclictest41-21ksoftirqd/309:10:173
4439995926,9cyclictest41-21ksoftirqd/308:40:143
443999591,47cyclictest12696-21sh10:40:003
4437995951,4cyclictest25-21ksoftirqd/110:15:181
443699594,13cyclictest5759-21acpi09:10:100
443699594,13cyclictest5759-21acpi09:10:100
443699593,11cyclictest3292-21fschecks_time11:05:190
4439995828,4cyclictest41-21ksoftirqd/312:30:243
4439995828,4cyclictest41-21ksoftirqd/312:25:123
4439995825,5cyclictest41-21ksoftirqd/307:15:123
4439995822,8cyclictest41-21ksoftirqd/309:20:013
4437995846,7cyclictest25-21ksoftirqd/108:25:141
4437995844,8cyclictest25-21ksoftirqd/111:10:141
443699588,9cyclictest26475-21python08:55:130
443699587,11cyclictest25323-21sh07:35:070
443699584,13cyclictest24603-21sed11:30:440
443699583,13cyclictest18496-21df_abs11:25:120
4439995735,4cyclictest41-21ksoftirqd/312:05:133
4439995728,4cyclictest41-21ksoftirqd/309:40:063
4439995727,5cyclictest41-21ksoftirqd/307:25:203
4439995727,4cyclictest41-21ksoftirqd/307:50:383
4439995727,4cyclictest41-21ksoftirqd/307:50:373
4439995726,8cyclictest41-21ksoftirqd/311:30:383
4439995724,5cyclictest41-21ksoftirqd/307:10:133
4439995723,5cyclictest41-21ksoftirqd/310:20:013
4439995722,5cyclictest41-21ksoftirqd/309:45:053
443699575,10cyclictest18623-21apt-get10:05:130
443699574,13cyclictest10226-21ls08:35:140
443699573,13cyclictest8890-21latency_hist12:35:000
443699572,12cyclictest0-21swapper/010:55:030
4439995626,4cyclictest41-21ksoftirqd/311:45:133
4439995626,4cyclictest41-21ksoftirqd/308:00:023
4439995623,9cyclictest41-21ksoftirqd/309:25:143
4439995623,5cyclictest41-21ksoftirqd/309:50:213
4439995622,5cyclictest41-21ksoftirqd/307:35:333
4439995619,10cyclictest41-21ksoftirqd/311:00:023
4439995618,11cyclictest41-21ksoftirqd/307:30:023
443999560,10cyclictest41-21ksoftirqd/308:25:083
443899563,14cyclictest18295-21switchtime07:25:132
443699568,9cyclictest7761-21sensors_temp09:50:320
443699562,12cyclictest0-21swapper/008:40:100
443699561,12cyclictest1628-21grep08:25:110
443999558,10cyclictest41-21ksoftirqd/307:40:333
4439995526,4cyclictest41-21ksoftirqd/311:10:203
4439995526,4cyclictest41-21ksoftirqd/310:10:003
4439995524,8cyclictest41-21ksoftirqd/308:05:323
4439995523,8cyclictest41-21ksoftirqd/310:25:083
4439995521,5cyclictest41-21ksoftirqd/311:40:223
4439995521,5cyclictest41-21ksoftirqd/311:40:223
4439995521,5cyclictest41-21ksoftirqd/307:45:103
4439995521,4cyclictest41-21ksoftirqd/311:35:033
4439995521,4cyclictest41-21ksoftirqd/311:35:033
443699556,13cyclictest13594-21cstates07:20:110
443699555,10cyclictest10319-21df_abs12:35:120
443699553,13cyclictest25824-21cat08:15:100
443999546,4cyclictest14269-21apt-get07:20:163
443999545,8cyclictest41-21ksoftirqd/308:15:053
443999545,3cyclictest41-21ksoftirqd/311:05:223
4439995441,4cyclictest41-21ksoftirqd/309:30:163
4439995427,4cyclictest41-21ksoftirqd/310:51:133
4439995425,4cyclictest41-21ksoftirqd/310:30:233
4439995425,4cyclictest41-21ksoftirqd/309:00:203
4439995424,5cyclictest41-21ksoftirqd/312:35:123
4439995424,4cyclictest41-21ksoftirqd/308:20:133
4439995424,4cyclictest41-21ksoftirqd/308:10:203
4439995423,8cyclictest41-21ksoftirqd/309:20:083
443999541,9cyclictest26258-21apt-get08:55:123
4439995419,9cyclictest41-21ksoftirqd/309:55:333
4437995444,5cyclictest25-21ksoftirqd/112:30:141
443699545,17cyclictest4623-21latency_hist10:30:000
213902540,2sleep20-21swapper/208:10:082
1187915436,8phc2sys9-21ksoftirqd/007:05:030
4439995347,4cyclictest41-21ksoftirqd/308:30:133
4439995333,11cyclictest41-21ksoftirqd/309:05:143
4439995333,11cyclictest41-21ksoftirqd/309:05:143
4439995319,8cyclictest41-21ksoftirqd/310:45:163
4437995341,7cyclictest25-21ksoftirqd/110:40:141
4439995241,3cyclictest41-21ksoftirqd/310:20:143
4439995221,9cyclictest41-21ksoftirqd/308:50:063
443999508,3cyclictest41-21ksoftirqd/311:50:053
443999491,9cyclictest41-21ksoftirqd/312:10:313
4437994943,3cyclictest25-21ksoftirqd/111:05:141
4437994941,4cyclictest25-21ksoftirqd/109:45:151
4437994937,6cyclictest25-21ksoftirqd/108:20:161
4437994639,4cyclictest25-21ksoftirqd/110:00:151
4437994539,4cyclictest25-21ksoftirqd/107:40:221
4437994538,4cyclictest25-21ksoftirqd/107:25:151
443799451,3cyclictest121rcu_preempt08:40:151
4437994436,5cyclictest25-21ksoftirqd/108:15:141
4437994337,4cyclictest25-21ksoftirqd/110:05:051
4437994336,4cyclictest25-21ksoftirqd/109:05:131
4437994336,4cyclictest25-21ksoftirqd/109:05:121
4437994332,6cyclictest25-21ksoftirqd/108:50:161
4438994225,11cyclictest33-21ksoftirqd/207:30:142
4437994235,4cyclictest25-21ksoftirqd/110:30:131
4437994235,4cyclictest25-21ksoftirqd/109:35:011
4437994232,6cyclictest25-21ksoftirqd/109:50:151
4437994230,7cyclictest25-21ksoftirqd/110:50:151
4437994135,4cyclictest25-21ksoftirqd/109:40:001
4437994135,4cyclictest25-21ksoftirqd/109:30:011
4437994135,4cyclictest25-21ksoftirqd/107:20:081
4437994135,3cyclictest25-21ksoftirqd/108:55:111
4437994134,4cyclictest25-21ksoftirqd/108:30:151
443699418,11cyclictest114791getstats11:55:170
4438994032,5cyclictest24657-21cron09:35:002
4437994035,3cyclictest25-21ksoftirqd/111:40:001
4437994035,3cyclictest25-21ksoftirqd/111:40:001
4437994034,4cyclictest25-21ksoftirqd/112:15:171
4437994034,4cyclictest25-21ksoftirqd/112:00:001
4437994034,4cyclictest25-21ksoftirqd/110:35:051
4437994034,4cyclictest25-21ksoftirqd/107:45:141
4437994034,3cyclictest25-21ksoftirqd/108:45:091
4437994033,4cyclictest25-21ksoftirqd/111:30:101
4437994033,4cyclictest25-21ksoftirqd/109:40:081
4437994033,4cyclictest25-21ksoftirqd/107:30:131
4437994032,5cyclictest25-21ksoftirqd/110:20:201
4437994027,4cyclictest25-21ksoftirqd/110:45:091
4437993934,3cyclictest25-21ksoftirqd/111:15:021
4437993934,3cyclictest25-21ksoftirqd/107:55:131
4437993933,4cyclictest25-21ksoftirqd/112:25:031
4437993933,4cyclictest25-21ksoftirqd/111:50:021
4437993933,4cyclictest25-21ksoftirqd/110:55:171
4437993933,4cyclictest25-21ksoftirqd/107:35:151
4437993932,4cyclictest25-21ksoftirqd/112:05:051
4437993927,10cyclictest25-21ksoftirqd/111:25:141
4437993923,6cyclictest25-21ksoftirqd/108:05:151
443899389,27cyclictest31564-21kworker/2:211:45:092
4437993833,3cyclictest5060-21fschecks_time07:10:061
4437993832,4cyclictest25-21ksoftirqd/112:35:211
4437993832,4cyclictest25-21ksoftirqd/112:20:041
4437993832,4cyclictest25-21ksoftirqd/111:50:011
4437993832,4cyclictest25-21ksoftirqd/108:35:021
4437993832,4cyclictest25-21ksoftirqd/108:00:151
4437993831,4cyclictest25-21ksoftirqd/110:00:001
4437993831,4cyclictest25-21ksoftirqd/109:00:081
4437993827,6cyclictest25-21ksoftirqd/109:10:131
4437993827,6cyclictest25-21ksoftirqd/109:10:131
4436993830,5cyclictest9-21ksoftirqd/010:52:590
443699382,11cyclictest23689-21mailstats07:30:290
4438993730,4cyclictest33-21ksoftirqd/208:20:002
4438993723,9cyclictest33-21ksoftirqd/208:40:142
443799375,4cyclictest25-21ksoftirqd/107:50:151
443799375,4cyclictest25-21ksoftirqd/107:50:151
4437993732,3cyclictest25-21ksoftirqd/112:05:011
4437993731,4cyclictest25-21ksoftirqd/110:25:381
443699379,12cyclictest18216-21phc2sys07:25:140
443699378,8cyclictest118791phc2sys09:00:300
443699376,13cyclictest18296-21sed08:05:140
4436993730,4cyclictest9-21ksoftirqd/008:54:140
4437993629,4cyclictest25-21ksoftirqd/111:20:101
443699368,13cyclictest30997-21fschecks_time07:40:180
443699368,13cyclictest10347-21if_enp1s010:35:120
443699366,12cyclictest2532-21cpuspeed_turbos09:45:160
4436993629,4cyclictest9-21ksoftirqd/009:20:210
4438993528,4cyclictest33-21ksoftirqd/211:50:052
4437993530,3cyclictest25-21ksoftirqd/111:40:161
4437993530,3cyclictest25-21ksoftirqd/111:40:151
4437993529,3cyclictest25-21ksoftirqd/112:15:011
4437993529,3cyclictest25-21ksoftirqd/109:20:091
443699358,11cyclictest28333-21grep10:15:360
443699355,13cyclictest21560-21irqrtprio10:10:050
443699355,11cyclictest14034-21/usr/sbin/munin10:40:090
4436993522,7cyclictest26591-21apt-get09:35:150
4438993427,4cyclictest33-21ksoftirqd/210:42:232
4438993427,4cyclictest33-21ksoftirqd/210:16:582
4436993426,4cyclictest9-21ksoftirqd/008:13:580
4436993420,7cyclictest10370-21apt-get07:15:150
4438993326,4cyclictest33-21ksoftirqd/207:12:552
4438993325,5cyclictest33-21ksoftirqd/209:22:072
443699337,11cyclictest19241-21cat12:05:160
4436993326,4cyclictest9-21ksoftirqd/008:46:440
4436993325,5cyclictest9-21ksoftirqd/012:27:570
4436993325,5cyclictest9-21ksoftirqd/010:49:170
4436993325,5cyclictest9-21ksoftirqd/008:32:430
4436993325,5cyclictest9-21ksoftirqd/007:57:580
4438993226,4cyclictest33-21ksoftirqd/212:06:322
4438993226,3cyclictest33-21ksoftirqd/209:43:492
4438993225,4cyclictest33-21ksoftirqd/211:28:422
4438993225,4cyclictest33-21ksoftirqd/211:12:152
4438993225,4cyclictest33-21ksoftirqd/208:59:032
4438993225,4cyclictest33-21ksoftirqd/208:07:282
4438993225,4cyclictest33-21ksoftirqd/207:18:022
4438993218,9cyclictest33-21ksoftirqd/209:35:142
4436993225,4cyclictest9-21ksoftirqd/011:23:220
4436993224,5cyclictest9-21ksoftirqd/007:13:330
4438993124,4cyclictest33-21ksoftirqd/211:39:492
4438993124,4cyclictest33-21ksoftirqd/211:39:492
4438993124,4cyclictest33-21ksoftirqd/210:32:382
4438993124,4cyclictest33-21ksoftirqd/209:08:072
4438993124,4cyclictest33-21ksoftirqd/209:08:072
4438993124,4cyclictest33-21ksoftirqd/208:26:182
4438993124,4cyclictest33-21ksoftirqd/207:36:192
443699315,11cyclictest26716-21cat11:35:120
443699315,11cyclictest26716-21cat11:35:120
443699312,13cyclictest0-21swapper/011:00:030
4438993025,3cyclictest33-21ksoftirqd/207:20:092
4438993024,3cyclictest33-21ksoftirqd/211:31:192
4438993024,3cyclictest33-21ksoftirqd/207:57:222
4438993023,4cyclictest33-21ksoftirqd/211:06:302
4438993023,4cyclictest33-21ksoftirqd/210:36:382
4438993023,4cyclictest33-21ksoftirqd/210:06:392
4438993023,4cyclictest33-21ksoftirqd/209:52:112
4438993023,4cyclictest33-21ksoftirqd/209:16:362
4438993023,4cyclictest33-21ksoftirqd/209:01:152
4438993023,4cyclictest33-21ksoftirqd/208:54:012
4438993023,4cyclictest33-21ksoftirqd/208:23:222
4438993023,4cyclictest33-21ksoftirqd/207:41:092
443699309,17cyclictest24700-21latency_hist09:35:000
4436993023,4cyclictest9-21ksoftirqd/007:46:570
4436993022,5cyclictest9-21ksoftirqd/011:43:060
4436993022,5cyclictest9-21ksoftirqd/011:43:050
443699302,12cyclictest0-21swapper/007:50:090
443699302,12cyclictest0-21swapper/007:50:090
443899294,13cyclictest10707-21smartctl12:35:132
4438992924,3cyclictest33-21ksoftirqd/210:25:052
4438992923,4cyclictest33-21ksoftirqd/210:22:012
4438992923,4cyclictest33-21ksoftirqd/210:03:422
4438992923,3cyclictest33-21ksoftirqd/208:31:422
4438992922,4cyclictest33-21ksoftirqd/212:32:152
4438992922,4cyclictest33-21ksoftirqd/211:02:532
4438992922,4cyclictest33-21ksoftirqd/210:57:192
4438992922,4cyclictest33-21ksoftirqd/210:51:122
4438992922,4cyclictest33-21ksoftirqd/210:48:192
4438992921,5cyclictest33-21ksoftirqd/212:01:262
4438992921,5cyclictest33-21ksoftirqd/211:58:172
4436992922,4cyclictest9-21ksoftirqd/009:25:500
4436992914,10cyclictest0-21swapper/010:00:150
4438992822,4cyclictest33-21ksoftirqd/209:26:392
4438992822,4cyclictest33-21ksoftirqd/207:53:262
4438992822,4cyclictest33-21ksoftirqd/207:53:262
4438992821,4cyclictest33-21ksoftirqd/212:12:372
4438992817,8cyclictest18230-21sshd08:45:132
4436992821,5cyclictest9-21ksoftirqd/011:11:130
4436992811,14cyclictest5460-21irqrtprio11:50:050
4438992721,4cyclictest33-21ksoftirqd/212:16:482
4438992721,3cyclictest33-21ksoftirqd/211:43:572
4438992721,3cyclictest33-21ksoftirqd/211:43:572
4438992720,4cyclictest33-21ksoftirqd/212:29:062
4438992720,4cyclictest33-21ksoftirqd/211:15:532
4438992720,4cyclictest33-21ksoftirqd/208:04:412
4436992715,6cyclictest30941-21apt-get10:20:190
4436992712,9cyclictest9-21ksoftirqd/012:10:150
4438992620,3cyclictest33-21ksoftirqd/209:48:482
4438992619,4cyclictest33-21ksoftirqd/212:21:262
4438992518,4cyclictest33-21ksoftirqd/210:13:502
4438992516,4cyclictest33-21ksoftirqd/207:47:592
4436992512,9cyclictest31094-21bc12:20:160
4436992511,10cyclictest9441-21awk11:15:030
4438992417,4cyclictest33-21ksoftirqd/211:21:352
4438992318,3cyclictest33-21ksoftirqd/208:39:122
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional