You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-03-03 - 12:56
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot2.osadl.org (updated Sun Mar 03, 2024 00:46:20)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3087521550,7sleep21419599cyclictest20:55:242
982921520,6sleep31419699cyclictest23:35:323
123691127104,10phc2sys0-21swapper/319:05:463
13897210886,10sleep10-21swapper/119:09:551
576981020,13rtkit-daemon0-21swapper/019:06:050
14194998879,6cyclictest25-21ksoftirqd/123:40:211
14194998475,5cyclictest25-21ksoftirqd/122:10:201
14194998072,5cyclictest25-21ksoftirqd/123:20:231
14194997663,8cyclictest25-21ksoftirqd/123:15:211
14194997357,9cyclictest25-21ksoftirqd/122:25:211
14194997258,8cyclictest25-21ksoftirqd/122:45:231
14194997255,10cyclictest25-21ksoftirqd/121:05:231
14194997159,8cyclictest25-21ksoftirqd/120:25:221
14194997158,6cyclictest25-21ksoftirqd/120:30:191
128422710,8sleep11419499cyclictest20:15:291
14194997056,8cyclictest25-21ksoftirqd/123:50:201
290382690,2sleep30-21swapper/300:15:413
14194996855,7cyclictest25-21ksoftirqd/119:20:171
14194996754,6cyclictest25-21ksoftirqd/100:15:231
14194996551,7cyclictest25-21ksoftirqd/122:15:231
14194995945,7cyclictest25-21ksoftirqd/100:30:251
14194995751,4cyclictest25-21ksoftirqd/122:40:001
14194995650,4cyclictest25-21ksoftirqd/122:10:011
14194995650,3cyclictest25-21ksoftirqd/123:05:011
14194995649,4cyclictest25-21ksoftirqd/120:15:011
14194995649,4cyclictest25-21ksoftirqd/120:15:001
14196995535,17cyclictest41-21ksoftirqd/322:22:273
14194995550,3cyclictest25-21ksoftirqd/100:30:001
14194995542,7cyclictest25-21ksoftirqd/123:25:221
123591550,1ptp4l391rcuc/323:08:393
14196995231,18cyclictest41-21ksoftirqd/323:47:583
14194995246,3cyclictest25-21ksoftirqd/121:00:011
14194995245,4cyclictest25-21ksoftirqd/119:40:001
14194995245,4cyclictest25-21ksoftirqd/100:00:001
14195995144,4cyclictest33-21ksoftirqd/223:05:062
14194995144,3cyclictest25-21ksoftirqd/121:05:001
14196995030,17cyclictest41-21ksoftirqd/322:56:313
14194995044,3cyclictest25-21ksoftirqd/123:15:001
14194995044,3cyclictest25-21ksoftirqd/123:15:001
14194995043,4cyclictest25-21ksoftirqd/121:20:281
14196994928,18cyclictest41-21ksoftirqd/319:35:533
1419499494,4cyclictest121rcu_preempt19:50:001
14194994942,4cyclictest25-21ksoftirqd/120:35:241
14194994942,4cyclictest25-21ksoftirqd/119:45:001
14193994932,14cyclictest9-21ksoftirqd/000:04:230
1419699482,42cyclictest12599-21grep20:15:263
14195994817,25cyclictest1126-21runrttasks22:30:212
14194994843,3cyclictest25-21ksoftirqd/122:05:001
14194994842,4cyclictest25-21ksoftirqd/122:40:221
14194994842,3cyclictest25-21ksoftirqd/119:55:001
14194994841,4cyclictest25-21ksoftirqd/120:50:351
14194994841,4cyclictest25-21ksoftirqd/120:45:001
1319124823,12sleep233-21ksoftirqd/219:05:392
14194994742,3cyclictest25-21ksoftirqd/121:10:251
14194994741,4cyclictest25-21ksoftirqd/121:45:001
14194994741,4cyclictest25-21ksoftirqd/121:45:001
14194994740,4cyclictest25-21ksoftirqd/121:55:331
14194994739,5cyclictest21984-21cron22:55:001
14196994629,5cyclictest41-21ksoftirqd/300:05:383
14195994630,13cyclictest33-21ksoftirqd/223:31:172
14195994629,14cyclictest33-21ksoftirqd/222:52:272
14194994640,4cyclictest25-21ksoftirqd/119:35:001
14194994640,4cyclictest25-21ksoftirqd/100:10:391
14194994640,3cyclictest25-21ksoftirqd/122:25:001
14194994640,3cyclictest25-21ksoftirqd/100:40:001
14194994640,3cyclictest25-21ksoftirqd/100:40:001
14194994639,4cyclictest25-21ksoftirqd/119:15:001
14195994528,14cyclictest33-21ksoftirqd/223:43:292
14194994540,3cyclictest25-21ksoftirqd/121:15:581
14194994539,4cyclictest25-21ksoftirqd/100:05:271
14194994539,3cyclictest25-21ksoftirqd/123:10:001
14194994539,3cyclictest25-21ksoftirqd/121:35:291
14194994539,3cyclictest25-21ksoftirqd/121:35:281
14194994538,4cyclictest25-21ksoftirqd/121:25:231
123591450,1ptp4l401ktimersoftd/321:40:343
123591450,1ptp4l401ktimersoftd/321:40:333
123591450,1ptp4l401ktimersoftd/320:43:593
14196994438,4cyclictest41-21ksoftirqd/319:16:553
1419699442,38cyclictest14815-21ls21:29:593
14194994439,3cyclictest25-21ksoftirqd/121:45:241
14194994438,4cyclictest25-21ksoftirqd/119:16:101
14194994438,3cyclictest25-21ksoftirqd/120:20:381
14194994437,4cyclictest25-21ksoftirqd/123:35:001
14193994438,4cyclictest9-21ksoftirqd/021:10:560
123591440,1ptp4l401ktimersoftd/322:30:363
123591440,1ptp4l401ktimersoftd/321:20:443
123591440,1ptp4l401ktimersoftd/320:55:333
1419699433,34cyclictest20785-21apt-get00:00:213
14196994321,19cyclictest41-21ksoftirqd/323:17:413
14195994337,3cyclictest33-21ksoftirqd/219:51:282
14194994337,4cyclictest25-21ksoftirqd/123:45:421
14194994337,4cyclictest25-21ksoftirqd/100:20:391
14194994336,4cyclictest25-21ksoftirqd/120:05:201
14194994335,5cyclictest25-21ksoftirqd/100:01:111
14193994336,4cyclictest9-21ksoftirqd/019:54:590
14193994325,4cyclictest9-21ksoftirqd/019:15:470
1264624336,3sleep09-21ksoftirqd/023:40:350
123591430,1ptp4l401ktimersoftd/322:52:543
14196994235,4cyclictest41-21ksoftirqd/323:30:193
14196994222,17cyclictest41-21ksoftirqd/319:52:583
14196994214,24cyclictest22430-21sed21:45:253
1419699420,38cyclictest28729-21grep20:50:253
14195994234,5cyclictest33-21ksoftirqd/200:06:142
14195994225,14cyclictest33-21ksoftirqd/223:58:232
14194994235,4cyclictest25-21ksoftirqd/123:40:001
14194994235,4cyclictest25-21ksoftirqd/123:00:001
14194994235,4cyclictest25-21ksoftirqd/121:30:321
14193994235,4cyclictest9-21ksoftirqd/000:05:320
1419399421,7cyclictest121rcu_preempt21:27:160
14196994134,4cyclictest41-21ksoftirqd/319:45:553
1419699413,31cyclictest30262-21apt-get00:20:283
14196994125,5cyclictest41-21ksoftirqd/320:49:393
1419699412,34cyclictest0-21swapper/323:55:203
1419699412,32cyclictest29083-21apt-get22:00:203
1419699411,35cyclictest0-21swapper/320:00:193
1419699410,5cyclictest2995-21tr19:55:233
1419699410,4cyclictest29136-21ls19:40:313
1419699410,3cyclictest6778-21chrt00:39:143
1419699410,3cyclictest6778-21chrt00:39:143
14195994135,3cyclictest33-21ksoftirqd/220:08:492
14195994134,4cyclictest33-21ksoftirqd/220:19:152
14195994134,4cyclictest33-21ksoftirqd/200:30:102
123591410,1ptp4l401ktimersoftd/321:14:343
14196994034,3cyclictest41-21ksoftirqd/323:53:113
14196994033,4cyclictest41-21ksoftirqd/321:40:013
14196994033,4cyclictest41-21ksoftirqd/321:40:003
14196994032,5cyclictest41-21ksoftirqd/322:15:223
1419699402,33cyclictest2526-21apt-get00:30:223
1419699400,4cyclictest3840-21df_abs21:05:273
1419599405,5cyclictest0-21swapper/200:20:272
1419599404,6cyclictest0-21swapper/222:00:212
1419599404,6cyclictest0-21swapper/200:00:212
1419599403,5cyclictest0-21swapper/219:35:222
14195994034,3cyclictest33-21ksoftirqd/221:45:142
14195994034,3cyclictest33-21ksoftirqd/221:31:482
14195994034,3cyclictest33-21ksoftirqd/219:18:472
14195994033,4cyclictest33-21ksoftirqd/222:28:582
14194994035,3cyclictest25-21ksoftirqd/120:45:301
14194994034,4cyclictest25-21ksoftirqd/121:50:321
14194994034,4cyclictest25-21ksoftirqd/119:55:381
14194994033,4cyclictest25-21ksoftirqd/119:30:011
14193994034,4cyclictest9-21ksoftirqd/020:59:240
14193994034,4cyclictest9-21ksoftirqd/020:51:550
14193994033,4cyclictest9-21ksoftirqd/022:07:240
14193994033,4cyclictest9-21ksoftirqd/020:03:350
14193994033,4cyclictest9-21ksoftirqd/019:10:280
14193994032,5cyclictest9-21ksoftirqd/020:40:420
14196993932,4cyclictest41-21ksoftirqd/323:28:013
14196993932,4cyclictest41-21ksoftirqd/300:27:263
14196993932,4cyclictest41-21ksoftirqd/300:14:303
1419699391,34cyclictest0-21swapper/320:20:203
14196993912,23cyclictest26674-21acpi21:55:203
1419699390,4cyclictest19424-21perl19:20:223
1419699390,4cyclictest17632-21dpkg22:45:233
1419699390,4cyclictest1447-21tr22:10:223
1419599399,5cyclictest14880-21fschecks_count20:20:242
1419599394,6cyclictest0-21swapper/223:35:212
14195993934,3cyclictest33-21ksoftirqd/221:35:302
14195993934,3cyclictest33-21ksoftirqd/221:35:302
14195993934,3cyclictest33-21ksoftirqd/221:20:222
14195993934,3cyclictest33-21ksoftirqd/221:11:102
14195993933,4cyclictest33-21ksoftirqd/223:53:052
14195993933,4cyclictest33-21ksoftirqd/222:10:312
14195993933,4cyclictest33-21ksoftirqd/221:17:262
14195993933,3cyclictest33-21ksoftirqd/223:48:332
14195993933,3cyclictest33-21ksoftirqd/220:12:372
14195993933,3cyclictest33-21ksoftirqd/220:12:362
14195993932,4cyclictest33-21ksoftirqd/223:25:192
14195993932,4cyclictest33-21ksoftirqd/221:50:222
14195993932,4cyclictest33-21ksoftirqd/220:29:072
14195993932,4cyclictest33-21ksoftirqd/200:27:522
14195993931,5cyclictest33-21ksoftirqd/222:46:402
14195993931,5cyclictest33-21ksoftirqd/219:31:062
14195993931,5cyclictest33-21ksoftirqd/219:22:522
14194993934,3cyclictest25-21ksoftirqd/122:30:291
14193993933,3cyclictest9-21ksoftirqd/021:53:480
14193993933,3cyclictest9-21ksoftirqd/021:03:450
14193993932,4cyclictest9-21ksoftirqd/023:13:530
14193993932,4cyclictest9-21ksoftirqd/023:13:530
14193993932,4cyclictest9-21ksoftirqd/023:05:000
14193993932,4cyclictest9-21ksoftirqd/022:14:420
14193993932,4cyclictest9-21ksoftirqd/020:21:220
14193993932,4cyclictest9-21ksoftirqd/000:25:190
1419699389,25cyclictest19688-21fschecks_count20:30:253
14196993833,3cyclictest41-21ksoftirqd/321:00:513
14196993832,3cyclictest41-21ksoftirqd/322:09:583
14196993831,4cyclictest41-21ksoftirqd/321:18:063
14196993831,4cyclictest41-21ksoftirqd/319:12:163
14196993819,16cyclictest41-21ksoftirqd/323:21:373
1419699381,33cyclictest0-21swapper/322:40:193
14196993812,23cyclictest17006-21cat20:25:243
1419699380,3cyclictest0-21swapper/323:40:223
1419599383,5cyclictest0-21swapper/221:25:202
14195993832,3cyclictest33-21ksoftirqd/222:19:052
14195993831,4cyclictest33-21ksoftirqd/222:41:272
14195993831,4cyclictest33-21ksoftirqd/220:52:432
14195993831,4cyclictest33-21ksoftirqd/200:19:072
1419599382,8cyclictest1126-21runrttasks22:55:222
14195993812,4cyclictest7180-21latency_hist20:05:012
14195993811,5cyclictest27854-21tail20:45:402
14194993832,4cyclictest25-21ksoftirqd/120:00:241
14193993832,4cyclictest9-21ksoftirqd/023:55:520
14193993832,4cyclictest9-21ksoftirqd/019:55:050
14193993832,3cyclictest9-21ksoftirqd/021:09:070
14193993832,3cyclictest9-21ksoftirqd/000:31:330
14193993831,4cyclictest9-21ksoftirqd/022:54:450
14193993831,4cyclictest9-21ksoftirqd/022:48:560
14193993831,4cyclictest9-21ksoftirqd/020:31:420
14193993831,4cyclictest9-21ksoftirqd/019:33:450
14193993831,4cyclictest9-21ksoftirqd/000:24:580
14193993831,4cyclictest9-21ksoftirqd/000:18:410
14196993730,4cyclictest41-21ksoftirqd/320:35:543
1419699371,31cyclictest0-21swapper/319:25:223
1419699371,29cyclictest35392irq/88-enp1s0-T21:30:203
14196993710,24cyclictest25816-21ptp4l23:00:373
14195993731,4cyclictest33-21ksoftirqd/221:03:232
14195993730,4cyclictest33-21ksoftirqd/223:13:242
14195993730,4cyclictest33-21ksoftirqd/223:13:242
14195993730,4cyclictest33-21ksoftirqd/219:58:352
14195993730,4cyclictest33-21ksoftirqd/219:47:162
14195993730,4cyclictest33-21ksoftirqd/219:10:472
14195993712,4cyclictest26673-21/usr/sbin/munin21:55:252
14195993711,4cyclictest12924-21acpi22:35:192
14193993732,3cyclictest9-21ksoftirqd/000:38:000
14193993732,3cyclictest9-21ksoftirqd/000:37:590
14193993731,3cyclictest9-21ksoftirqd/022:30:510
14193993731,3cyclictest9-21ksoftirqd/021:56:410
14193993731,3cyclictest9-21ksoftirqd/020:11:060
14193993731,3cyclictest9-21ksoftirqd/020:11:060
14193993730,4cyclictest9-21ksoftirqd/023:29:500
14193993730,4cyclictest9-21ksoftirqd/023:18:060
14193993730,4cyclictest9-21ksoftirqd/022:22:590
14193993730,4cyclictest9-21ksoftirqd/022:04:180
14193993730,4cyclictest9-21ksoftirqd/020:39:080
14193993730,4cyclictest9-21ksoftirqd/020:06:530
14193993730,4cyclictest9-21ksoftirqd/019:48:370
14193993730,4cyclictest9-21ksoftirqd/019:23:010
14193993729,5cyclictest9-21ksoftirqd/019:26:580
1419699369,23cyclictest24434-21cat21:50:213
14196993630,4cyclictest41-21ksoftirqd/322:39:393
14196993630,3cyclictest41-21ksoftirqd/322:26:253
1419699360,5cyclictest24001-21diskstats19:30:223
1419699360,3cyclictest0-21swapper/320:05:353
1419599367,8cyclictest1606-21run-parts23:20:002
1419599364,4cyclictest0-21swapper/200:10:242
14195993631,3cyclictest33-21ksoftirqd/222:22:022
14195993630,4cyclictest33-21ksoftirqd/221:40:112
14195993630,4cyclictest33-21ksoftirqd/221:40:112
14195993629,4cyclictest33-21ksoftirqd/221:09:012
14195993612,4cyclictest29198-21sed19:40:332
14193993630,3cyclictest9-21ksoftirqd/021:38:300
14193993630,3cyclictest9-21ksoftirqd/021:38:290
14193993629,4cyclictest9-21ksoftirqd/023:53:470
14193993629,4cyclictest9-21ksoftirqd/023:46:090
14193993629,4cyclictest9-21ksoftirqd/023:20:150
14193993629,4cyclictest9-21ksoftirqd/020:17:050
1419699352,6cyclictest29468-21apt-get23:10:183
1419699352,6cyclictest29468-21apt-get23:10:173
1419699350,3cyclictest11104-21smartctl20:10:383
1419699350,3cyclictest11104-21smartctl20:10:383
1419599353,6cyclictest0-21swapper/220:35:232
14195993529,3cyclictest33-21ksoftirqd/220:41:222
1419599352,7cyclictest21312-21apt-get19:25:222
14195993511,3cyclictest494-21unixbench_multi22:05:382
14195993428,3cyclictest33-21ksoftirqd/220:31:262
14195993412,4cyclictest4757-21/usr/sbin/munin00:35:272
14195993412,4cyclictest4757-21/usr/sbin/munin00:35:272
14193993428,3cyclictest9-21ksoftirqd/023:08:120
14193993427,4cyclictest9-21ksoftirqd/023:34:490
14193993427,4cyclictest9-21ksoftirqd/021:44:280
14193993427,4cyclictest9-21ksoftirqd/021:44:280
14193993427,4cyclictest9-21ksoftirqd/000:13:370
14193993426,5cyclictest9-21ksoftirqd/021:19:060
1419599337,4cyclictest24866-21cat23:00:242
14195993327,3cyclictest33-21ksoftirqd/223:24:462
14193993326,4cyclictest9-21ksoftirqd/022:44:090
14193993326,4cyclictest9-21ksoftirqd/020:47:270
14193993226,4cyclictest9-21ksoftirqd/021:22:130
14193993225,4cyclictest9-21ksoftirqd/020:28:280
14193993225,4cyclictest9-21ksoftirqd/019:35:040
14193993125,3cyclictest9-21ksoftirqd/022:59:200
14193993124,4cyclictest9-21ksoftirqd/023:36:400
14193993124,4cyclictest9-21ksoftirqd/021:31:320
14193993123,5cyclictest9-21ksoftirqd/022:27:120
14193993024,3cyclictest9-21ksoftirqd/021:48:470
14193993023,4cyclictest9-21ksoftirqd/022:15:130
14193992922,4cyclictest9-21ksoftirqd/022:38:320
14193992821,4cyclictest9-21ksoftirqd/019:43:200
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional