You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-10-04 - 09:12
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 792 highest latencies:
System rackdslot4.osadl.org (updated Wed Oct 04, 2023 00:46:12)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
383822770,7sleep00-21swapper/019:05:260
1299912520,5ptp4l401ktimersoftd/319:05:303
496421010,8sleep1540399cyclictest23:40:311
5405999280,7cyclictest41-21ksoftirqd/320:40:203
5405998374,5cyclictest41-21ksoftirqd/300:35:203
5402998312,14cyclictest17254-21cat23:00:000
5405998270,8cyclictest41-21ksoftirqd/319:55:173
5405998069,7cyclictest41-21ksoftirqd/321:20:183
50742803,19sleep20-21swapper/219:09:292
5405997865,8cyclictest41-21ksoftirqd/321:45:193
5402997713,12cyclictest8588-21acpi20:25:190
5402997713,12cyclictest21222-21sed00:15:210
114782770,8sleep0540299cyclictest22:45:380
5405997665,7cyclictest41-21ksoftirqd/322:10:193
5405997563,7cyclictest41-21ksoftirqd/322:35:223
5405997462,7cyclictest41-21ksoftirqd/300:20:193
5405997461,8cyclictest41-21ksoftirqd/323:35:153
540299748,13cyclictest17199-21sed19:35:010
485327453,10sleep10-21swapper/119:06:421
5405997361,7cyclictest41-21ksoftirqd/320:05:183
5405997359,8cyclictest41-21ksoftirqd/320:20:163
5405997359,7cyclictest41-21ksoftirqd/320:00:193
5405997357,9cyclictest41-21ksoftirqd/319:10:183
5402997213,11cyclictest20539-21grep20:50:190
5402997212,12cyclictest7708-21acpi22:40:140
5405997158,7cyclictest41-21ksoftirqd/323:25:183
540299708,15cyclictest11477-21cat21:40:190
540299698,13cyclictest1892-21latency_hist21:20:000
5402996912,12cyclictest9603-21latency23:50:260
5405996753,7cyclictest41-21ksoftirqd/319:40:213
540299679,13cyclictest18212-21latency_hist00:10:000
5402996711,18cyclictest1898-21cat20:10:280
540299648,11cyclictest11071-21ls19:20:260
5405996251,6cyclictest41-21ksoftirqd/321:40:213
5405996234,4cyclictest41-21ksoftirqd/321:05:333
5405996148,8cyclictest41-21ksoftirqd/323:20:183
5405996148,8cyclictest41-21ksoftirqd/323:20:173
540299618,16cyclictest3865-21latency_hist23:40:010
5403995952,4cyclictest25-21ksoftirqd/122:40:001
5402995911,9cyclictest27710-21if_enp1s023:20:250
5402995911,9cyclictest27710-21if_enp1s023:20:250
119142590,2sleep30-21swapper/322:47:293
5405995845,7cyclictest41-21ksoftirqd/323:55:193
5402995812,9cyclictest2265-21gnome-shell00:22:580
93722570,2sleep10-21swapper/121:35:201
5405995751,3cyclictest41-21ksoftirqd/320:15:003
5405995647,5cyclictest41-21ksoftirqd/320:50:183
5405995642,7cyclictest41-21ksoftirqd/321:35:193
5402995611,8cyclictest11653-21if_enp4s023:55:250
5405995529,4cyclictest41-21ksoftirqd/300:30:183
5403995548,4cyclictest25-21ksoftirqd/121:05:011
5405995447,4cyclictest41-21ksoftirqd/320:26:583
5405995445,5cyclictest41-21ksoftirqd/320:45:203
5403995448,3cyclictest25-21ksoftirqd/123:39:591
5403995447,4cyclictest25-21ksoftirqd/100:00:001
129991540,1ptp4l401ktimersoftd/320:17:193
5405995346,4cyclictest41-21ksoftirqd/323:50:013
5404995332,4cyclictest33-21ksoftirqd/219:58:462
5404995331,5cyclictest33-21ksoftirqd/220:13:162
5403995346,4cyclictest25-21ksoftirqd/121:25:001
5403995245,4cyclictest25-21ksoftirqd/119:55:001
5403995245,3cyclictest25-21ksoftirqd/122:45:001
5405995138,6cyclictest41-21ksoftirqd/322:30:183
5404995143,4cyclictest209-21systemd-journal21:04:452
540399517,5cyclictest25-21ksoftirqd/100:40:001
5403995145,3cyclictest25-21ksoftirqd/122:59:591
5403995138,10cyclictest25-21ksoftirqd/123:20:271
5403995138,10cyclictest25-21ksoftirqd/123:20:271
5405995043,4cyclictest41-21ksoftirqd/300:20:003
540499501,46cyclictest14509-21cron19:30:002
5403995044,4cyclictest25-21ksoftirqd/120:45:001
5403995044,3cyclictest25-21ksoftirqd/119:50:001
56498490,10rtkit-daemon0-21swapper/120:24:101
5405994944,3cyclictest41-21ksoftirqd/322:45:003
5405994944,3cyclictest41-21ksoftirqd/322:20:013
5405994942,4cyclictest41-21ksoftirqd/319:50:343
5405994941,4cyclictest41-21ksoftirqd/321:50:173
5405994939,4cyclictest41-21ksoftirqd/322:59:593
5404994943,4cyclictest33-21ksoftirqd/221:44:592
5403994943,4cyclictest25-21ksoftirqd/120:10:251
5403994943,3cyclictest25-21ksoftirqd/119:20:011
5403994942,4cyclictest25-21ksoftirqd/120:15:191
129991490,1ptp4l401ktimersoftd/319:26:483
5405994842,4cyclictest41-21ksoftirqd/322:55:003
5405994842,4cyclictest41-21ksoftirqd/320:40:003
5405994842,3cyclictest41-21ksoftirqd/321:14:593
5405994842,3cyclictest41-21ksoftirqd/319:20:163
5405994841,4cyclictest41-21ksoftirqd/321:00:003
5403994843,3cyclictest25-21ksoftirqd/122:25:011
5403994843,3cyclictest25-21ksoftirqd/119:35:001
5403994843,3cyclictest25-21ksoftirqd/100:05:001
5403994842,3cyclictest25-21ksoftirqd/121:50:001
5403994841,4cyclictest25-21ksoftirqd/120:50:011
5403994841,4cyclictest25-21ksoftirqd/100:25:001
221382480,7sleep0540299cyclictest22:00:370
5405994741,3cyclictest41-21ksoftirqd/323:05:003
5403994742,3cyclictest25-21ksoftirqd/121:30:211
5403994742,3cyclictest25-21ksoftirqd/119:44:591
5403994742,3cyclictest25-21ksoftirqd/100:25:271
5403994741,4cyclictest25-21ksoftirqd/122:15:011
5403994741,4cyclictest25-21ksoftirqd/121:00:001
5403994741,4cyclictest25-21ksoftirqd/119:55:261
5403994741,3cyclictest25-21ksoftirqd/122:00:001
5403994741,3cyclictest25-21ksoftirqd/120:50:231
5403994741,3cyclictest25-21ksoftirqd/120:05:201
5403994741,3cyclictest25-21ksoftirqd/119:15:001
5403994741,3cyclictest25-21ksoftirqd/100:15:001
5403994740,4cyclictest25-21ksoftirqd/123:35:001
5403994740,4cyclictest25-21ksoftirqd/100:05:321
5405994641,3cyclictest41-21ksoftirqd/321:05:013
5405994640,3cyclictest41-21ksoftirqd/300:15:003
5405994639,4cyclictest41-21ksoftirqd/322:25:013
5405994639,4cyclictest41-21ksoftirqd/319:20:013
5403994640,4cyclictest25-21ksoftirqd/123:15:291
5403994640,3cyclictest25-21ksoftirqd/123:15:001
5403994640,3cyclictest25-21ksoftirqd/121:25:361
5403994639,4cyclictest25-21ksoftirqd/120:30:181
5403994639,4cyclictest25-21ksoftirqd/120:00:211
5405994540,3cyclictest41-21ksoftirqd/323:15:003
5405994539,4cyclictest41-21ksoftirqd/319:30:023
5405994539,3cyclictest41-21ksoftirqd/323:40:303
5405994539,3cyclictest41-21ksoftirqd/323:15:393
5405994539,3cyclictest41-21ksoftirqd/319:45:363
5405994539,3cyclictest41-21ksoftirqd/300:00:293
5405994538,4cyclictest41-21ksoftirqd/322:25:203
5403994540,3cyclictest25-21ksoftirqd/122:55:001
5403994540,3cyclictest25-21ksoftirqd/121:40:261
5403994540,3cyclictest25-21ksoftirqd/120:40:001
5403994540,3cyclictest25-21ksoftirqd/119:20:241
5403994539,3cyclictest25-21ksoftirqd/123:45:191
5403994539,3cyclictest25-21ksoftirqd/100:19:591
540399453,8cyclictest25-21ksoftirqd/120:30:001
5403994538,4cyclictest25-21ksoftirqd/123:05:011
5403994510,4cyclictest25-21ksoftirqd/122:45:401
5405994438,4cyclictest41-21ksoftirqd/322:05:333
5405994438,4cyclictest41-21ksoftirqd/321:55:293
5405994438,4cyclictest41-21ksoftirqd/321:30:213
5405994438,4cyclictest41-21ksoftirqd/300:10:003
5405994438,3cyclictest41-21ksoftirqd/320:30:363
5405994437,4cyclictest41-21ksoftirqd/321:20:003
540399449,4cyclictest25-21ksoftirqd/122:35:001
540399448,5cyclictest25-21ksoftirqd/121:05:301
540399446,4cyclictest25-21ksoftirqd/121:50:341
5403994439,3cyclictest25-21ksoftirqd/123:55:011
5403994439,3cyclictest25-21ksoftirqd/123:05:271
5403994439,3cyclictest25-21ksoftirqd/122:05:331
5403994439,3cyclictest25-21ksoftirqd/119:25:271
5403994438,3cyclictest25-21ksoftirqd/100:30:281
5403994429,8cyclictest25-21ksoftirqd/122:15:171
5402994438,4cyclictest9-21ksoftirqd/019:58:460
5405994337,4cyclictest41-21ksoftirqd/300:30:003
5405994337,3cyclictest41-21ksoftirqd/323:05:323
5405994336,4cyclictest41-21ksoftirqd/319:35:383
5404994336,4cyclictest33-21ksoftirqd/223:52:512
5404994336,4cyclictest33-21ksoftirqd/221:26:592
5404994336,4cyclictest33-21ksoftirqd/219:10:592
540399436,4cyclictest25-21ksoftirqd/122:00:351
5403994336,4cyclictest25-21ksoftirqd/123:25:271
5402994337,4cyclictest9-21ksoftirqd/022:22:320
5402994337,4cyclictest9-21ksoftirqd/019:37:030
5405994237,3cyclictest41-21ksoftirqd/323:50:263
5405994237,3cyclictest41-21ksoftirqd/322:00:413
5405994236,3cyclictest41-21ksoftirqd/323:30:213
5404994236,4cyclictest33-21ksoftirqd/223:23:302
5404994236,4cyclictest33-21ksoftirqd/223:23:292
5404994235,4cyclictest33-21ksoftirqd/222:51:082
5405994135,3cyclictest41-21ksoftirqd/321:25:263
5404994135,3cyclictest33-21ksoftirqd/219:23:352
5404994134,4cyclictest33-21ksoftirqd/219:37:242
5403994134,4cyclictest25-21ksoftirqd/121:10:241
5402994135,3cyclictest9-21ksoftirqd/000:04:410
5402994134,4cyclictest9-21ksoftirqd/021:20:300
5402994114,12cyclictest30321-21ls23:25:280
5402994113,13cyclictest27702-21seq00:30:010
5404994033,4cyclictest33-21ksoftirqd/220:43:032
5404994033,4cyclictest33-21ksoftirqd/200:28:462
5404994033,4cyclictest33-21ksoftirqd/200:04:222
5403994035,3cyclictest25-21ksoftirqd/122:25:001
5402994032,5cyclictest9-21ksoftirqd/023:14:050
5402994013,11cyclictest20374-21cat00:15:000
5404993932,4cyclictest33-21ksoftirqd/223:48:542
5404993932,4cyclictest33-21ksoftirqd/223:36:132
5404993932,4cyclictest33-21ksoftirqd/222:04:062
5404993932,4cyclictest33-21ksoftirqd/222:00:002
5404993932,4cyclictest33-21ksoftirqd/220:18:102
5404993931,5cyclictest33-21ksoftirqd/222:43:082
540499391,10cyclictest0-21swapper/222:35:012
5403993933,3cyclictest25-21ksoftirqd/121:15:231
5403993932,4cyclictest25-21ksoftirqd/119:35:211
5402993934,3cyclictest9-21ksoftirqd/021:38:300
5402993932,4cyclictest9-21ksoftirqd/023:08:220
5402993932,4cyclictest9-21ksoftirqd/021:32:510
5402993932,4cyclictest9-21ksoftirqd/020:55:160
5402993932,4cyclictest9-21ksoftirqd/020:44:130
5402993932,4cyclictest9-21ksoftirqd/019:19:140
5402993931,5cyclictest9-21ksoftirqd/021:56:110
5402993910,11cyclictest7686-21sed19:15:010
5404993832,4cyclictest33-21ksoftirqd/222:07:312
5404993831,4cyclictest33-21ksoftirqd/223:16:292
5404993831,4cyclictest33-21ksoftirqd/221:51:232
5404993831,4cyclictest33-21ksoftirqd/220:26:192
5404993831,4cyclictest33-21ksoftirqd/219:31:492
5404993831,4cyclictest33-21ksoftirqd/219:19:082
5404993831,4cyclictest33-21ksoftirqd/200:13:162
540499382,3cyclictest121rcu_preempt20:00:362
5402993832,4cyclictest9-21ksoftirqd/019:48:200
5402993831,4cyclictest9-21ksoftirqd/023:43:350
5402993831,4cyclictest9-21ksoftirqd/022:52:570
5402993831,4cyclictest9-21ksoftirqd/022:37:220
5402993831,4cyclictest9-21ksoftirqd/021:08:130
5402993831,4cyclictest9-21ksoftirqd/020:20:250
5402993831,4cyclictest9-21ksoftirqd/019:29:530
5402993812,13cyclictest4867-21proc_pri20:15:300
5402993812,12cyclictest11871-21missed_timers20:30:310
5404993732,3cyclictest33-21ksoftirqd/221:36:452
5404993731,3cyclictest33-21ksoftirqd/221:05:142
5404993731,3cyclictest33-21ksoftirqd/220:48:322
5404993731,3cyclictest33-21ksoftirqd/200:09:082
5404993730,4cyclictest33-21ksoftirqd/223:09:132
5404993730,4cyclictest33-21ksoftirqd/222:55:052
5404993730,4cyclictest33-21ksoftirqd/222:49:552
5404993730,4cyclictest33-21ksoftirqd/222:29:512
5404993730,4cyclictest33-21ksoftirqd/222:22:112
5404993730,4cyclictest33-21ksoftirqd/222:13:472
5404993730,4cyclictest33-21ksoftirqd/220:59:152
5404993730,4cyclictest33-21ksoftirqd/220:54:202
5404993730,4cyclictest33-21ksoftirqd/220:23:342
5404993730,4cyclictest33-21ksoftirqd/219:49:102
5402993731,4cyclictest9-21ksoftirqd/023:16:010
5404993630,3cyclictest33-21ksoftirqd/200:19:522
5404993629,4cyclictest33-21ksoftirqd/223:43:042
5404993629,4cyclictest33-21ksoftirqd/223:01:382
5404993629,4cyclictest33-21ksoftirqd/220:33:172
5402993631,3cyclictest6514-21apt21:30:000
5402993629,4cyclictest9-21ksoftirqd/022:05:510
5402993629,4cyclictest9-21ksoftirqd/021:51:130
5402993629,4cyclictest9-21ksoftirqd/020:08:310
5402993629,4cyclictest9-21ksoftirqd/000:38:440
5404993530,3cyclictest33-21ksoftirqd/221:47:472
5404993529,4cyclictest33-21ksoftirqd/221:16:252
5404993529,3cyclictest33-21ksoftirqd/223:34:322
5404993529,3cyclictest33-21ksoftirqd/220:08:522
5404993528,4cyclictest33-21ksoftirqd/219:41:192
5404993528,4cyclictest33-21ksoftirqd/200:35:442
5402993529,4cyclictest9-21ksoftirqd/021:14:480
5402993529,4cyclictest9-21ksoftirqd/019:41:590
5402993528,4cyclictest9-21ksoftirqd/023:46:530
5402993528,4cyclictest9-21ksoftirqd/019:53:220
5404993429,3cyclictest33-21ksoftirqd/223:58:002
5404993428,4cyclictest33-21ksoftirqd/221:14:292
5404993427,4cyclictest33-21ksoftirqd/223:14:442
5404993427,4cyclictest33-21ksoftirqd/220:38:392
540299346,11cyclictest0-21swapper/020:45:360
5402993428,3cyclictest9-21ksoftirqd/022:25:050
5402993427,4cyclictest9-21ksoftirqd/022:13:420
5402993427,4cyclictest9-21ksoftirqd/021:00:070
5402993427,4cyclictest9-21ksoftirqd/020:00:090
5404993328,3cyclictest33-21ksoftirqd/222:17:122
5404993327,4cyclictest33-21ksoftirqd/223:29:162
5404993326,4cyclictest33-21ksoftirqd/200:23:362
540299336,11cyclictest4520-21ssh22:30:350
5404993226,4cyclictest33-21ksoftirqd/219:50:592
5404993226,3cyclictest33-21ksoftirqd/222:35:092
5402993226,4cyclictest9-21ksoftirqd/020:39:230
5402993225,4cyclictest9-21ksoftirqd/022:19:080
5402993225,4cyclictest9-21ksoftirqd/000:34:490
5404993126,3cyclictest33-21ksoftirqd/221:30:372
5404993126,3cyclictest33-21ksoftirqd/200:33:022
5402993124,4cyclictest9-21ksoftirqd/023:00:020
5402993023,4cyclictest9-21ksoftirqd/023:32:350
5404992922,4cyclictest33-21ksoftirqd/221:21:452
5402992821,4cyclictest9-21ksoftirqd/021:45:040
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional