You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-10-04 - 04:51
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 376 highest latencies:
System rackdslot3.osadl.org (updated Wed Oct 04, 2023 00:46:15)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
844424720,8sleep10-21swapper/119:05:261
8255911310,47ptp4l401ktimersoftd/319:09:293
768929574,9sleep20-21swapper/219:05:152
10063998272,6cyclictest9-21ksoftirqd/020:20:170
10063998070,6cyclictest9-21ksoftirqd/000:15:190
10063997966,8cyclictest9-21ksoftirqd/020:25:200
92592780,3sleep00-21swapper/019:05:370
10063997666,6cyclictest9-21ksoftirqd/019:35:190
10063997664,8cyclictest9-21ksoftirqd/023:05:200
10063997664,8cyclictest9-21ksoftirqd/023:05:190
10063997564,6cyclictest9-21ksoftirqd/000:10:200
10063997563,8cyclictest9-21ksoftirqd/021:15:220
10063997562,7cyclictest9-21ksoftirqd/020:00:190
10063997462,7cyclictest9-21ksoftirqd/020:55:180
10063997362,7cyclictest9-21ksoftirqd/000:00:210
10063997258,9cyclictest9-21ksoftirqd/023:25:180
10063997159,6cyclictest9-21ksoftirqd/022:20:190
10063997158,7cyclictest9-21ksoftirqd/000:30:180
10063997060,5cyclictest9-21ksoftirqd/019:55:180
167322670,5sleep116733-21cut21:40:261
167322670,5sleep116733-21cut21:40:251
154702670,8sleep01006399cyclictest21:35:390
10063996651,7cyclictest9-21ksoftirqd/020:40:200
10063996547,9cyclictest9-21ksoftirqd/020:30:190
271292580,2sleep30-21swapper/300:20:223
825391570,9getstats1006699cyclictest20:43:433
297182560,8sleep21006599cyclictest22:05:442
1006399562,4cyclictest121rcu_preempt19:50:000
288432550,2sleep10-21swapper/123:15:241
10063995434,4cyclictest9-21ksoftirqd/022:25:340
10063995347,4cyclictest9-21ksoftirqd/023:55:010
10063995347,3cyclictest9-21ksoftirqd/020:20:000
10063995218,5cyclictest9-21ksoftirqd/023:10:340
10063995145,3cyclictest9-21ksoftirqd/020:09:590
825591500,1ptp4l401ktimersoftd/322:23:093
10063995044,3cyclictest9-21ksoftirqd/023:20:000
10065994932,14cyclictest33-21ksoftirqd/221:21:562
10063994942,4cyclictest9-21ksoftirqd/020:45:400
10063994936,4cyclictest9-21ksoftirqd/023:20:380
10063994841,4cyclictest9-21ksoftirqd/021:30:010
10063994816,4cyclictest9-21ksoftirqd/019:25:330
10063994740,4cyclictest9-21ksoftirqd/022:35:240
10063994740,4cyclictest9-21ksoftirqd/000:35:250
10063994713,5cyclictest9-21ksoftirqd/023:00:350
10065994639,3cyclictest33-21ksoftirqd/221:09:592
10065994630,13cyclictest33-21ksoftirqd/221:02:442
10064994640,3cyclictest25-21ksoftirqd/121:35:001
10063994641,3cyclictest9-21ksoftirqd/000:00:000
10063994640,4cyclictest9-21ksoftirqd/022:05:260
10063994640,3cyclictest9-21ksoftirqd/023:50:000
10063994639,4cyclictest9-21ksoftirqd/022:59:590
10063994539,3cyclictest9-21ksoftirqd/022:45:370
10063994539,3cyclictest9-21ksoftirqd/021:34:590
10063994539,3cyclictest9-21ksoftirqd/020:35:370
10063994538,4cyclictest9-21ksoftirqd/019:20:010
10063994515,5cyclictest9-21ksoftirqd/022:00:210
10063994512,4cyclictest9-21ksoftirqd/021:50:270
825591440,1ptp4l401ktimersoftd/323:35:303
10066994437,4cyclictest41-21ksoftirqd/321:45:013
10066994437,4cyclictest41-21ksoftirqd/321:45:003
10065994427,14cyclictest33-21ksoftirqd/220:18:522
1006399444,6cyclictest9-21ksoftirqd/019:20:320
10063994438,4cyclictest9-21ksoftirqd/000:10:000
10063994438,3cyclictest9-21ksoftirqd/022:50:370
10063994438,3cyclictest9-21ksoftirqd/019:45:010
10063994414,7cyclictest9-21ksoftirqd/021:05:230
10063994413,8cyclictest9-21ksoftirqd/019:50:260
10063994411,4cyclictest9-21ksoftirqd/022:15:360
10066994338,3cyclictest41-21ksoftirqd/300:00:003
10065994326,14cyclictest33-21ksoftirqd/220:44:582
10063994338,3cyclictest9-21ksoftirqd/021:45:010
10063994338,3cyclictest9-21ksoftirqd/021:45:000
10063994338,3cyclictest9-21ksoftirqd/019:10:250
10063994337,4cyclictest9-21ksoftirqd/021:00:210
10063994337,3cyclictest9-21ksoftirqd/023:45:010
10063994337,3cyclictest9-21ksoftirqd/022:10:380
10063994337,3cyclictest9-21ksoftirqd/021:50:000
10063994336,4cyclictest9-21ksoftirqd/023:40:010
10063994336,4cyclictest9-21ksoftirqd/022:30:390
825591420,1ptp4l401ktimersoftd/319:55:333
825591420,1ptp4l401ktimersoftd/319:30:293
825591420,1ptp4l401ktimersoftd/300:05:253
10066994228,9cyclictest41-21ksoftirqd/320:45:193
10063994237,3cyclictest9-21ksoftirqd/023:30:270
1006399423,6cyclictest9-21ksoftirqd/000:25:330
10063994236,3cyclictest9-21ksoftirqd/022:40:350
10063994235,4cyclictest9-21ksoftirqd/021:55:410
10063994235,4cyclictest9-21ksoftirqd/000:25:000
1006599414,9cyclictest16062-21fschecks_time20:30:252
10065994118,19cyclictest32359-21grep23:20:382
10063994134,4cyclictest9-21ksoftirqd/021:10:400
825791400,1getstats0-21swapper/300:25:343
1006599408,22cyclictest206-21systemd-journal00:11:192
10063994035,3cyclictest9-21ksoftirqd/021:20:220
10063994034,4cyclictest9-21ksoftirqd/019:30:220
10063994034,3cyclictest9-21ksoftirqd/020:55:010
10063994034,3cyclictest9-21ksoftirqd/020:10:420
10066993931,5cyclictest41-21ksoftirqd/321:34:343
10065993923,13cyclictest33-21ksoftirqd/200:39:122
1006599390,4cyclictest3445-21sed21:10:382
1006599390,4cyclictest206-21systemd-journal20:50:192
1006599390,4cyclictest206-21systemd-journal20:05:312
10064993934,3cyclictest25-21ksoftirqd/120:17:071
10066993832,4cyclictest41-21ksoftirqd/323:32:383
10066993831,4cyclictest41-21ksoftirqd/319:12:253
10066993830,5cyclictest41-21ksoftirqd/321:01:383
10065993832,4cyclictest33-21ksoftirqd/221:50:012
10065993832,3cyclictest33-21ksoftirqd/222:00:002
10065993832,3cyclictest33-21ksoftirqd/219:54:432
10065993831,4cyclictest33-21ksoftirqd/223:17:432
10065993831,4cyclictest33-21ksoftirqd/219:15:512
10065993821,14cyclictest33-21ksoftirqd/220:20:162
1006599380,4cyclictest30116-21/usr/sbin/munin00:25:312
1006599380,4cyclictest22947-21tr20:45:232
1006599380,4cyclictest2278-21seq22:18:232
10064993832,3cyclictest25-21ksoftirqd/123:02:381
10064993831,4cyclictest25-21ksoftirqd/121:55:181
825591370,1ptp4l401ktimersoftd/321:10:353
825591370,1ptp4l401ktimersoftd/300:04:303
10066993731,4cyclictest41-21ksoftirqd/320:00:313
10066993730,4cyclictest41-21ksoftirqd/323:45:183
10066993730,4cyclictest41-21ksoftirqd/319:26:063
10066993730,4cyclictest41-21ksoftirqd/319:18:233
10065993730,4cyclictest33-21ksoftirqd/220:12:022
10065993711,23cyclictest17133-21cut00:00:002
10064993731,4cyclictest25-21ksoftirqd/120:08:321
10064993730,4cyclictest25-21ksoftirqd/122:46:421
825591360,1ptp4l401ktimersoftd/323:16:113
825591360,1ptp4l401ktimersoftd/322:51:213
825591360,1ptp4l401ktimersoftd/322:38:213
825591360,1ptp4l401ktimersoftd/320:28:583
825591360,13ptp4l401ktimersoftd/319:35:313
10066993631,3cyclictest41-21ksoftirqd/320:15:363
10066993630,4cyclictest41-21ksoftirqd/323:00:303
10066993629,4cyclictest41-21ksoftirqd/323:50:183
10066993629,4cyclictest41-21ksoftirqd/320:58:323
10066993628,5cyclictest41-21ksoftirqd/319:24:293
1006599363,28cyclictest0-21swapper/222:00:212
10065993630,4cyclictest33-21ksoftirqd/219:57:032
10065993630,3cyclictest33-21ksoftirqd/223:10:472
10065993630,3cyclictest33-21ksoftirqd/222:32:512
10065993629,4cyclictest33-21ksoftirqd/223:53:482
10065993629,4cyclictest33-21ksoftirqd/221:38:362
10065993629,4cyclictest33-21ksoftirqd/221:28:562
10065993629,4cyclictest33-21ksoftirqd/219:31:072
10065993629,4cyclictest33-21ksoftirqd/219:21:482
10065993629,4cyclictest33-21ksoftirqd/219:14:452
10065993611,23cyclictest24696-21df19:40:252
10065993610,23cyclictest1468-21sed23:25:272
10065993610,23cyclictest12997-21wc22:40:262
1006599360,5cyclictest4455-21vmstat22:20:392
10064993630,4cyclictest25-21ksoftirqd/119:26:561
10064993630,3cyclictest25-21ksoftirqd/122:23:111
10064993630,3cyclictest25-21ksoftirqd/120:27:311
10064993629,4cyclictest25-21ksoftirqd/123:05:091
10064993629,4cyclictest25-21ksoftirqd/123:05:081
10064993629,4cyclictest25-21ksoftirqd/122:53:411
10064993629,4cyclictest25-21ksoftirqd/122:42:441
10064993629,4cyclictest25-21ksoftirqd/121:51:531
10064993629,4cyclictest25-21ksoftirqd/121:47:231
10064993629,4cyclictest25-21ksoftirqd/121:23:471
10064993629,4cyclictest25-21ksoftirqd/120:54:331
10064993629,4cyclictest25-21ksoftirqd/119:44:181
10064993629,4cyclictest25-21ksoftirqd/119:24:471
10064993629,4cyclictest25-21ksoftirqd/100:06:551
10064993628,5cyclictest25-21ksoftirqd/100:18:441
825591350,1ptp4l401ktimersoftd/322:57:413
825591350,1ptp4l401ktimersoftd/319:41:023
825591350,1ptp4l401ktimersoftd/300:37:083
100802350,5sleep1241ktimersoftd/121:25:321
10066993529,4cyclictest41-21ksoftirqd/322:03:043
10066993529,4cyclictest41-21ksoftirqd/320:12:153
10066993529,3cyclictest41-21ksoftirqd/322:12:083
10066993529,3cyclictest41-21ksoftirqd/321:36:593
10066993529,3cyclictest41-21ksoftirqd/320:22:073
10066993529,3cyclictest41-21ksoftirqd/319:47:553
10066993528,4cyclictest41-21ksoftirqd/320:39:533
1006599359,22cyclictest19527-21cat00:05:002
1006599354,28cyclictest16191-21/usr/sbin/munin21:40:222
1006599354,28cyclictest16191-21/usr/sbin/munin21:40:212
10065993529,4cyclictest33-21ksoftirqd/220:58:232
10065993529,4cyclictest33-21ksoftirqd/219:46:202
1006599352,8cyclictest10082-21apt-get23:45:182
10065993528,4cyclictest33-21ksoftirqd/223:40:192
10065993528,4cyclictest33-21ksoftirqd/222:57:142
10065993528,4cyclictest33-21ksoftirqd/222:26:302
10065993528,4cyclictest33-21ksoftirqd/220:25:212
10065993514,18cyclictest31783-21df_abs00:30:212
10065993513,19cyclictest4644-21cat21:15:242
10065993511,21cyclictest22226-21sed23:00:302
10064993529,3cyclictest25-21ksoftirqd/123:46:331
10064993528,4cyclictest25-21ksoftirqd/123:50:521
10064993528,4cyclictest25-21ksoftirqd/123:36:161
10064993528,4cyclictest25-21ksoftirqd/121:38:081
10064993528,4cyclictest25-21ksoftirqd/100:39:441
10064993528,4cyclictest25-21ksoftirqd/100:27:431
10064993527,5cyclictest25-21ksoftirqd/119:48:121
825591340,1ptp4l401ktimersoftd/322:16:593
10066993429,3cyclictest41-21ksoftirqd/321:50:343
10066993428,4cyclictest41-21ksoftirqd/323:05:553
10066993428,4cyclictest41-21ksoftirqd/323:05:553
10066993428,4cyclictest41-21ksoftirqd/320:52:463
10066993427,4cyclictest41-21ksoftirqd/323:21:533
10066993427,4cyclictest41-21ksoftirqd/321:58:103
10066993427,4cyclictest41-21ksoftirqd/321:25:183
10066993427,4cyclictest41-21ksoftirqd/321:21:003
10066993427,4cyclictest41-21ksoftirqd/320:33:033
10066993427,4cyclictest41-21ksoftirqd/320:05:323
10066993427,4cyclictest41-21ksoftirqd/300:34:243
10066993427,4cyclictest41-21ksoftirqd/300:17:173
10066993426,5cyclictest41-21ksoftirqd/322:06:133
1006599349,22cyclictest19240-21seq19:27:392
1006599348,23cyclictest4193-21phc2sys-jitter23:30:332
1006599347,24cyclictest18421-21fschecks_time20:35:282
10065993428,4cyclictest33-21ksoftirqd/222:50:482
10065993428,3cyclictest33-21ksoftirqd/220:01:082
1006599342,6cyclictest11605-21apt-get21:30:192
1006599341,4cyclictest27237-21diskstats00:20:242
10065993410,21cyclictest25177-21irqrtprio00:15:262
10065993410,21cyclictest19904-21expr00:05:192
1006599340,5cyclictest15261-21chrt22:45:302
10064993428,4cyclictest25-21ksoftirqd/122:11:201
10064993428,4cyclictest25-21ksoftirqd/100:20:481
10064993428,3cyclictest25-21ksoftirqd/119:37:551
10064993427,4cyclictest25-21ksoftirqd/123:24:521
10064993427,4cyclictest25-21ksoftirqd/121:18:011
10064993427,4cyclictest25-21ksoftirqd/120:58:331
10064993427,4cyclictest25-21ksoftirqd/120:01:201
10064993427,4cyclictest25-21ksoftirqd/119:55:551
10064993427,4cyclictest25-21ksoftirqd/119:33:421
10064993427,4cyclictest25-21ksoftirqd/100:13:581
10064993426,5cyclictest25-21ksoftirqd/123:13:071
825591330,1ptp4l401ktimersoftd/323:14:533
10066993327,4cyclictest41-21ksoftirqd/322:25:363
10066993327,4cyclictest41-21ksoftirqd/321:05:343
10066993326,4cyclictest41-21ksoftirqd/323:44:303
10066993326,4cyclictest41-21ksoftirqd/323:27:523
10065993327,4cyclictest33-21ksoftirqd/222:36:482
10065993326,4cyclictest33-21ksoftirqd/223:38:092
10064993328,3cyclictest25-21ksoftirqd/120:20:161
10064993327,4cyclictest25-21ksoftirqd/123:34:391
10064993326,4cyclictest25-21ksoftirqd/123:55:581
10064993326,4cyclictest25-21ksoftirqd/122:06:511
10064993326,4cyclictest25-21ksoftirqd/119:19:021
10064993326,4cyclictest25-21ksoftirqd/100:33:041
825591320,1ptp4l401ktimersoftd/322:43:263
825591320,1ptp4l401ktimersoftd/319:50:143
10066993227,3cyclictest41-21ksoftirqd/300:10:403
1006599328,21cyclictest206-21systemd-journal23:05:452
1006599328,21cyclictest206-21systemd-journal23:05:442
10064993227,3cyclictest25-21ksoftirqd/120:30:371
10064993225,4cyclictest25-21ksoftirqd/122:36:261
10064993225,4cyclictest25-21ksoftirqd/122:15:021
10064993225,4cyclictest25-21ksoftirqd/119:53:381
10064993225,4cyclictest25-21ksoftirqd/119:13:271
10064993225,4cyclictest25-21ksoftirqd/100:03:221
10066993125,3cyclictest41-21ksoftirqd/321:48:233
10066993124,4cyclictest41-21ksoftirqd/322:45:233
10065993113,15cyclictest31023-21hwlatdetect22:10:272
1006599310,9cyclictest0-21swapper/219:35:392
10064993125,3cyclictest25-21ksoftirqd/122:32:311
10064993124,4cyclictest25-21ksoftirqd/121:14:551
10066993023,4cyclictest41-21ksoftirqd/321:16:103
1006599306,4cyclictest21580-21forks21:50:212
10064993024,4cyclictest25-21ksoftirqd/120:45:581
10064993023,4cyclictest25-21ksoftirqd/122:25:141
257882290,1sleep10-21swapper/122:00:211
10066992923,4cyclictest41-21ksoftirqd/322:30:403
10064992923,4cyclictest25-21ksoftirqd/120:35:401
10064992922,4cyclictest25-21ksoftirqd/121:07:051
10064992922,4cyclictest25-21ksoftirqd/120:14:251
10064992823,3cyclictest25-21ksoftirqd/123:27:561
10064992822,3cyclictest25-21ksoftirqd/123:44:421
10064992720,4cyclictest25-21ksoftirqd/120:43:111
10064992719,5cyclictest25-21ksoftirqd/122:58:351
10064992418,4cyclictest25-21ksoftirqd/121:01:321
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional