You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-12-09 - 08:34
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot4.osadl.org (updated Sat Dec 09, 2023 00:45:59)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
319922040,4sleep00-21swapper/019:10:010
1299911920,6ptp4l401ktimersoftd/319:07:513
415221550,7sleep3330399cyclictest23:45:263
507021490,9sleep2330299cyclictest23:45:372
1860221030,8sleep2330299cyclictest23:05:382
2583721020,2sleep00-21swapper/023:22:390
3301999586,5cyclictest25-21ksoftirqd/122:35:201
3302999176,8cyclictest33-21ksoftirqd/219:15:172
3302999175,9cyclictest33-21ksoftirqd/222:05:162
3302998774,7cyclictest33-21ksoftirqd/220:35:182
3302998672,7cyclictest33-21ksoftirqd/221:10:182
3302998672,7cyclictest33-21ksoftirqd/221:10:182
276528557,15sleep1576-21gmain19:06:481
3302998373,4cyclictest33-21ksoftirqd/222:15:162
3302998269,7cyclictest33-21ksoftirqd/221:40:162
3302998069,6cyclictest33-21ksoftirqd/220:15:192
3302997966,6cyclictest33-21ksoftirqd/222:30:162
3302997965,8cyclictest33-21ksoftirqd/221:45:152
3302997867,7cyclictest33-21ksoftirqd/220:00:202
3302997865,7cyclictest33-21ksoftirqd/223:25:182
3302997864,8cyclictest33-21ksoftirqd/200:10:192
3302997764,8cyclictest33-21ksoftirqd/223:55:182
3302997762,8cyclictest33-21ksoftirqd/221:55:192
3302997663,7cyclictest33-21ksoftirqd/223:40:182
3302997663,7cyclictest33-21ksoftirqd/223:35:182
3302997663,7cyclictest33-21ksoftirqd/223:35:182
86182750,6sleep11258-21lldpd20:30:201
3302997564,6cyclictest33-21ksoftirqd/219:40:182
3302997564,5cyclictest33-21ksoftirqd/221:05:202
3302997362,5cyclictest33-21ksoftirqd/219:20:192
3302997361,6cyclictest33-21ksoftirqd/221:50:192
3302997359,8cyclictest33-21ksoftirqd/219:30:192
3301997361,5cyclictest25-21ksoftirqd/122:50:191
3302997160,5cyclictest33-21ksoftirqd/200:35:192
3302997157,7cyclictest33-21ksoftirqd/221:15:172
3302997058,6cyclictest33-21ksoftirqd/223:20:212
3302997058,6cyclictest33-21ksoftirqd/200:30:172
129991700,2ptp4l391rcuc/319:40:523
3302996757,6cyclictest33-21ksoftirqd/200:20:202
3302996656,6cyclictest33-21ksoftirqd/222:45:202
3302996453,6cyclictest33-21ksoftirqd/221:00:182
3302996352,6cyclictest33-21ksoftirqd/222:00:212
3301996250,3cyclictest25-21ksoftirqd/122:55:161
56498610,21rtkit-daemon1242-21snmpd20:30:092
3302996148,7cyclictest33-21ksoftirqd/223:00:182
3302996046,9cyclictest33-21ksoftirqd/222:25:192
3302995950,5cyclictest33-21ksoftirqd/223:50:192
3302995947,6cyclictest33-21ksoftirqd/220:10:212
3301995844,7cyclictest25-21ksoftirqd/120:45:181
3303995738,15cyclictest41-21ksoftirqd/323:03:423
3301995650,4cyclictest25-21ksoftirqd/121:59:591
3301995649,4cyclictest25-21ksoftirqd/120:00:001
3301995648,4cyclictest25-21ksoftirqd/120:25:011
330399550,2cyclictest0-21swapper/319:22:053
56498540,2rtkit-daemon0-21swapper/100:11:101
330399547,26cyclictest17790-21ptp4l21:55:333
3301995446,4cyclictest25-21ksoftirqd/119:39:591
3302995346,4cyclictest33-21ksoftirqd/220:55:002
3301995341,3cyclictest25-21ksoftirqd/119:34:591
3301995341,10cyclictest25-21ksoftirqd/123:24:591
3302995240,6cyclictest33-21ksoftirqd/221:30:162
3301995245,3cyclictest25-21ksoftirqd/119:45:001
3301995228,3cyclictest25-21ksoftirqd/121:35:141
3302995145,4cyclictest33-21ksoftirqd/221:40:012
3302995145,3cyclictest33-21ksoftirqd/219:50:002
3302995138,11cyclictest33-21ksoftirqd/221:20:292
3302995115,5cyclictest33-21ksoftirqd/220:05:372
3302995045,3cyclictest33-21ksoftirqd/223:15:182
3302995044,4cyclictest33-21ksoftirqd/222:15:002
3302995044,3cyclictest33-21ksoftirqd/222:40:012
3302995044,3cyclictest33-21ksoftirqd/221:00:002
3302995043,4cyclictest33-21ksoftirqd/222:55:012
3302995043,3cyclictest33-21ksoftirqd/200:20:022
3302995040,6cyclictest33-21ksoftirqd/200:00:202
3301995044,4cyclictest25-21ksoftirqd/123:35:201
3301995044,4cyclictest25-21ksoftirqd/123:35:201
3301995044,3cyclictest25-21ksoftirqd/121:50:011
3301995043,4cyclictest25-21ksoftirqd/100:20:311
330199500,3cyclictest121rcu_preempt21:15:231
3302994942,4cyclictest33-21ksoftirqd/220:45:002
3302994935,10cyclictest33-21ksoftirqd/200:05:372
3301994944,3cyclictest25-21ksoftirqd/123:15:011
3301994943,3cyclictest25-21ksoftirqd/121:55:001
3301994942,4cyclictest25-21ksoftirqd/120:40:331
3301994942,4cyclictest25-21ksoftirqd/119:20:011
3301994942,4cyclictest25-21ksoftirqd/100:35:461
3301994942,4cyclictest25-21ksoftirqd/100:35:001
3301994936,4cyclictest25-21ksoftirqd/121:00:231
330199490,3cyclictest121rcu_preempt22:05:451
330099491,3cyclictest121rcu_preempt22:02:080
3302994842,3cyclictest33-21ksoftirqd/200:25:582
3302994841,4cyclictest33-21ksoftirqd/220:50:002
3302994841,4cyclictest33-21ksoftirqd/220:25:262
3302994841,4cyclictest33-21ksoftirqd/219:30:002
3301994842,4cyclictest25-21ksoftirqd/120:35:261
3301994842,3cyclictest25-21ksoftirqd/123:30:001
330399473,36cyclictest21269-21apt-get22:05:163
3302994742,3cyclictest33-21ksoftirqd/221:30:002
3302994741,3cyclictest33-21ksoftirqd/219:50:172
3302994740,4cyclictest33-21ksoftirqd/222:55:182
3302994740,4cyclictest33-21ksoftirqd/222:40:362
3302994739,4cyclictest33-21ksoftirqd/219:10:182
3302994738,6cyclictest33-21ksoftirqd/222:25:002
3302994738,6cyclictest33-21ksoftirqd/222:25:002
3301994741,4cyclictest25-21ksoftirqd/121:25:341
3301994741,4cyclictest25-21ksoftirqd/100:00:351
3301994741,3cyclictest25-21ksoftirqd/123:45:001
3301994741,3cyclictest25-21ksoftirqd/120:10:001
3301994740,4cyclictest25-21ksoftirqd/123:50:001
3301994740,4cyclictest25-21ksoftirqd/120:25:201
3301994740,3cyclictest25-21ksoftirqd/119:25:291
3301994739,4cyclictest25-21ksoftirqd/122:50:001
3301994735,10cyclictest25-21ksoftirqd/121:05:221
330399462,35cyclictest15379-21apt-get00:10:193
330399462,34cyclictest1110-21apt-get23:40:173
3301994641,3cyclictest25-21ksoftirqd/123:35:001
3301994641,3cyclictest25-21ksoftirqd/122:25:351
3301994640,4cyclictest25-21ksoftirqd/121:35:011
3301994640,3cyclictest25-21ksoftirqd/121:15:001
3301994640,3cyclictest25-21ksoftirqd/121:15:001
3301994640,3cyclictest25-21ksoftirqd/100:25:561
3301994639,4cyclictest25-21ksoftirqd/120:55:421
3301994639,3cyclictest25-21ksoftirqd/100:05:211
330199460,3cyclictest121rcu_preempt23:05:211
330099465,3cyclictest121rcu_preempt21:24:010
3302994539,4cyclictest33-21ksoftirqd/223:10:232
3302994539,3cyclictest33-21ksoftirqd/219:39:592
3302994538,4cyclictest33-21ksoftirqd/219:55:222
3302994532,10cyclictest33-21ksoftirqd/223:30:212
330199459,4cyclictest25-21ksoftirqd/119:45:281
3301994540,3cyclictest25-21ksoftirqd/120:20:011
3301994539,3cyclictest25-21ksoftirqd/100:15:351
3301994538,4cyclictest25-21ksoftirqd/122:10:231
3301994537,4cyclictest25-21ksoftirqd/121:40:201
330199450,3cyclictest121rcu_preempt20:00:291
330399442,35cyclictest22679-21apt-get21:00:193
330399442,34cyclictest4730-21apt-get21:30:163
330399442,34cyclictest18944-21apt-get22:00:203
330399441,36cyclictest10740-21apt-get20:35:183
3302994438,4cyclictest33-21ksoftirqd/220:20:282
3301994439,3cyclictest25-21ksoftirqd/119:50:381
3301994438,3cyclictest25-21ksoftirqd/123:00:281
3301994438,3cyclictest25-21ksoftirqd/120:10:271
3301994438,3cyclictest25-21ksoftirqd/119:20:361
3301994432,10cyclictest25-21ksoftirqd/122:20:201
3301994432,10cyclictest25-21ksoftirqd/122:20:191
3301994428,7cyclictest25-21ksoftirqd/123:15:311
3300994438,4cyclictest9-21ksoftirqd/022:06:310
78602430,6sleep09-21ksoftirqd/020:26:590
330399433,32cyclictest27542-21apt-get21:10:173
330399433,32cyclictest27542-21apt-get21:10:173
330399432,33cyclictest515-21apt-get22:30:183
330399431,35cyclictest24016-21apt-get23:20:203
3301994338,3cyclictest25-21ksoftirqd/123:50:211
3301994338,3cyclictest25-21ksoftirqd/122:15:261
3301994336,4cyclictest25-21ksoftirqd/123:55:171
3301994336,4cyclictest25-21ksoftirqd/121:20:251
330399422,33cyclictest3401-21apt-get19:10:173
330399422,33cyclictest1338-21apt-get20:15:193
330399422,33cyclictest12736-21apt-get19:30:193
330399422,32cyclictest26779-21apt-get20:00:203
3301994236,3cyclictest25-21ksoftirqd/122:30:291
3301994236,3cyclictest25-21ksoftirqd/122:03:301
3301994236,3cyclictest25-21ksoftirqd/120:50:201
3301994235,4cyclictest25-21ksoftirqd/122:40:161
3300994236,4cyclictest9-21ksoftirqd/021:40:330
3300994235,4cyclictest9-21ksoftirqd/021:47:050
3300994234,4cyclictest9-21ksoftirqd/020:14:060
3303994135,3cyclictest41-21ksoftirqd/320:05:103
330399413,31cyclictest0-21swapper/321:50:173
330399412,33cyclictest25006-21apt-get21:05:203
330399412,32cyclictest9404-21apt-get21:40:163
330399412,32cyclictest25976-21apt-get22:15:163
330399412,31cyclictest16956-21apt-get23:05:193
3300994136,3cyclictest9-21ksoftirqd/000:05:170
3300994134,4cyclictest9-21ksoftirqd/023:48:120
3300994134,4cyclictest9-21ksoftirqd/023:28:000
3300994134,4cyclictest9-21ksoftirqd/020:47:100
330099411,3cyclictest121rcu_preempt00:26:040
3303994033,4cyclictest41-21ksoftirqd/320:14:403
330399402,32cyclictest11726-21apt-get21:45:163
330399401,32cyclictest29862-21apt-get21:15:183
330399401,32cyclictest26552-21apt-get23:25:193
330399401,31cyclictest27036-21apt-get00:35:203
3300994034,3cyclictest9-21ksoftirqd/021:00:010
330099400,4cyclictest121rcu_preempt19:19:330
27212409,18sleep20-21swapper/219:06:212
3303993932,4cyclictest41-21ksoftirqd/321:25:363
3303993932,4cyclictest41-21ksoftirqd/319:35:243
330399392,29cyclictest31199-21apt-get23:35:183
330399392,29cyclictest31199-21apt-get23:35:183
330399391,32cyclictest24708-21apt-get00:30:173
330399391,31cyclictest8175-21apt-get23:55:173
330399391,31cyclictest19727-21apt-get19:45:183
3301993933,3cyclictest25-21ksoftirqd/119:10:291
3300993932,4cyclictest9-21ksoftirqd/022:35:290
3300993932,4cyclictest9-21ksoftirqd/021:56:340
3300993932,4cyclictest9-21ksoftirqd/019:14:020
3300993931,4cyclictest9-21ksoftirqd/000:12:090
330099390,3cyclictest121rcu_preempt20:58:200
330399385,30cyclictest1242-21snmpd20:33:313
3303993832,4cyclictest41-21ksoftirqd/320:45:193
3303993832,3cyclictest41-21ksoftirqd/322:55:473
330399382,30cyclictest5727-21apt-get19:15:173
330399381,31cyclictest22054-21apt-get19:50:183
330399380,2cyclictest0-21swapper/300:29:573
3300993832,3cyclictest9-21ksoftirqd/023:08:330
3300993831,4cyclictest9-21ksoftirqd/022:40:020
3300993831,4cyclictest9-21ksoftirqd/022:19:410
3300993831,4cyclictest9-21ksoftirqd/021:17:180
3300993831,4cyclictest9-21ksoftirqd/021:13:450
3300993831,4cyclictest9-21ksoftirqd/021:13:450
3303993731,4cyclictest41-21ksoftirqd/319:27:523
3303993731,3cyclictest41-21ksoftirqd/322:27:143
330399372,30cyclictest64-21kswapd022:45:183
330399370,5cyclictest24434-21chrt19:55:173
330399370,5cyclictest10868-21memory22:50:293
3300993730,4cyclictest9-21ksoftirqd/020:36:020
3300993730,4cyclictest9-21ksoftirqd/020:05:100
3300993730,4cyclictest9-21ksoftirqd/019:56:100
3300993729,4cyclictest9-21ksoftirqd/022:53:310
3303993613,19cyclictest12946-21cpuspeed_turbos00:05:203
330399360,5cyclictest1258-21lldpd20:50:243
330399360,4cyclictest4072-21df_abs20:20:223
330399360,4cyclictest29099-21cstates23:30:213
330399360,4cyclictest1242-21snmpd22:20:213
330399360,4cyclictest1242-21snmpd22:20:203
330399360,32cyclictest23575-21/usr/sbin/munin22:10:223
3300993630,3cyclictest9-21ksoftirqd/019:51:560
3303993528,4cyclictest41-21ksoftirqd/321:35:043
330399352,29cyclictest7330-21latency_hist22:45:003
330399352,28cyclictest5851-21apt-get23:50:193
330399351,31cyclictest19279-21tail00:15:443
3303993513,19cyclictest1258-21lldpd00:00:393
330399351,29cyclictest22289-21cat21:00:013
330399351,28cyclictest19281-21apt-get23:10:193
3303993512,19cyclictest1258-21lldpd22:36:593
330399350,4cyclictest915-21memory21:20:333
3300993528,4cyclictest9-21ksoftirqd/021:32:280
3300993528,4cyclictest9-21ksoftirqd/020:52:120
2068223527,3sleep09-21ksoftirqd/023:10:380
3303993427,4cyclictest41-21ksoftirqd/320:25:573
3300993427,4cyclictest9-21ksoftirqd/023:18:050
3300993427,4cyclictest9-21ksoftirqd/020:23:530
3300993427,4cyclictest9-21ksoftirqd/020:19:200
3300993427,4cyclictest9-21ksoftirqd/000:32:540
330399331,28cyclictest20053-21apt-get00:20:203
3303993312,17cyclictest22354-21cut23:15:263
330399330,3cyclictest1258-21lldpd20:41:453
3300993326,4cyclictest9-21ksoftirqd/023:04:320
3300993326,4cyclictest9-21ksoftirqd/021:37:060
3300993326,4cyclictest9-21ksoftirqd/020:43:320
3300993326,4cyclictest9-21ksoftirqd/019:44:090
3300993225,4cyclictest9-21ksoftirqd/022:58:370
3300993225,4cyclictest9-21ksoftirqd/019:35:190
3300993225,4cyclictest9-21ksoftirqd/000:21:370
3300993225,4cyclictest9-21ksoftirqd/000:18:200
3300993215,10cyclictest1242-21snmpd23:30:190
3300993124,4cyclictest9-21ksoftirqd/023:35:230
3300993124,4cyclictest9-21ksoftirqd/023:35:220
3300993124,4cyclictest9-21ksoftirqd/022:47:410
3300993124,4cyclictest9-21ksoftirqd/022:33:530
3300993124,4cyclictest9-21ksoftirqd/022:23:230
3300993124,4cyclictest9-21ksoftirqd/022:23:230
3300993124,4cyclictest9-21ksoftirqd/021:28:420
3300993124,4cyclictest9-21ksoftirqd/019:24:020
3300993123,5cyclictest9-21ksoftirqd/019:46:390
3300993024,3cyclictest9-21ksoftirqd/021:07:050
3300993023,4cyclictest9-21ksoftirqd/020:33:300
3300993023,4cyclictest9-21ksoftirqd/000:03:550
3300992922,4cyclictest9-21ksoftirqd/023:55:230
3300992922,4cyclictest9-21ksoftirqd/000:37:470
3300992720,4cyclictest9-21ksoftirqd/023:52:170
3300992720,4cyclictest9-21ksoftirqd/023:44:190
3300992720,4cyclictest9-21ksoftirqd/020:01:080
3300992620,4cyclictest9-21ksoftirqd/022:25:310
3300992620,4cyclictest9-21ksoftirqd/022:10:270
3300992619,4cyclictest9-21ksoftirqd/019:30:180
3300992518,4cyclictest10891-21grep19:25:250
3300992217,3cyclictest9-21ksoftirqd/021:50:320
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional