You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-23 - 09:53
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot2.osadl.org (updated Sun Nov 23, 2025 00:45:49)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
136691235168,27phc2sys0-21swapper/319:06:233
265922233167,22sleep20-21swapper/219:09:232
265072203170,23sleep00-21swapper/019:08:160
263872203170,22sleep10-21swapper/119:06:471
1365911160,1ptp4l29197-21irqrtprio22:35:213
2664428262,11sleep00-21swapper/019:10:010
2693899668,28cyclictest23264-21grep20:10:152
27782590,6sleep32693999cyclictest23:55:223
136591570,1ptp4l401ktimersoftd/320:10:263
214282530,2sleep30-21swapper/322:20:143
136591530,1ptp4l401ktimersoftd/322:58:453
136591490,0ptp4l401ktimersoftd/321:44:323
2693899440,3cyclictest6801-21tail20:40:252
2693899430,3cyclictest170142sleep223:16:332
136591430,0ptp4l401ktimersoftd/321:55:523
136591410,1ptp4l401ktimersoftd/319:25:163
2693899406,20cyclictest17223-21cat22:10:172
2693899400,39cyclictest15569-21kworker/2:023:25:212
2693899400,39cyclictest15569-21kworker/2:022:37:252
136591400,0ptp4l401ktimersoftd/319:44:513
26939993912,3cyclictest41-21ksoftirqd/300:25:003
2693999389,4cyclictest41-21ksoftirqd/321:15:213
2693999386,3cyclictest41-21ksoftirqd/321:35:193
2693899386,31cyclictest24943-21kworker/2:121:10:132
2693899381,35cyclictest10331-21kworker/2:220:02:132
2693899370,36cyclictest7161-21kworker/2:019:30:262
136591370,0ptp4l401ktimersoftd/321:10:033
2693899365,30cyclictest15569-21kworker/2:023:21:012
2693899363,32cyclictest10331-21kworker/2:219:59:572
26939993529,3cyclictest41-21ksoftirqd/320:40:143
2693999351,4cyclictest41-21ksoftirqd/319:50:003
2693899354,30cyclictest24943-21kworker/2:120:52:412
2693999346,3cyclictest41-21ksoftirqd/322:50:003
2693999344,4cyclictest41-21ksoftirqd/322:25:143
26939993429,3cyclictest41-21ksoftirqd/323:50:173
26939993428,3cyclictest41-21ksoftirqd/322:45:003
26939993419,13cyclictest41-21ksoftirqd/321:35:003
26939993415,17cyclictest41-21ksoftirqd/300:20:013
2693899340,3cyclictest26599-21fschecks_time22:30:172
26937993428,4cyclictest25-21ksoftirqd/121:51:441
2693999336,7cyclictest41-21ksoftirqd/319:20:003
2693999334,2cyclictest121rcu_preempt23:05:013
2693999333,3cyclictest41-21ksoftirqd/323:05:143
2693999333,3cyclictest41-21ksoftirqd/322:30:153
26939993328,3cyclictest41-21ksoftirqd/321:30:003
26939993328,3cyclictest41-21ksoftirqd/321:20:293
26939993328,3cyclictest41-21ksoftirqd/320:25:183
26939993328,3cyclictest41-21ksoftirqd/319:55:173
26939993327,4cyclictest41-21ksoftirqd/300:32:173
26939993326,4cyclictest41-21ksoftirqd/320:50:283
2693999331,5cyclictest41-21ksoftirqd/300:10:143
26938993327,4cyclictest33-21ksoftirqd/221:44:382
26938993327,4cyclictest33-21ksoftirqd/220:36:152
2693899332,30cyclictest15569-21kworker/2:022:42:132
2693899332,20cyclictest24943-21kworker/2:122:03:172
2693899331,31cyclictest15569-21kworker/2:023:00:172
26938993311,19cyclictest31031-21grep21:30:202
2693899330,4cyclictest4725-21df_abs00:00:172
2693899330,4cyclictest13782-21memory23:10:212
2693899330,31cyclictest7161-21kworker/2:019:35:022
26937993327,4cyclictest25-21ksoftirqd/122:58:031
26937993327,4cyclictest25-21ksoftirqd/122:41:501
26937993327,4cyclictest25-21ksoftirqd/122:03:071
26937993327,4cyclictest25-21ksoftirqd/119:31:261
2693999327,3cyclictest41-21ksoftirqd/322:10:273
2693999324,3cyclictest41-21ksoftirqd/300:35:243
2693999323,7cyclictest41-21ksoftirqd/321:50:153
26939993228,3cyclictest41-21ksoftirqd/323:35:173
26939993227,3cyclictest41-21ksoftirqd/323:25:183
26939993227,3cyclictest41-21ksoftirqd/323:23:423
26939993226,4cyclictest41-21ksoftirqd/319:53:243
26939993226,3cyclictest41-21ksoftirqd/323:35:003
26939993225,4cyclictest41-21ksoftirqd/319:20:343
26939993225,4cyclictest41-21ksoftirqd/319:20:343
2693999321,4cyclictest41-21ksoftirqd/320:45:273
2693999320,5cyclictest41-21ksoftirqd/300:05:123
2693999320,4cyclictest41-21ksoftirqd/323:15:233
2693899328,21cyclictest14719-21apt-get21:00:032
2693899321,3cyclictest1866-21/usr/sbin/munin22:45:202
2693899320,3cyclictest4932-21tail22:50:292
2693899320,3cyclictest11798-21if_enp1s019:45:172
2693899320,31cyclictest24943-21kworker/2:120:58:172
2693899320,31cyclictest15569-21kworker/2:022:56:372
26937993226,4cyclictest25-21ksoftirqd/123:22:501
26937993226,4cyclictest25-21ksoftirqd/121:04:381
26937993226,4cyclictest25-21ksoftirqd/120:39:101
26937993226,4cyclictest25-21ksoftirqd/120:11:581
26937993226,4cyclictest25-21ksoftirqd/120:06:321
26937993225,4cyclictest25-21ksoftirqd/120:45:361
26936993226,4cyclictest9-21ksoftirqd/020:43:270
26939993126,3cyclictest41-21ksoftirqd/322:05:263
26939993126,3cyclictest41-21ksoftirqd/322:00:143
26939993126,3cyclictest41-21ksoftirqd/321:45:233
26939993126,3cyclictest41-21ksoftirqd/321:00:293
26939993126,3cyclictest41-21ksoftirqd/320:55:203
26939993126,3cyclictest41-21ksoftirqd/300:25:153
26939993125,3cyclictest41-21ksoftirqd/323:10:143
26939993118,11cyclictest41-21ksoftirqd/320:20:003
2693999311,3cyclictest41-21ksoftirqd/323:40:193
2693999310,5cyclictest41-21ksoftirqd/320:34:593
2693899318,21cyclictest23548-21sed22:25:002
2693899318,20cyclictest884-21cat19:20:272
2693899318,20cyclictest884-21cat19:20:272
2693899318,20cyclictest29159-21seq23:42:072
26938993125,4cyclictest33-21ksoftirqd/200:18:112
26938993125,4cyclictest33-21ksoftirqd/200:13:422
26938993125,4cyclictest33-21ksoftirqd/200:09:412
2693899310,27cyclictest226-21systemd-journal21:20:072
26937993126,3cyclictest25-21ksoftirqd/122:39:561
26937993125,4cyclictest25-21ksoftirqd/123:00:441
26937993125,4cyclictest25-21ksoftirqd/122:09:001
26937993125,4cyclictest25-21ksoftirqd/120:55:401
26937993125,4cyclictest25-21ksoftirqd/120:42:231
26937993125,4cyclictest25-21ksoftirqd/100:38:401
26936993126,3cyclictest9-21ksoftirqd/023:05:000
26936993125,4cyclictest9-21ksoftirqd/023:52:580
26936993125,4cyclictest9-21ksoftirqd/023:13:340
26936993125,4cyclictest9-21ksoftirqd/020:02:180
26936993125,4cyclictest9-21ksoftirqd/000:01:040
26936993124,4cyclictest9-21ksoftirqd/023:58:320
2693999306,3cyclictest41-21ksoftirqd/319:35:143
26939993026,2cyclictest41-21ksoftirqd/319:30:203
26939993025,3cyclictest41-21ksoftirqd/323:45:283
26939993025,3cyclictest41-21ksoftirqd/323:45:283
26939993025,3cyclictest41-21ksoftirqd/322:15:253
26939993025,3cyclictest41-21ksoftirqd/320:05:003
26939993025,3cyclictest41-21ksoftirqd/319:11:103
26939993024,4cyclictest41-21ksoftirqd/320:38:363
26939993023,4cyclictest41-21ksoftirqd/300:04:283
2693899307,20cyclictest32300-21cpu21:35:172
2693899307,19cyclictest28192-21sed21:25:212
26938993025,3cyclictest33-21ksoftirqd/200:40:002
26938993024,4cyclictest33-21ksoftirqd/223:55:092
26938993024,4cyclictest33-21ksoftirqd/223:31:462
26938993024,4cyclictest33-21ksoftirqd/223:05:502
26938993024,4cyclictest33-21ksoftirqd/222:06:182
2693899301,23cyclictest13610-21apt-get19:50:122
26938993011,16cyclictest21126-21sed20:05:172
2693899300,3cyclictest960-21/usr/sbin/munin20:30:172
2693899300,3cyclictest7790-21snmpd22:26:532
2693899300,3cyclictest3063-21ptp4l-jitter19:25:252
2693899300,3cyclictest30149-21/usr/sbin/munin23:45:172
2693899300,3cyclictest30149-21/usr/sbin/munin23:45:172
2693899300,3cyclictest19522-21idleruntime22:15:172
26937993025,3cyclictest25-21ksoftirqd/122:54:261
26937993025,3cyclictest25-21ksoftirqd/121:56:571
26937993025,3cyclictest25-21ksoftirqd/119:38:401
26937993024,4cyclictest25-21ksoftirqd/123:17:291
26937993024,4cyclictest25-21ksoftirqd/123:06:571
26937993024,4cyclictest25-21ksoftirqd/121:35:471
26937993024,4cyclictest25-21ksoftirqd/121:23:521
26937993024,4cyclictest25-21ksoftirqd/121:15:491
26937993024,4cyclictest25-21ksoftirqd/120:21:571
26937993024,4cyclictest25-21ksoftirqd/120:19:201
26937993024,4cyclictest25-21ksoftirqd/100:30:451
26936993025,3cyclictest9-21ksoftirqd/023:08:130
26936993024,4cyclictest9-21ksoftirqd/023:22:330
26936993024,4cyclictest9-21ksoftirqd/022:58:460
26936993024,4cyclictest9-21ksoftirqd/022:16:460
26936993024,4cyclictest9-21ksoftirqd/022:10:410
26936993024,4cyclictest9-21ksoftirqd/021:48:410
26936993024,4cyclictest9-21ksoftirqd/000:34:260
26936993023,4cyclictest9-21ksoftirqd/021:51:180
136591300,0ptp4l401ktimersoftd/321:08:243
136591300,0ptp4l401ktimersoftd/320:22:113
136591300,0ptp4l401ktimersoftd/320:07:093
26939992925,2cyclictest41-21ksoftirqd/322:50:413
26938992924,3cyclictest33-21ksoftirqd/221:59:392
26938992924,3cyclictest33-21ksoftirqd/221:16:542
26938992924,3cyclictest33-21ksoftirqd/200:23:062
2693899290,6cyclictest0-21swapper/200:30:152
2693899290,3cyclictest30762-21expr20:25:172
2693899290,3cyclictest226-21systemd-journal23:35:412
2693899290,3cyclictest17945-21meminfo00:25:212
2693899290,2cyclictest0-21swapper/221:54:252
2693899290,28cyclictest24943-21kworker/2:121:05:582
26937992923,4cyclictest25-21ksoftirqd/121:31:371
26937992923,4cyclictest25-21ksoftirqd/121:10:351
26936992924,3cyclictest9-21ksoftirqd/023:38:300
26936992924,3cyclictest9-21ksoftirqd/022:48:070
26936992924,3cyclictest9-21ksoftirqd/022:07:280
26936992924,3cyclictest9-21ksoftirqd/020:10:500
26936992924,3cyclictest9-21ksoftirqd/000:06:540
26936992923,4cyclictest9-21ksoftirqd/021:30:400
26936992923,4cyclictest9-21ksoftirqd/021:23:180
26936992923,4cyclictest9-21ksoftirqd/019:49:470
2693899286,20cyclictest2266-21llvmpipe-321:48:582
26938992822,4cyclictest33-21ksoftirqd/220:16:002
2693899282,21cyclictest32013-21apt-get23:50:122
2693899282,20cyclictest28138-21apt-get20:20:142
26937992823,3cyclictest25-21ksoftirqd/123:47:481
26937992823,3cyclictest25-21ksoftirqd/123:47:481
26937992823,3cyclictest25-21ksoftirqd/120:04:201
26937992822,4cyclictest25-21ksoftirqd/122:20:521
26937992822,4cyclictest25-21ksoftirqd/122:19:191
26937992822,4cyclictest25-21ksoftirqd/120:33:441
26937992822,4cyclictest25-21ksoftirqd/119:22:001
26937992822,4cyclictest25-21ksoftirqd/119:22:001
26937992822,4cyclictest25-21ksoftirqd/100:08:071
26937992822,4cyclictest25-21ksoftirqd/100:03:141
26936992823,3cyclictest9-21ksoftirqd/023:46:380
26936992823,3cyclictest9-21ksoftirqd/023:46:380
26936992823,3cyclictest9-21ksoftirqd/021:29:080
26936992823,3cyclictest9-21ksoftirqd/020:23:570
26936992822,4cyclictest9-21ksoftirqd/022:37:560
26936992822,4cyclictest9-21ksoftirqd/020:55:340
26936992822,4cyclictest9-21ksoftirqd/020:49:360
26936992822,4cyclictest9-21ksoftirqd/000:15:490
26936992821,4cyclictest9-21ksoftirqd/021:55:070
2693899273,4cyclictest8873-21acpi19:40:142
26938992722,3cyclictest33-21ksoftirqd/219:17:292
2693899270,3cyclictest28996-21taskset19:13:552
26937992722,3cyclictest25-21ksoftirqd/123:44:191
26937992722,3cyclictest25-21ksoftirqd/123:37:091
26937992722,3cyclictest25-21ksoftirqd/123:25:591
26937992722,3cyclictest25-21ksoftirqd/119:16:541
26937992721,4cyclictest25-21ksoftirqd/123:32:171
26937992721,4cyclictest25-21ksoftirqd/122:29:141
26937992721,4cyclictest25-21ksoftirqd/121:45:341
26937992721,4cyclictest25-21ksoftirqd/120:28:201
26936992722,3cyclictest9-21ksoftirqd/020:08:090
26936992722,3cyclictest9-21ksoftirqd/019:25:130
26936992721,4cyclictest9-21ksoftirqd/023:28:190
26936992721,4cyclictest9-21ksoftirqd/020:54:090
26936992721,4cyclictest9-21ksoftirqd/020:35:320
26936992721,4cyclictest9-21ksoftirqd/019:52:190
26936992721,4cyclictest9-21ksoftirqd/019:34:590
2693899265,3cyclictest35992irq/128-enp1s0-20:45:072
26937992621,3cyclictest25-21ksoftirqd/119:58:021
26937992620,4cyclictest25-21ksoftirqd/119:43:421
26936992621,3cyclictest9-21ksoftirqd/020:18:390
26936992620,4cyclictest9-21ksoftirqd/021:11:440
26936992620,4cyclictest9-21ksoftirqd/000:12:470
26937992520,3cyclictest25-21ksoftirqd/123:12:471
26937992520,3cyclictest25-21ksoftirqd/121:43:221
26937992520,3cyclictest25-21ksoftirqd/119:10:431
26937992520,3cyclictest25-21ksoftirqd/100:25:591
26937992519,4cyclictest25-21ksoftirqd/119:48:241
26936992520,3cyclictest9-21ksoftirqd/022:21:510
26936992520,3cyclictest9-21ksoftirqd/021:40:130
26936992520,3cyclictest9-21ksoftirqd/021:05:100
26936992520,3cyclictest9-21ksoftirqd/021:04:400
26936992520,3cyclictest9-21ksoftirqd/020:25:320
26936992520,3cyclictest9-21ksoftirqd/019:57:370
26936992520,3cyclictest9-21ksoftirqd/000:24:510
26936992519,4cyclictest9-21ksoftirqd/019:43:100
26937992419,3cyclictest25-21ksoftirqd/119:26:001
26937992419,3cyclictest25-21ksoftirqd/100:21:211
26937992418,4cyclictest25-21ksoftirqd/121:26:521
26936992419,3cyclictest9-21ksoftirqd/022:34:030
26936992419,3cyclictest9-21ksoftirqd/021:39:520
26936992418,4cyclictest9-21ksoftirqd/023:34:000
26936992418,4cyclictest9-21ksoftirqd/023:17:400
26937992318,3cyclictest25-21ksoftirqd/121:07:381
26937992318,3cyclictest25-21ksoftirqd/100:16:021
26937992317,4cyclictest25-21ksoftirqd/120:51:391
2693699239,5cyclictest9-21ksoftirqd/020:30:270
26936992318,3cyclictest9-21ksoftirqd/022:42:520
26936992318,3cyclictest9-21ksoftirqd/022:05:000
26937992115,4cyclictest25-21ksoftirqd/123:53:181
26936992116,3cyclictest9-21ksoftirqd/019:36:150
26936992116,3cyclictest9-21ksoftirqd/019:22:410
26936992116,3cyclictest9-21ksoftirqd/019:22:410
26936992115,4cyclictest9-21ksoftirqd/000:38:030
26936992115,4cyclictest9-21ksoftirqd/000:27:440
26937992015,3cyclictest25-21ksoftirqd/123:57:111
26936992015,3cyclictest24244-21hddtemp_smartct22:25:170
26936992014,4cyclictest9-21ksoftirqd/019:19:230
26936992012,4cyclictest27279-21apt-get23:40:130
26937991914,3cyclictest27868-21vmstat22:30:291
26937991913,4cyclictest25-21ksoftirqd/119:51:531
26937991913,3cyclictest3020-21latency_hist22:50:001
26936991914,3cyclictest9-21ksoftirqd/022:52:260
26937991813,3cyclictest10234-21irqrtprio00:10:191
26936991813,3cyclictest24103-21timerandwakeup21:15:270
2693799169,3cyclictest16802-21cpuspeed_turbos22:10:131
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional