You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-29 - 09:02
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot3.osadl.org (updated Sat Nov 29, 2025 00:45:54)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
99602205171,23sleep30-21swapper/319:06:113
99232201168,22sleep20-21swapper/219:05:422
81332201167,22sleep10-21swapper/119:05:081
100142200167,22sleep00-21swapper/019:06:530
1950021620,5sleep21056099cyclictest22:50:152
837521290,4sleep28376-21grep20:10:242
837521290,4sleep28376-21grep20:10:242
136991810,1ptp4l391rcuc/321:50:263
136991810,1ptp4l391rcuc/320:00:103
10561996828,10cyclictest41-21ksoftirqd/323:10:003
10561996734,5cyclictest41-21ksoftirqd/319:59:593
65242650,4sleep36528-21fschecks_time21:15:163
10561996533,9cyclictest41-21ksoftirqd/300:20:013
10561996429,11cyclictest41-21ksoftirqd/319:55:003
10561996327,7cyclictest41-21ksoftirqd/320:15:003
10561996326,8cyclictest41-21ksoftirqd/321:00:233
10561996325,9cyclictest41-21ksoftirqd/319:35:003
10561996226,4cyclictest41-21ksoftirqd/320:45:183
10561996225,10cyclictest41-21ksoftirqd/323:20:173
10561996224,9cyclictest41-21ksoftirqd/319:20:253
10560996212,12cyclictest30006-21grep20:55:242
10560996212,12cyclictest30006-21grep20:55:242
10561996127,7cyclictest41-21ksoftirqd/321:47:273
10561996122,9cyclictest41-21ksoftirqd/321:10:233
1056099619,11cyclictest26621-21expr23:05:142
1056099616,17cyclictest0-21swapper/219:50:202
10560996115,11cyclictest27389-21cat20:50:222
10561996029,7cyclictest41-21ksoftirqd/323:00:003
10561996025,9cyclictest41-21ksoftirqd/321:55:123
10561996024,9cyclictest41-21ksoftirqd/320:05:203
1056099609,12cyclictest7129-21cat21:15:212
1056099609,11cyclictest12928-21latency_hist19:15:012
10560996014,11cyclictest32652-21awk23:15:242
10561995930,9cyclictest41-21ksoftirqd/323:15:203
10561995930,9cyclictest41-21ksoftirqd/321:22:323
10561995929,4cyclictest41-21ksoftirqd/300:00:143
10561995928,8cyclictest41-21ksoftirqd/320:40:263
10561995928,7cyclictest41-21ksoftirqd/322:20:003
10561995928,4cyclictest41-21ksoftirqd/321:30:003
10561995926,8cyclictest41-21ksoftirqd/323:10:193
10561995926,10cyclictest41-21ksoftirqd/319:25:223
10561995925,9cyclictest41-21ksoftirqd/320:30:193
10561995924,10cyclictest41-21ksoftirqd/320:30:013
10561995923,9cyclictest41-21ksoftirqd/319:15:133
10561995921,11cyclictest41-21ksoftirqd/319:35:153
1056099599,10cyclictest21499-21latency_hist20:40:002
1056099598,11cyclictest3509-21latency_hist23:25:012
10560995913,20cyclictest2533-21grep21:05:232
10560995910,11cyclictest2097-21sed20:00:002
66272580,2sleep20-21swapper/223:30:182
10561995829,8cyclictest41-21ksoftirqd/322:25:003
10561995828,9cyclictest41-21ksoftirqd/322:05:173
10561995827,10cyclictest41-21ksoftirqd/321:35:283
10561995827,10cyclictest41-21ksoftirqd/300:10:253
10561995825,8cyclictest41-21ksoftirqd/322:35:003
10561995824,8cyclictest41-21ksoftirqd/323:30:253
10561995824,8cyclictest41-21ksoftirqd/321:30:133
10561995823,9cyclictest41-21ksoftirqd/300:35:163
10561995822,9cyclictest41-21ksoftirqd/320:35:203
10561995817,9cyclictest41-21ksoftirqd/320:55:133
10561995817,9cyclictest41-21ksoftirqd/320:55:123
1056099589,12cyclictest14246-21date20:25:012
1056099588,13cyclictest29157-21grep00:15:252
10560995810,18cyclictest14701-21sshd19:15:262
10560995810,10cyclictest24098-21swap19:35:242
10561995727,4cyclictest41-21ksoftirqd/322:11:263
10561995725,4cyclictest41-21ksoftirqd/300:30:143
10561995724,9cyclictest41-21ksoftirqd/322:50:123
10561995724,8cyclictest41-21ksoftirqd/323:50:223
10561995723,7cyclictest41-21ksoftirqd/323:35:153
10561995717,9cyclictest41-21ksoftirqd/320:50:223
1056099579,11cyclictest2364-21date22:15:002
1056099578,8cyclictest3178-21ps22:15:182
1056099578,11cyclictest32141-21missed_timers21:00:212
1056099578,10cyclictest0-21swapper/221:30:002
10561995632,3cyclictest41-21ksoftirqd/300:10:003
10561995627,9cyclictest41-21ksoftirqd/300:25:173
10561995627,7cyclictest41-21ksoftirqd/320:10:183
10561995627,7cyclictest41-21ksoftirqd/320:10:183
10561995622,4cyclictest41-21ksoftirqd/322:35:253
10561995620,5cyclictest41-21ksoftirqd/322:45:133
1056099569,11cyclictest5170-21expr00:35:142
1056099569,11cyclictest28580-21sed19:45:222
1056099569,11cyclictest16996-21ls20:30:162
10561995517,11cyclictest41-21ksoftirqd/319:48:353
1056099559,17cyclictest20484-21date21:45:012
1056099558,17cyclictest0-21swapper/219:25:212
10560995513,12cyclictest16963-21grep22:45:132
10560995510,10cyclictest13485-21awk21:30:122
10561995425,10cyclictest41-21ksoftirqd/319:10:153
10561995423,4cyclictest41-21ksoftirqd/322:40:193
10561995423,4cyclictest41-21ksoftirqd/322:40:183
10561995419,9cyclictest41-21ksoftirqd/323:55:243
1056099549,15cyclictest24438-21ssh21:50:262
10561995327,10cyclictest41-21ksoftirqd/320:20:193
10561995320,4cyclictest41-21ksoftirqd/322:00:143
1056099539,11cyclictest13476-21switchtime22:35:262
1056099528,10cyclictest0-21swapper/200:20:152
1056099520,11cyclictest0-21swapper/223:00:162
10561995124,7cyclictest41-21ksoftirqd/322:25:133
1056099519,16cyclictest10212-21/usr/sbin/munin21:20:272
1056099510,10cyclictest10011-21/usr/sbin/munin20:15:172
217962500,2sleep20-21swapper/219:30:252
10561995022,4cyclictest41-21ksoftirqd/323:45:143
1056099509,13cyclictest23202-21diskstats00:05:152
1056099507,9cyclictest0-21swapper/222:20:142
1056099501,11cyclictest15590-21awk22:40:222
1056099501,11cyclictest15590-21awk22:40:222
1056099501,11cyclictest0-21swapper/223:40:252
1056099500,25cyclictest9164-1kworker/2:1H00:30:002
48732490,3sleep20-21swapper/221:10:222
10561994926,9cyclictest41-21ksoftirqd/321:05:013
10561994920,11cyclictest41-21ksoftirqd/323:00:153
10561994917,9cyclictest41-21ksoftirqd/321:40:233
1056099499,9cyclictest15674-21/usr/sbin/munin23:50:152
1056099498,14cyclictest0-21swapper/200:03:442
1056099496,14cyclictest0-21swapper/219:20:152
1056199486,10cyclictest41-21ksoftirqd/323:25:243
10561994819,4cyclictest41-21ksoftirqd/323:40:203
1056099487,8cyclictest14886-21ls23:45:272
1056099480,11cyclictest30895-21irqrtprio22:05:182
1056099479,6cyclictest1285-21snmpd22:26:382
1056099479,15cyclictest28773-21/usr/sbin/munin23:10:202
1056099477,9cyclictest25968-21ps21:55:182
1056099470,19cyclictest10826-21awk22:30:212
1056199462,9cyclictest41-21ksoftirqd/319:40:123
1056099469,9cyclictest4860-21cstates20:05:132
1056099460,12cyclictest10283-21awk23:35:282
1056099460,11cyclictest23046-21date22:55:272
1056199453,8cyclictest41-21ksoftirqd/300:20:253
1056099448,10cyclictest15919-21ls21:35:162
1056099440,9cyclictest0-21swapper/220:40:222
1056099440,10cyclictest0-21swapper/223:55:212
10559994423,3cyclictest25-21ksoftirqd/123:15:121
59298430,9rtkit-daemon0-21swapper/021:48:370
1056099410,10cyclictest14397-21apt-get20:25:112
1056099400,7cyclictest3578-21meminfo00:30:212
59298390,4rtkit-daemon21590-21memory21:45:201
10560993711,11cyclictest4226-21chrt20:02:392
10558993731,3cyclictest9-21ksoftirqd/022:15:000
59298360,1rtkit-daemon0-21swapper/023:45:060
1056099365,30cyclictest29434-21kworker/2:021:49:592
1056099364,30cyclictest711-21kworker/2:123:26:512
10559993629,4cyclictest25-21ksoftirqd/121:33:351
59298350,3rtkit-daemon26137-21grep19:40:181
10559993529,4cyclictest25-21ksoftirqd/100:23:291
10559993528,4cyclictest25-21ksoftirqd/100:05:111
10558993530,3cyclictest9-21ksoftirqd/020:25:000
10558993529,4cyclictest9-21ksoftirqd/023:24:350
10558993529,4cyclictest9-21ksoftirqd/022:56:140
10560993428,4cyclictest33-21ksoftirqd/222:02:262
1056099340,9cyclictest25107-21phc2sys-jitter20:45:252
10559993428,4cyclictest25-21ksoftirqd/123:47:421
10559993428,4cyclictest25-21ksoftirqd/119:33:321
10559993428,4cyclictest25-21ksoftirqd/119:11:381
10559993428,4cyclictest25-21ksoftirqd/100:36:241
10559993427,5cyclictest25-21ksoftirqd/121:06:231
10558993429,3cyclictest9-21ksoftirqd/022:30:130
10558993429,3cyclictest9-21ksoftirqd/000:00:000
10558993428,4cyclictest9-21ksoftirqd/019:51:530
10559993328,3cyclictest25-21ksoftirqd/119:36:161
10559993327,4cyclictest25-21ksoftirqd/123:10:471
10559993327,4cyclictest25-21ksoftirqd/120:10:321
10559993327,4cyclictest25-21ksoftirqd/120:10:321
10559993327,4cyclictest25-21ksoftirqd/100:29:181
10559993326,4cyclictest25-21ksoftirqd/119:56:151
10558993328,3cyclictest9-21ksoftirqd/021:22:230
10558993328,3cyclictest9-21ksoftirqd/000:40:000
10558993327,4cyclictest9-21ksoftirqd/021:56:410
10558993327,4cyclictest9-21ksoftirqd/020:08:580
10558993326,4cyclictest9-21ksoftirqd/021:05:000
1056099329,10cyclictest1297-21runrttasks00:12:512
10559993227,3cyclictest25-21ksoftirqd/120:44:531
10559993226,4cyclictest25-21ksoftirqd/123:23:461
10559993226,4cyclictest25-21ksoftirqd/122:42:431
10559993226,4cyclictest25-21ksoftirqd/122:42:431
10559993226,4cyclictest25-21ksoftirqd/122:21:531
10559993226,4cyclictest25-21ksoftirqd/122:07:011
10559993226,4cyclictest25-21ksoftirqd/121:11:581
10559993226,4cyclictest25-21ksoftirqd/119:52:551
10559993226,4cyclictest25-21ksoftirqd/119:24:351
10558993227,3cyclictest9-21ksoftirqd/021:52:520
10558993227,3cyclictest9-21ksoftirqd/021:40:000
10558993227,3cyclictest9-21ksoftirqd/019:47:310
10558993226,4cyclictest9-21ksoftirqd/022:18:110
10558993226,4cyclictest9-21ksoftirqd/021:11:570
10558993226,4cyclictest9-21ksoftirqd/020:12:070
10558993226,4cyclictest9-21ksoftirqd/020:12:070
10558993226,4cyclictest9-21ksoftirqd/019:27:220
1056099316,8cyclictest0-21swapper/219:40:592
10559993126,3cyclictest25-21ksoftirqd/122:56:101
10559993126,3cyclictest25-21ksoftirqd/122:16:461
10559993126,3cyclictest25-21ksoftirqd/121:17:051
10559993125,4cyclictest25-21ksoftirqd/123:40:311
10559993125,4cyclictest25-21ksoftirqd/122:34:291
10559993125,4cyclictest25-21ksoftirqd/121:21:481
10559993125,4cyclictest25-21ksoftirqd/120:08:431
10559993125,4cyclictest25-21ksoftirqd/100:10:451
10559993124,4cyclictest25-21ksoftirqd/120:50:591
10558993127,3cyclictest9-21ksoftirqd/022:36:580
10558993127,3cyclictest9-21ksoftirqd/022:00:180
10558993126,3cyclictest9-21ksoftirqd/023:18:540
10558993126,3cyclictest9-21ksoftirqd/022:41:260
10558993126,3cyclictest9-21ksoftirqd/022:41:260
10558993126,3cyclictest9-21ksoftirqd/021:30:330
10558993125,4cyclictest9-21ksoftirqd/023:54:470
10558993125,4cyclictest9-21ksoftirqd/021:17:300
10558993125,4cyclictest9-21ksoftirqd/020:36:140
10558993125,4cyclictest9-21ksoftirqd/020:28:200
10558993125,4cyclictest9-21ksoftirqd/019:58:140
10558993125,4cyclictest9-21ksoftirqd/019:36:410
10558993125,3cyclictest9-21ksoftirqd/023:05:050
10558993124,5cyclictest9-21ksoftirqd/019:42:020
10559993025,3cyclictest25-21ksoftirqd/121:51:241
10559993025,3cyclictest25-21ksoftirqd/121:44:551
10559993025,3cyclictest25-21ksoftirqd/121:00:381
10559993025,3cyclictest25-21ksoftirqd/120:01:041
10559993024,4cyclictest25-21ksoftirqd/120:18:581
10559993023,4cyclictest25-21ksoftirqd/120:25:111
10559993010,18cyclictest0-21swapper/100:01:061
10558993025,3cyclictest9-21ksoftirqd/023:44:160
10558993025,3cyclictest9-21ksoftirqd/021:05:480
10558993025,3cyclictest9-21ksoftirqd/020:50:570
10558993025,3cyclictest9-21ksoftirqd/020:16:000
10558993025,3cyclictest9-21ksoftirqd/019:32:480
10558993025,3cyclictest9-21ksoftirqd/000:20:300
10558993025,3cyclictest27506-21cron00:15:000
10558993024,4cyclictest9-21ksoftirqd/023:01:280
10558993024,4cyclictest9-21ksoftirqd/022:54:060
10558993024,4cyclictest9-21ksoftirqd/020:47:490
10558993024,4cyclictest9-21ksoftirqd/020:34:490
10559992923,4cyclictest25-21ksoftirqd/123:25:041
10559992923,4cyclictest25-21ksoftirqd/121:36:401
10559992923,4cyclictest25-21ksoftirqd/120:30:531
10559992923,4cyclictest25-21ksoftirqd/120:21:581
10558992924,3cyclictest9-21ksoftirqd/023:40:000
10558992924,3cyclictest9-21ksoftirqd/021:41:360
10558992924,3cyclictest9-21ksoftirqd/019:12:100
10558992923,4cyclictest9-21ksoftirqd/022:49:580
10558992923,4cyclictest9-21ksoftirqd/022:27:300
10558992923,4cyclictest9-21ksoftirqd/019:22:040
8602280,6sleep0863-21irqrtprio00:25:200
10559992823,3cyclictest25-21ksoftirqd/123:55:001
10559992823,3cyclictest25-21ksoftirqd/123:39:581
10559992823,3cyclictest25-21ksoftirqd/123:02:011
10559992822,4cyclictest25-21ksoftirqd/123:07:271
10558992823,3cyclictest9-21ksoftirqd/023:31:120
10558992823,3cyclictest9-21ksoftirqd/023:29:480
10558992823,3cyclictest9-21ksoftirqd/020:01:210
10558992823,3cyclictest9-21ksoftirqd/019:17:200
10558992822,4cyclictest9-21ksoftirqd/020:40:590
10558992822,4cyclictest9-21ksoftirqd/000:32:260
10558992822,4cyclictest9-21ksoftirqd/000:07:110
10559992721,4cyclictest25-21ksoftirqd/122:01:111
10559992721,4cyclictest25-21ksoftirqd/119:15:511
10559992721,4cyclictest25-21ksoftirqd/100:15:381
10558992723,2cyclictest9-21ksoftirqd/021:30:010
10559992621,3cyclictest25-21ksoftirqd/123:50:311
10559992621,3cyclictest25-21ksoftirqd/121:27:481
10559992621,3cyclictest25-21ksoftirqd/119:46:341
10559992621,3cyclictest25-21ksoftirqd/100:33:391
10559992620,3cyclictest25-21ksoftirqd/120:56:101
10559992620,3cyclictest25-21ksoftirqd/120:56:091
10558992622,3cyclictest9-21ksoftirqd/020:57:240
10558992622,3cyclictest9-21ksoftirqd/020:57:240
10558992620,3cyclictest9-21ksoftirqd/000:15:090
10559992520,3cyclictest25-21ksoftirqd/122:52:131
10559992520,3cyclictest25-21ksoftirqd/122:27:111
10559992520,3cyclictest25-21ksoftirqd/122:10:321
10559992520,3cyclictest25-21ksoftirqd/121:57:251
10558992521,2cyclictest9-21ksoftirqd/000:00:200
10559992418,4cyclictest25-21ksoftirqd/120:49:511
10559992418,4cyclictest25-21ksoftirqd/120:39:201
10559992418,4cyclictest25-21ksoftirqd/119:28:241
10558992417,4cyclictest5591-21irqrtprio22:20:190
10559992318,3cyclictest25-21ksoftirqd/123:31:291
10559992317,4cyclictest25-21ksoftirqd/122:47:411
10558992318,3cyclictest9-21ksoftirqd/022:05:130
10558992217,3cyclictest9-21ksoftirqd/023:10:150
10559992014,4cyclictest25-21ksoftirqd/122:36:381
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional