You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-27 - 15:19
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot2.osadl.org (updated Thu Nov 27, 2025 00:45:56)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
136691234206,19phc2sys0-21swapper/319:07:593
232042221129,83sleep10-21swapper/119:05:241
239862206172,23sleep20-21swapper/219:09:512
236782205172,22sleep00-21swapper/019:05:550
136591650,1ptp4l401ktimersoftd/322:30:263
202122640,2sleep00-21swapper/022:30:180
2429499611,25cyclictest8554-21awk23:10:261
2429499601,27cyclictest4225-21memory00:10:211
2429499591,24cyclictest12461-21latency_hist00:30:001
2429499584,20cyclictest0-21swapper/122:30:261
2429499581,26cyclictest15265-21ps19:55:251
2429499581,26cyclictest15265-21ps19:55:241
2429499581,22cyclictest9560-21awk22:05:271
197632580,2sleep00-21swapper/021:20:180
94842570,2sleep10-21swapper/121:00:131
2429499574,22cyclictest31514-21sshd22:51:401
2429499570,22cyclictest9179-21apt-get23:15:101
2429499561,23cyclictest28185-21timedrift19:15:241
2429499550,25cyclictest16507-21grep22:20:251
2429499550,23cyclictest17191-21sed21:15:181
24293995527,7cyclictest9-21ksoftirqd/021:10:140
24293995527,6cyclictest9-21ksoftirqd/023:10:200
2429499541,22cyclictest12320-21latency_hist22:15:011
24293995424,6cyclictest9-21ksoftirqd/020:45:160
24293995424,4cyclictest9-21ksoftirqd/022:10:190
136591530,1ptp4l391rcuc/323:55:323
2429599529,41cyclictest16610-21kworker/2:219:30:242
2429499521,24cyclictest18044-21awk23:30:271
2429499520,23cyclictest15469-21smart_sda21:10:241
24293995219,10cyclictest9-21ksoftirqd/022:25:280
2429499510,24cyclictest20686-21sshd20:07:191
2429499510,23cyclictest26042-21ptp4l-jitter22:40:221
2429499510,22cyclictest8810-21grep19:45:121
24293995119,9cyclictest9-21ksoftirqd/022:40:220
24293995020,10cyclictest9-21ksoftirqd/022:35:210
2429499490,23cyclictest30875-21chrt19:21:001
2429399494,9cyclictest9-21ksoftirqd/021:45:230
24293994924,4cyclictest9-21ksoftirqd/022:20:240
24293994821,9cyclictest9-21ksoftirqd/023:05:170
24293994819,8cyclictest9-21ksoftirqd/020:40:100
2429499470,24cyclictest27349-21grep22:45:141
2429499470,22cyclictest23360-21latency_hist20:14:591
2429399476,7cyclictest9-21ksoftirqd/000:25:240
2429399476,4cyclictest9-21ksoftirqd/021:00:000
2429399476,10cyclictest9-21ksoftirqd/023:45:230
2429399475,9cyclictest28089-21ls21:40:010
2429399473,9cyclictest9-21ksoftirqd/020:10:160
24293994729,10cyclictest9-21ksoftirqd/019:20:240
2429499460,22cyclictest31708-21grep19:25:131
2429499460,22cyclictest31708-21grep19:25:131
2429399466,10cyclictest9-21ksoftirqd/019:50:010
2429399464,10cyclictest9-21ksoftirqd/021:55:190
2429399462,9cyclictest9-21ksoftirqd/019:50:160
2429399462,10cyclictest9-21ksoftirqd/023:40:120
2429399455,4cyclictest9-21ksoftirqd/019:55:170
2429399455,4cyclictest9-21ksoftirqd/019:55:170
2429399455,3cyclictest9-21ksoftirqd/020:40:000
2429399454,5cyclictest9-21ksoftirqd/021:00:280
2429399453,7cyclictest9-21ksoftirqd/021:40:180
2429399453,7cyclictest9-21ksoftirqd/021:15:170
24293994526,11cyclictest9-21ksoftirqd/000:15:270
24293994523,6cyclictest9-21ksoftirqd/023:50:220
2429399451,8cyclictest9-21ksoftirqd/000:35:130
24293994513,4cyclictest9-21ksoftirqd/023:30:280
24293994512,8cyclictest9-21ksoftirqd/000:05:170
2429399450,6cyclictest9-21ksoftirqd/020:10:010
2429499440,25cyclictest32431-21awk22:55:151
2429399445,8cyclictest0-21swapper/023:35:230
2429399444,4cyclictest9-21ksoftirqd/020:15:230
2429399443,9cyclictest9-21ksoftirqd/023:25:160
2429399443,6cyclictest9-21ksoftirqd/020:50:170
24293994427,9cyclictest9-21ksoftirqd/022:45:270
24293994420,4cyclictest9-21ksoftirqd/019:25:260
24293994420,4cyclictest9-21ksoftirqd/019:25:250
24293994414,11cyclictest9-21ksoftirqd/023:55:170
136591440,0ptp4l401ktimersoftd/323:30:223
2429499434,28cyclictest4334-21latency_hist23:05:001
24294994315,26cyclictest3659-21kworker/1:119:43:041
24294994311,18cyclictest31020-21df_abs21:45:151
2429399436,10cyclictest9-21ksoftirqd/022:00:180
2429399435,9cyclictest9-21ksoftirqd/000:20:160
2429399434,9cyclictest9-21ksoftirqd/023:20:130
2429399434,9cyclictest9-21ksoftirqd/023:20:130
2429399433,9cyclictest9-21ksoftirqd/023:00:180
2429399432,8cyclictest9-21ksoftirqd/021:05:130
136591430,36ptp4l0-21swapper/319:10:003
133391430,7getstats2429699cyclictest23:42:293
2429399424,9cyclictest9-21ksoftirqd/020:35:010
2429399424,5cyclictest9-21ksoftirqd/019:15:000
2429399421,5cyclictest9-21ksoftirqd/022:55:190
136591420,0ptp4l401ktimersoftd/319:55:253
136591420,0ptp4l401ktimersoftd/319:55:243
136591420,0ptp4l401ktimersoftd/300:35:413
136591420,0ptp4l401ktimersoftd/300:15:003
24295994125,13cyclictest33-21ksoftirqd/222:34:062
2429499411,29cyclictest28101-21awk21:40:001
2429499410,1cyclictest0-21swapper/123:54:291
2429399414,9cyclictest9-21ksoftirqd/019:15:160
2429399414,6cyclictest9-21ksoftirqd/019:30:120
2429399412,8cyclictest9-21ksoftirqd/000:00:190
2429399412,3cyclictest9-21ksoftirqd/022:15:170
24293994114,11cyclictest9-21ksoftirqd/019:40:140
2429399411,11cyclictest9-21ksoftirqd/000:35:010
136591410,0ptp4l401ktimersoftd/320:18:453
2429499401,27cyclictest18714-21/usr/sbin/munin23:35:141
2429499400,30cyclictest16400-21/usr/sbin/munin20:00:211
2429399405,5cyclictest9-21ksoftirqd/019:35:280
2429399403,8cyclictest9-21ksoftirqd/000:10:180
2429399403,10cyclictest9-21ksoftirqd/022:55:020
2429399402,7cyclictest9-21ksoftirqd/022:05:160
2429399401,5cyclictest9-21ksoftirqd/021:30:270
2429399400,7cyclictest9-21ksoftirqd/021:25:130
2429599397,30cyclictest16610-21kworker/2:221:18:292
2429599397,21cyclictest16610-21kworker/2:220:37:522
2429399390,8cyclictest9-21ksoftirqd/020:20:120
24296993832,3cyclictest226-21systemd-journal19:45:003
2429499380,24cyclictest18662-21processes22:25:231
2429399382,8cyclictest9-21ksoftirqd/023:20:000
2429499370,23cyclictest3540-21mailstats20:45:251
2429399372,5cyclictest9-21ksoftirqd/021:50:160
24295993629,4cyclictest7790-21snmpd23:32:052
2429499360,22cyclictest4830-21seq21:55:281
2429499360,22cyclictest14078-21mailstats00:30:241
2429499351,20cyclictest11571-21apt23:20:111
2429499351,20cyclictest11571-21apt23:20:111
2429499350,22cyclictest14192-21cstates23:25:161
2429499350,21cyclictest14890-21sed22:20:001
2429499350,20cyclictest8441-21fschecks_time00:20:161
2429499350,19cyclictest4496-21/usr/sbin/munin20:50:191
2429499350,19cyclictest0-21swapper/100:00:191
2429399352,8cyclictest9-21ksoftirqd/020:30:010
2429399352,8cyclictest9-21ksoftirqd/020:30:000
136591350,0ptp4l401ktimersoftd/321:10:193
2429599347,26cyclictest6335-21kworker/2:123:25:252
2429599344,28cyclictest16610-21kworker/2:220:27:092
2429599344,28cyclictest16610-21kworker/2:220:27:082
2429599343,30cyclictest16610-21kworker/2:219:58:292
2429599343,30cyclictest16610-21kworker/2:219:58:282
2429599343,21cyclictest6335-21kworker/2:123:14:452
24295993428,4cyclictest33-21ksoftirqd/222:57:242
24295993427,5cyclictest33-21ksoftirqd/200:30:322
2429499340,21cyclictest21708-21if_enp4s023:40:161
2429499340,20cyclictest18796-21/usr/sbin/munin21:20:191
24296993326,4cyclictest41-21ksoftirqd/321:04:083
24296993313,3cyclictest32326-21sed22:55:143
24296993312,3cyclictest1531-21cat00:05:193
24295993327,4cyclictest33-21ksoftirqd/223:44:582
24295993327,4cyclictest33-21ksoftirqd/220:51:082
24295993326,5cyclictest33-21ksoftirqd/221:04:522
2429599331,31cyclictest16610-21kworker/2:222:41:412
2429599331,31cyclictest16610-21kworker/2:221:42:252
24294993326,4cyclictest25-21ksoftirqd/100:35:361
2429499331,19cyclictest0-21swapper/120:19:571
2429499331,18cyclictest1682-21memory21:50:201
24296993226,4cyclictest41-21ksoftirqd/320:00:333
24296993226,4cyclictest41-21ksoftirqd/319:52:483
24296993226,4cyclictest41-21ksoftirqd/300:33:143
24296993225,4cyclictest41-21ksoftirqd/319:47:113
24296993213,3cyclictest28881-21/usr/sbin/munin20:30:103
24295993226,4cyclictest33-21ksoftirqd/222:51:082
24295993226,4cyclictest33-21ksoftirqd/221:21:122
24295993226,4cyclictest33-21ksoftirqd/219:44:532
24294993213,16cyclictest26944-21missed_timers20:20:201
2429399320,7cyclictest9-21ksoftirqd/020:00:280
24296993126,3cyclictest41-21ksoftirqd/321:56:583
24296993125,4cyclictest41-21ksoftirqd/322:04:463
24296993125,4cyclictest41-21ksoftirqd/321:36:143
24296993125,4cyclictest41-21ksoftirqd/320:49:483
24296993125,4cyclictest41-21ksoftirqd/320:36:093
24296993125,4cyclictest41-21ksoftirqd/319:39:593
24296993125,4cyclictest41-21ksoftirqd/300:10:393
24296993124,5cyclictest41-21ksoftirqd/300:26:243
24296993124,4cyclictest41-21ksoftirqd/300:00:483
2429699311,17cyclictest11370-21sendmail-msp23:20:003
24295993126,3cyclictest33-21ksoftirqd/221:31:202
24295993126,3cyclictest33-21ksoftirqd/200:16:012
24295993125,4cyclictest33-21ksoftirqd/223:59:242
24295993125,4cyclictest33-21ksoftirqd/223:20:592
24295993125,4cyclictest33-21ksoftirqd/223:20:592
24295993125,4cyclictest33-21ksoftirqd/222:25:352
24295993125,4cyclictest33-21ksoftirqd/221:57:402
24295993125,4cyclictest33-21ksoftirqd/221:38:212
24295993125,4cyclictest2948-21cron00:10:002
2429599311,29cyclictest16610-21kworker/2:220:47:562
2429599310,30cyclictest16610-21kworker/2:221:53:012
24294993124,4cyclictest25-21ksoftirqd/120:37:181
136591310,0ptp4l401ktimersoftd/322:47:103
24296993024,4cyclictest41-21ksoftirqd/322:53:563
24296993024,4cyclictest41-21ksoftirqd/322:38:373
24296993024,4cyclictest41-21ksoftirqd/321:16:333
24296993024,4cyclictest41-21ksoftirqd/320:54:573
24296993024,4cyclictest41-21ksoftirqd/320:43:153
24296993014,4cyclictest41-21ksoftirqd/320:13:583
24296993012,3cyclictest19066-21sh20:05:143
2429599307,21cyclictest6335-21kworker/2:123:36:052
24295993024,4cyclictest33-21ksoftirqd/223:18:512
24295993024,4cyclictest33-21ksoftirqd/220:32:392
24295993024,4cyclictest33-21ksoftirqd/219:48:382
24295993023,5cyclictest33-21ksoftirqd/223:53:492
24294993024,4cyclictest25-21ksoftirqd/123:45:011
2429499301,26cyclictest25676-21cron21:34:591
2429499301,25cyclictest13724-21cat19:55:011
24294993012,15cyclictest32334-21expr20:40:101
24296992924,3cyclictest41-21ksoftirqd/322:43:133
24296992923,4cyclictest41-21ksoftirqd/323:52:173
24296992923,4cyclictest41-21ksoftirqd/323:35:043
24296992923,4cyclictest41-21ksoftirqd/323:27:543
24296992923,4cyclictest41-21ksoftirqd/322:27:003
24296992923,4cyclictest41-21ksoftirqd/322:09:363
24296992923,4cyclictest41-21ksoftirqd/321:51:543
24296992923,4cyclictest41-21ksoftirqd/321:47:453
24296992922,4cyclictest41-21ksoftirqd/319:32:343
24295992924,3cyclictest33-21ksoftirqd/223:09:192
24295992924,3cyclictest33-21ksoftirqd/222:45:572
24295992924,3cyclictest33-21ksoftirqd/220:07:462
24295992924,3cyclictest33-21ksoftirqd/220:04:272
24295992923,4cyclictest33-21ksoftirqd/222:10:512
24295992923,4cyclictest33-21ksoftirqd/222:08:182
2429599291,26cyclictest0-21swapper/219:37:052
24294992925,3cyclictest25-21ksoftirqd/123:59:551
24294992924,3cyclictest25-21ksoftirqd/121:45:011
24294992923,4cyclictest25-21ksoftirqd/119:39:411
24294992912,15cyclictest8261-21mailstats20:55:231
2429499290,2cyclictest0-21swapper/122:35:261
24296992822,4cyclictest41-21ksoftirqd/321:42:083
24296992822,4cyclictest41-21ksoftirqd/319:22:023
2429599287,19cyclictest16610-21kworker/2:220:55:252
2429599282,25cyclictest16610-21kworker/2:220:19:082
24295992822,4cyclictest33-21ksoftirqd/200:11:462
24294992823,3cyclictest25-21ksoftirqd/120:35:001
24294992822,4cyclictest25-21ksoftirqd/100:19:441
24294992822,4cyclictest25-21ksoftirqd/100:06:241
2429499280,1cyclictest0-21swapper/121:25:251
2429499280,1cyclictest0-21swapper/121:05:131
24296992722,3cyclictest41-21ksoftirqd/323:21:523
24296992722,3cyclictest41-21ksoftirqd/323:21:523
24296992722,3cyclictest41-21ksoftirqd/323:04:393
24296992722,3cyclictest41-21ksoftirqd/320:28:423
24296992722,3cyclictest41-21ksoftirqd/320:28:423
24296992721,4cyclictest41-21ksoftirqd/323:09:533
24296992721,4cyclictest41-21ksoftirqd/319:15:483
24296992720,5cyclictest41-21ksoftirqd/323:46:163
2429599276,19cyclictest6335-21kworker/2:123:45:092
2429599276,19cyclictest16610-21kworker/2:221:28:422
2429599276,19cyclictest16610-21kworker/2:219:50:122
2429599275,20cyclictest25500-21kworker/2:000:25:292
2429599273,23cyclictest25500-21kworker/2:000:20:492
24295992721,4cyclictest33-21ksoftirqd/222:38:232
24295992721,4cyclictest33-21ksoftirqd/222:16:282
24295992721,4cyclictest33-21ksoftirqd/221:46:522
24295992721,4cyclictest33-21ksoftirqd/200:35:462
24295992720,5cyclictest33-21ksoftirqd/222:23:112
24295992720,5cyclictest33-21ksoftirqd/219:24:472
2429599271,25cyclictest16610-21kworker/2:221:06:172
2429499272,22cyclictest5758-21df22:00:151
24294992721,4cyclictest25-21ksoftirqd/120:28:201
24294992721,4cyclictest25-21ksoftirqd/120:28:201
2429499270,1cyclictest0-21swapper/123:05:131
24296992621,3cyclictest41-21ksoftirqd/322:22:223
24296992621,3cyclictest41-21ksoftirqd/321:29:263
24296992621,3cyclictest41-21ksoftirqd/321:22:193
2429599263,22cyclictest16610-21kworker/2:219:25:082
2429599263,22cyclictest16610-21kworker/2:219:25:082
24295992620,4cyclictest33-21ksoftirqd/222:01:482
24295992620,4cyclictest33-21ksoftirqd/220:20:262
24295992620,3cyclictest33-21ksoftirqd/221:12:022
24295992620,3cyclictest33-21ksoftirqd/200:03:022
2429499261,22cyclictest2082-21grep19:30:161
2429499261,21cyclictest24729-21fschecks_count19:10:161
24296992520,3cyclictest41-21ksoftirqd/323:11:513
24296992520,3cyclictest41-21ksoftirqd/322:18:393
24296992520,3cyclictest41-21ksoftirqd/320:55:433
24296992520,3cyclictest41-21ksoftirqd/320:24:253
24296992519,4cyclictest41-21ksoftirqd/322:10:073
2429599253,21cyclictest16610-21kworker/2:219:18:332
24295992520,3cyclictest33-21ksoftirqd/220:40:552
24295992519,4cyclictest33-21ksoftirqd/223:01:502
24295992519,4cyclictest33-21ksoftirqd/220:11:202
24296992419,3cyclictest41-21ksoftirqd/319:26:193
24296992419,3cyclictest41-21ksoftirqd/319:26:193
24295992418,4cyclictest33-21ksoftirqd/219:10:112
24296992318,3cyclictest41-21ksoftirqd/321:06:143
24296992317,4cyclictest41-21ksoftirqd/321:31:363
136591230,0ptp4l401ktimersoftd/300:23:073
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional