You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-03 - 15:24
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot2.osadl.org (updated Wed Dec 03, 2025 00:45:42)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
283892232167,23sleep10-21swapper/119:08:151
136691210175,24phc2sys0-21swapper/319:07:573
283452206173,22sleep20-21swapper/219:07:392
282392202170,22sleep00-21swapper/019:06:200
1765521600,7sleep22881999cyclictest21:00:162
1959421490,6sleep32882099cyclictest00:25:213
2881999685,61cyclictest24569-21kworker/2:122:50:252
2882099649,16cyclictest18747-21/usr/sbin/munin19:55:203
2881999640,24cyclictest18298-21cat22:10:002
2881999631,24cyclictest29983-21sed20:15:292
2881999630,25cyclictest25703-21cat20:10:012
2881999630,24cyclictest31330-21cat23:44:592
2881999630,24cyclictest13385-21chmod19:45:022
2881999621,23cyclictest22714-21sshd22:16:552
2881999621,23cyclictest11945-21irqstats19:40:202
2881999620,26cyclictest7106-21cut00:00:192
2881999620,26cyclictest14770-21cat20:55:002
2881999620,25cyclictest9921-21wc23:00:012
2881999620,25cyclictest15930-21cat22:05:002
2881999620,24cyclictest19837-21mailstats22:10:242
2881999620,23cyclictest9183-21mailstats20:40:242
2882099619,16cyclictest1307-21runrttasks00:30:143
2881999610,31cyclictest22134-21dpkg21:10:012
2881999600,30cyclictest16690-21smartctl19:50:202
2881999600,23cyclictest26530-21irqstats22:25:192
28820995810,16cyclictest6565-21apt-get21:45:113
28820995810,16cyclictest6565-21apt-get21:45:113
2881999580,24cyclictest25997-21cat23:30:282
2881999561,29cyclictest11129-21latency_hist00:10:002
2881999561,24cyclictest10798-21awk23:00:192
2881999560,29cyclictest4232-21cat19:25:182
2881999560,26cyclictest1124-21awk21:30:302
2881999560,21cyclictest325202sendmail22:40:002
16482560,4sleep32882099cyclictest20:25:223
2881999550,25cyclictest18459-21dpkg00:25:012
2881999550,24cyclictest27137-21sh23:35:172
2881999550,23cyclictest15502-21basename20:55:162
2881999550,23cyclictest15502-21basename20:55:162
2882099549,16cyclictest30699-21sshd22:35:173
2881999540,25cyclictest12420-21cat21:55:212
2882099538,14cyclictest14741-21ls00:15:213
2882099538,11cyclictest117962sleep323:00:283
2882099529,13cyclictest26564-21cut20:10:203
2881999520,25cyclictest20247-21cat23:20:172
2882099519,14cyclictest30259-21sensors19:10:263
2882099518,12cyclictest4930-21taskset23:55:213
28820995111,11cyclictest13933-21sensors23:05:253
220822500,2sleep00-21swapper/020:00:210
2882099499,10cyclictest7790-21snmpd20:34:433
2882099498,15cyclictest5327-21/usr/sbin/munin22:50:183
2882099498,12cyclictest1307-21runrttasks22:15:273
2882099497,14cyclictest28393-21ls23:35:283
28820994913,33cyclictest1387-21grep19:20:173
2882099489,11cyclictest13902-21sed19:45:143
2882099479,11cyclictest18089-21cut23:15:183
2882099469,11cyclictest7084-21awk20:35:283
28820994610,12cyclictest787-21unixbench_singl23:45:273
2882099457,7cyclictest23516-21apt-get20:05:123
2882099455,10cyclictest0-21swapper/320:50:153
325182440,8sleep132515-21sort22:40:001
2881999440,23cyclictest28096-21latency_hist20:15:012
2881999430,21cyclictest0-21swapper/219:30:242
136591430,0ptp4l401ktimersoftd/319:37:263
136591420,0ptp4l401ktimersoftd/322:56:443
136591410,0ptp4l401ktimersoftd/321:05:433
2882099409,11cyclictest2175-21irqrtprio23:50:213
2881999403,35cyclictest8817-21kworker/2:219:35:412
2881999400,26cyclictest3908-21taskset23:55:132
2881999396,31cyclictest19163-21kworker/2:221:25:292
2881999391,24cyclictest11856-21if_enp1s000:10:162
2881999390,29cyclictest25096-21users00:35:282
136591390,0ptp4l401ktimersoftd/320:15:313
2882099389,18cyclictest31922-21processes20:20:253
2882099389,17cyclictest32495-21processes19:15:253
2881999386,30cyclictest24569-21kworker/2:123:13:492
2881999380,28cyclictest22070-21irqstats20:00:212
28817993833,3cyclictest9-21ksoftirqd/021:04:470
2881799380,35cyclictest18295-21cron19:54:590
2881999376,29cyclictest24569-21kworker/2:123:06:532
2881999372,34cyclictest19163-21kworker/2:221:17:372
2881999370,25cyclictest3897-21irqstats22:45:202
2881999370,18cyclictest0-21swapper/220:35:272
2882099369,17cyclictest9922-21latency_hist20:45:003
2882099369,16cyclictest25253-21if_enp4s021:15:173
2881999365,30cyclictest3773-21kworker/2:020:33:172
2881999365,30cyclictest24569-21kworker/2:123:27:212
2881999364,30cyclictest24569-21kworker/2:123:51:172
2881999361,33cyclictest24569-21kworker/2:122:22:412
2881999361,32cyclictest8220-21unixbench_multi21:45:282
2881999361,32cyclictest8220-21unixbench_multi21:45:272
2881999360,35cyclictest3773-21kworker/2:020:49:132
2881999360,35cyclictest19163-21kworker/2:221:41:342
2882099355,19cyclictest0-21swapper/319:50:143
28820993511,10cyclictest18834-21df_abs22:10:143
2881999354,30cyclictest24569-21kworker/2:122:32:012
2881999352,31cyclictest24569-21kworker/2:100:15:012
2881999350,34cyclictest2154-21kworker/2:019:13:572
2882099349,7cyclictest23238-21apt-get22:20:123
2882099346,19cyclictest0-21swapper/323:40:133
2882099345,19cyclictest0-21swapper/321:00:153
2882099345,17cyclictest0-21swapper/319:30:133
28820993411,8cyclictest7121-21sed00:00:183
2881999344,29cyclictest24569-21kworker/2:100:21:572
2881999340,21cyclictest0-21swapper/221:20:202
28817993429,3cyclictest9-21ksoftirqd/022:25:010
28817993428,3cyclictest9-21ksoftirqd/021:24:590
2882099339,12cyclictest3553-21users21:35:273
2882099338,7cyclictest22560-21sensors20:00:253
2882099338,11cyclictest29437-21switchtime22:30:243
2882099338,11cyclictest2825-21readlink22:45:013
2882099335,17cyclictest0-21swapper/319:25:143
28820993327,4cyclictest41-21ksoftirqd/322:03:033
28820993327,4cyclictest41-21ksoftirqd/321:57:093
2881999339,21cyclictest19160-21awk19:55:172
28819993327,4cyclictest33-21ksoftirqd/219:16:412
2881999332,30cyclictest24569-21kworker/2:123:19:132
2881999331,29cyclictest20376-21sed21:05:192
2881999330,31cyclictest3407-21awk19:25:002
28818993328,3cyclictest25-21ksoftirqd/122:25:191
28818993327,4cyclictest25-21ksoftirqd/123:44:311
28818993327,4cyclictest25-21ksoftirqd/123:26:381
28818993327,4cyclictest25-21ksoftirqd/122:11:041
28818993327,4cyclictest25-21ksoftirqd/121:52:381
28818993327,4cyclictest25-21ksoftirqd/120:51:361
28818993327,4cyclictest25-21ksoftirqd/119:58:321
28818993326,4cyclictest25-21ksoftirqd/120:42:251
28818993326,4cyclictest25-21ksoftirqd/120:30:421
28817993329,2cyclictest9-21ksoftirqd/019:40:000
28817993328,3cyclictest9-21ksoftirqd/000:00:010
28817993327,4cyclictest9-21ksoftirqd/020:43:130
28817993327,3cyclictest9-21ksoftirqd/020:40:000
28817993327,3cyclictest9-21ksoftirqd/000:35:000
2882099326,17cyclictest0-21swapper/321:10:173
2882099326,16cyclictest0-21swapper/322:05:113
2882099325,17cyclictest0-21swapper/323:30:243
2882099325,17cyclictest0-21swapper/300:05:143
2882099325,16cyclictest0-21swapper/300:35:143
28820993226,4cyclictest41-21ksoftirqd/300:21:393
2881999320,16cyclictest0-21swapper/221:35:242
28818993227,3cyclictest25-21ksoftirqd/100:15:041
28818993226,4cyclictest25-21ksoftirqd/122:22:031
28818993226,4cyclictest25-21ksoftirqd/120:48:551
28818993226,4cyclictest25-21ksoftirqd/100:07:411
28817993228,3cyclictest9-21ksoftirqd/022:35:210
28817993228,2cyclictest9-21ksoftirqd/021:55:190
28817993227,3cyclictest9-21ksoftirqd/023:15:000
28817993227,3cyclictest9-21ksoftirqd/022:31:160
28817993227,3cyclictest9-21ksoftirqd/021:10:010
28817993226,4cyclictest9-21ksoftirqd/023:09:200
28817993226,4cyclictest9-21ksoftirqd/019:32:400
28817993226,3cyclictest9-21ksoftirqd/022:55:110
28817993226,3cyclictest9-21ksoftirqd/021:30:200
28817993226,3cyclictest9-21ksoftirqd/019:40:500
2882099319,7cyclictest11660-21df_inode00:10:143
2882099318,7cyclictest5702-21ssh21:40:273
2882099318,7cyclictest11725-21ssh20:45:283
2882099317,8cyclictest7790-21snmpd21:20:563
2882099315,15cyclictest0-21swapper/320:55:163
2882099315,15cyclictest0-21swapper/320:55:163
28820993125,4cyclictest41-21ksoftirqd/323:25:433
2881999318,19cyclictest761-21cpuspeed_turbos20:25:162
28819993126,3cyclictest301-21cron20:25:012
28819993125,4cyclictest33-21ksoftirqd/222:44:432
2881999312,27cyclictest24569-21kworker/2:123:45:132
2881999311,27cyclictest226-21systemd-journal21:51:022
2881999310,28cyclictest20973-21/usr/sbin/munin00:30:152
28818993126,3cyclictest25-21ksoftirqd/120:39:291
28818993125,4cyclictest25-21ksoftirqd/122:56:291
28818993125,4cyclictest25-21ksoftirqd/122:15:571
28818993124,4cyclictest25-21ksoftirqd/120:15:451
28817993127,3cyclictest9-21ksoftirqd/000:25:010
28817993127,2cyclictest9-21ksoftirqd/022:45:000
28817993126,3cyclictest9-21ksoftirqd/023:20:180
28817993126,3cyclictest9-21ksoftirqd/022:10:190
28817993126,3cyclictest9-21ksoftirqd/022:00:190
28817993126,3cyclictest9-21ksoftirqd/021:35:150
28817993125,4cyclictest9-21ksoftirqd/023:52:400
28817993125,4cyclictest9-21ksoftirqd/023:28:250
28817993125,4cyclictest9-21ksoftirqd/023:03:060
28817993125,4cyclictest9-21ksoftirqd/020:24:560
28817993125,3cyclictest9-21ksoftirqd/023:40:000
28817993125,3cyclictest9-21ksoftirqd/022:25:190
28817993125,3cyclictest9-21ksoftirqd/020:15:010
28817993125,3cyclictest9-21ksoftirqd/020:10:010
2882099308,8cyclictest30436-21ls21:25:213
2882099307,8cyclictest1584-21ps22:40:243
2882099307,21cyclictest0-21swapper/321:35:003
28820993024,4cyclictest41-21ksoftirqd/321:52:283
28818993025,3cyclictest25-21ksoftirqd/123:56:261
28818993024,4cyclictest25-21ksoftirqd/122:52:031
28818993024,4cyclictest25-21ksoftirqd/121:46:561
28818993024,4cyclictest25-21ksoftirqd/121:46:561
28818993024,4cyclictest25-21ksoftirqd/121:29:311
28818993024,4cyclictest25-21ksoftirqd/121:17:001
28818993024,4cyclictest25-21ksoftirqd/121:05:051
28818993024,4cyclictest25-21ksoftirqd/121:03:291
28817993026,3cyclictest9-21ksoftirqd/021:15:190
28817993025,3cyclictest9-21ksoftirqd/022:20:000
28817993025,3cyclictest9-21ksoftirqd/020:55:260
28817993025,3cyclictest9-21ksoftirqd/020:55:260
28817993025,3cyclictest9-21ksoftirqd/020:15:170
28817993025,3cyclictest9-21ksoftirqd/000:19:040
28817993025,3cyclictest9-21ksoftirqd/000:00:190
28817993024,4cyclictest9-21ksoftirqd/020:51:030
28817993024,4cyclictest9-21ksoftirqd/019:58:150
28817993024,4cyclictest9-21ksoftirqd/000:14:550
28817993024,3cyclictest9-21ksoftirqd/023:30:060
28817993024,3cyclictest9-21ksoftirqd/019:18:520
135042300,6sleep113489-21turbostat22:00:001
2882099297,7cyclictest20889-21ps23:20:223
28818992924,3cyclictest25-21ksoftirqd/123:38:201
28818992923,4cyclictest25-21ksoftirqd/123:18:311
28818992923,4cyclictest25-21ksoftirqd/122:31:091
28818992923,4cyclictest25-21ksoftirqd/121:12:021
28818992923,4cyclictest25-21ksoftirqd/120:08:271
28817992925,3cyclictest9-21ksoftirqd/019:14:590
28817992924,3cyclictest9-21ksoftirqd/021:12:450
28817992924,3cyclictest9-21ksoftirqd/000:05:200
28817992923,3cyclictest9-21ksoftirqd/019:45:180
2882099288,7cyclictest27244-21ls22:25:273
2882099288,7cyclictest12119-21ls19:40:223
28818992823,3cyclictest25-21ksoftirqd/123:07:281
28818992823,3cyclictest25-21ksoftirqd/123:03:191
28818992823,3cyclictest25-21ksoftirqd/121:40:001
28818992823,3cyclictest25-21ksoftirqd/119:54:441
28818992822,4cyclictest25-21ksoftirqd/122:44:571
28818992822,4cyclictest25-21ksoftirqd/122:01:131
28818992822,4cyclictest25-21ksoftirqd/121:43:311
28818992822,4cyclictest25-21ksoftirqd/120:26:571
28818992822,4cyclictest25-21ksoftirqd/120:14:571
28818992822,4cyclictest25-21ksoftirqd/119:48:541
28818992822,3cyclictest25-21ksoftirqd/123:53:421
28817992823,3cyclictest9-21ksoftirqd/022:50:000
28817992823,3cyclictest9-21ksoftirqd/021:45:200
28817992823,3cyclictest9-21ksoftirqd/021:45:200
28817992822,4cyclictest9-21ksoftirqd/020:32:410
28817992822,4cyclictest9-21ksoftirqd/019:27:340
28817992822,3cyclictest9-21ksoftirqd/023:45:140
28817992821,4cyclictest9-21ksoftirqd/019:23:010
28820992711,13cyclictest15032-21tr23:10:143
28818992722,3cyclictest25-21ksoftirqd/122:45:331
28818992722,3cyclictest25-21ksoftirqd/119:19:411
28818992721,4cyclictest25-21ksoftirqd/123:21:001
28818992721,4cyclictest25-21ksoftirqd/100:37:261
28818992720,4cyclictest25-21ksoftirqd/119:12:321
28817992722,3cyclictest9-21ksoftirqd/023:15:180
28817992722,3cyclictest9-21ksoftirqd/021:40:380
28817992721,4cyclictest9-21ksoftirqd/022:52:060
28817992721,3cyclictest9-21ksoftirqd/021:25:150
51698260,14rtkit-daemon484-21gmain23:48:471
28818992621,3cyclictest25-21ksoftirqd/123:12:571
28818992620,4cyclictest25-21ksoftirqd/122:08:071
28818992620,4cyclictest25-21ksoftirqd/100:24:141
28818992620,4cyclictest25-21ksoftirqd/100:00:081
28817992622,3cyclictest9-21ksoftirqd/022:05:180
28817992621,3cyclictest9-21ksoftirqd/023:45:000
28817992621,3cyclictest9-21ksoftirqd/020:45:170
28817992621,3cyclictest9-21ksoftirqd/020:26:570
28817992621,3cyclictest9-21ksoftirqd/000:25:260
28818992520,3cyclictest25-21ksoftirqd/121:23:411
28817992520,3cyclictest9-21ksoftirqd/000:37:420
28818992417,4cyclictest25-21ksoftirqd/100:30:001
28817992419,3cyclictest9-21ksoftirqd/021:52:010
28818992318,3cyclictest25-21ksoftirqd/120:22:221
28818992318,3cyclictest25-21ksoftirqd/119:39:271
28818992317,4cyclictest25-21ksoftirqd/123:31:551
28818992317,4cyclictest25-21ksoftirqd/121:31:041
28818992217,3cyclictest25-21ksoftirqd/120:55:101
28818992217,3cyclictest25-21ksoftirqd/120:55:101
28818992015,3cyclictest25-21ksoftirqd/119:41:181
28818992014,3cyclictest3394-21latency_hist19:25:011
28818991914,3cyclictest6500-21hddtemp_smartct19:30:161
28818991913,4cyclictest25-21ksoftirqd/100:13:231
28818991813,3cyclictest25-21ksoftirqd/119:25:151
28818991812,4cyclictest21203-21cpuspeed20:00:141
28818991611,3cyclictest21193-21cstates00:30:141
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional