You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-02 - 23:11
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot3.osadl.org (updated Sun Nov 02, 2025 12:45:50)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
137191227198,19phc2sys0-21swapper/307:09:583
107912206172,23sleep10-21swapper/107:07:211
107922204170,23sleep20-21swapper/207:07:232
109092201167,23sleep00-21swapper/007:08:500
136991830,2ptp4l391rcuc/308:30:133
1130599680,25cyclictest1285-21snmpd07:13:173
1130499670,25cyclictest6606-21sed09:15:002
5932660,3sleep20-21swapper/209:00:192
1130499660,37cyclictest0-21swapper/210:20:002
1130499660,28cyclictest6799-21/usr/sbin/munin09:15:162
276552650,1sleep10-21swapper/112:10:231
1130599631,23cyclictest10339-21irqstats09:20:203
1130599610,24cyclictest26104-21grep09:55:113
1130599610,24cyclictest26104-21grep09:55:113
1130599600,28cyclictest992-21mailstats09:00:243
1130499591,24cyclictest10484-21sed11:35:202
1130499590,23cyclictest17971-21grep10:45:152
11302995921,3cyclictest9-21ksoftirqd/008:40:000
32492580,1sleep00-21swapper/010:15:120
121222580,3sleep30-21swapper/309:25:163
1130499580,33cyclictest14756-21iwlist09:30:172
1130499580,23cyclictest21639-21expr09:45:172
11302995820,3cyclictest9-21ksoftirqd/009:50:000
1130499573,23cyclictest24668-21phc2sys07:35:232
1130499571,24cyclictest22744-21sshd10:55:112
1130499571,24cyclictest22744-21sshd10:55:112
1130599560,25cyclictest493-21dpkg07:55:023
1130499560,24cyclictest10788-21tr10:30:152
1130499560,23cyclictest1053-21expr10:10:142
1130499560,22cyclictest670-21dpkg07:55:012
1130599551,23cyclictest23118-21df_abs10:55:153
1130599551,23cyclictest23118-21df_abs10:55:143
1130499551,23cyclictest28810-21df_abs10:00:152
1130499550,21cyclictest31430-21if_enp1s010:05:182
1130499550,21cyclictest29961-21missed_timers12:15:232
1130499540,33cyclictest32132-21cat07:50:302
1130499540,23cyclictest26911-21cut09:55:172
1130499540,23cyclictest26911-21cut09:55:172
1130499540,22cyclictest4209-21latency_hist09:10:002
1130599530,28cyclictest0-21swapper/308:10:173
1130499530,22cyclictest28052-21switchtime12:10:252
1130499530,22cyclictest14036-21sed08:20:232
1130599521,20cyclictest0-21swapper/308:40:283
1130499520,23cyclictest7917-21latency_hist10:25:002
1130599511,24cyclictest9209-21phc2sys10:25:243
1130499510,22cyclictest12416-21cat07:10:212
11302995120,4cyclictest9-21ksoftirqd/012:20:130
1130499500,22cyclictest8210-21cstates08:10:152
1130599490,24cyclictest22019-21sed10:50:263
11303994917,5cyclictest25-21ksoftirqd/108:05:191
11303994914,9cyclictest25-21ksoftirqd/109:40:011
1130599480,24cyclictest9627-21/usr/sbin/munin11:35:283
1130599480,24cyclictest10932-21sed10:30:163
1130499481,20cyclictest16771-21cstates09:35:142
1130499480,22cyclictest21938-21irqrtprio07:30:192
1130499471,24cyclictest19254-21if_enp1s007:25:162
1130499470,22cyclictest12070-21cstates09:25:152
1130499470,21cyclictest28825-21if_enp4s007:45:162
11302994718,3cyclictest9-21ksoftirqd/007:35:140
180782460,3sleep10-21swapper/111:50:251
132691460,8getstats1130599cyclictest12:27:413
1130599460,23cyclictest28543-21df_abs07:45:143
1130599460,23cyclictest2533-21cpu11:20:133
1130499460,22cyclictest26527-21date12:10:002
11303994614,5cyclictest25-21ksoftirqd/107:30:141
11303994614,4cyclictest25-21ksoftirqd/112:25:181
11303994612,4cyclictest25-21ksoftirqd/109:20:011
11302994632,4cyclictest9-21ksoftirqd/012:35:000
136991450,0ptp4l401ktimersoftd/309:17:293
1130599451,24cyclictest19359-21uniq09:40:163
1130599450,24cyclictest32679-21mailstats12:20:253
1130499452,20cyclictest19440-21cpuspeed11:55:132
1130499451,21cyclictest25952-21sed09:55:002
1130499450,24cyclictest6604-21hddtemp_smartct12:35:182
1130499450,24cyclictest6604-21hddtemp_smartct12:35:182
1130499450,23cyclictest16834-21sed08:25:252
1130399454,3cyclictest121rcu_preempt07:50:011
11303994515,4cyclictest25-21ksoftirqd/107:55:211
1130499441,29cyclictest20553-21timerwakeupswit09:40:272
11303994430,3cyclictest11435-21sshd09:23:421
11303994413,5cyclictest25-21ksoftirqd/109:50:151
11303994413,11cyclictest25-21ksoftirqd/111:40:011
11302994412,4cyclictest9-21ksoftirqd/012:35:150
11302994412,4cyclictest9-21ksoftirqd/012:35:150
136991430,0ptp4l401ktimersoftd/312:38:213
136991430,0ptp4l401ktimersoftd/312:38:213
1130599430,24cyclictest4447-21phc2sys10:15:233
1130599430,22cyclictest0-21swapper/309:35:013
1130499430,31cyclictest25819-21sed08:45:222
1130499430,23cyclictest5128-21expr11:25:172
1130499430,23cyclictest5128-21expr11:25:172
1130499430,21cyclictest3776-21cat08:00:162
11303994338,3cyclictest25-21ksoftirqd/108:40:001
1130399431,3cyclictest121rcu_preempt07:40:001
1130299430,4cyclictest9-21ksoftirqd/011:15:000
1130599420,29cyclictest28306-21users12:10:293
1130499421,20cyclictest31764-21fschecks_count12:20:162
1130499420,29cyclictest30915-21sed11:10:222
1130499420,23cyclictest18571-21irqrtprio08:30:202
1130499420,23cyclictest14322-21date11:45:002
11303994217,7cyclictest25-21ksoftirqd/112:30:211
1130399421,3cyclictest121rcu_preempt12:20:201
1130399421,3cyclictest121rcu_preempt08:00:131
1130299429,3cyclictest9-21ksoftirqd/009:10:190
136991410,0ptp4l401ktimersoftd/308:08:063
1130599410,29cyclictest5748-21cpuspeed_turbos10:20:153
1130599410,23cyclictest30144-21cut12:15:253
1130499415,24cyclictest21521-21phc2sys10:50:232
1130499411,29cyclictest27525-21timerwakeupswit07:40:362
1130499411,29cyclictest27525-21timerwakeupswit07:40:362
1130499411,22cyclictest16999-21expr11:50:142
1130499410,30cyclictest24720-21cat08:45:002
1130499410,21cyclictest27506-21/usr/sbin/munin11:05:192
1130399418,3cyclictest25-21ksoftirqd/108:15:291
11303994135,3cyclictest25-21ksoftirqd/112:10:011
11303994134,4cyclictest10135-21cron10:30:001
11303994110,8cyclictest25-21ksoftirqd/108:20:181
1130399410,3cyclictest121rcu_preempt12:40:011
1130399410,3cyclictest121rcu_preempt12:40:001
1130299412,2cyclictest121rcu_preempt10:35:010
136991400,0ptp4l401ktimersoftd/311:51:373
136991400,0ptp4l401ktimersoftd/308:50:013
1130499400,23cyclictest12718-21sed08:20:022
1130499400,18cyclictest0-21swapper/211:30:202
1130399409,10cyclictest25-21ksoftirqd/111:10:281
1130399407,8cyclictest25-21ksoftirqd/111:25:201
1130399407,8cyclictest25-21ksoftirqd/111:25:191
1130399404,9cyclictest25-21ksoftirqd/110:30:241
11303994030,2cyclictest25-21ksoftirqd/111:40:251
11302994035,3cyclictest9-21ksoftirqd/009:20:000
1130599390,25cyclictest30048-21awk08:55:163
1130599390,19cyclictest24974-21ls07:35:263
1130599390,19cyclictest0-21swapper/308:35:163
1130399393,8cyclictest25-21ksoftirqd/111:15:201
11303993935,2cyclictest28025-21awk07:45:011
11303993935,2cyclictest28025-21awk07:45:001
11303993934,3cyclictest25-21ksoftirqd/108:35:001
11303993934,2cyclictest25-21ksoftirqd/110:40:011
1130399392,7cyclictest25-21ksoftirqd/110:20:201
1130399390,8cyclictest25-21ksoftirqd/109:45:171
1130399390,3cyclictest121rcu_preempt11:20:201
1130399390,3cyclictest121rcu_preempt10:10:201
11302993933,3cyclictest9-21ksoftirqd/011:54:590
1130299392,4cyclictest0-21swapper/009:25:270
11305993833,3cyclictest41-21ksoftirqd/309:55:003
11305993815,20cyclictest17951-21/usr/sbin/munin10:45:263
1130599381,22cyclictest0-21swapper/310:05:013
1130599380,18cyclictest0-21swapper/307:55:203
1130499381,19cyclictest0-21swapper/207:20:172
1130499380,35cyclictest4017-21df_abs12:30:162
1130499380,23cyclictest7948-21date08:10:002
1130499380,23cyclictest14668-21sort07:15:222
1130499380,20cyclictest9732-21df_abs09:20:152
1130399388,3cyclictest25-21ksoftirqd/112:15:241
1130399387,6cyclictest25-21ksoftirqd/110:00:191
1130399386,3cyclictest25-21ksoftirqd/109:10:161
1130399385,3cyclictest121rcu_preempt10:50:271
1130399384,3cyclictest121rcu_preempt08:40:211
1130399384,2cyclictest121rcu_preempt09:00:141
11303993833,3cyclictest29650-21ls11:10:011
11303993833,3cyclictest25-21ksoftirqd/107:55:021
11303993832,3cyclictest25-21ksoftirqd/112:00:011
11303993832,3cyclictest25-21ksoftirqd/109:40:281
1130399382,8cyclictest25-21ksoftirqd/110:40:191
1130399382,8cyclictest25-21ksoftirqd/107:20:251
1130399382,6cyclictest25-21ksoftirqd/112:00:211
11303993822,6cyclictest25-21ksoftirqd/111:45:231
1130399381,8cyclictest25-21ksoftirqd/108:10:191
1130399380,3cyclictest121rcu_preempt10:15:151
11302993833,3cyclictest9-21ksoftirqd/009:10:000
11302993831,4cyclictest9-21ksoftirqd/009:40:010
11302993826,4cyclictest9-21ksoftirqd/007:50:000
1130299381,4cyclictest0-21swapper/008:00:240
11305993731,3cyclictest41-21ksoftirqd/311:30:193
1130499371,21cyclictest13490-21df_abs10:35:152
1130399374,2cyclictest121rcu_preempt08:45:231
11303993733,2cyclictest25-21ksoftirqd/108:30:001
11303993732,4cyclictest25-21ksoftirqd/107:10:241
11303993731,3cyclictest25-21ksoftirqd/111:00:151
11303993731,3cyclictest25-21ksoftirqd/109:35:011
11303993730,4cyclictest25-21ksoftirqd/109:08:051
1130399372,6cyclictest25-21ksoftirqd/108:55:141
11303993726,4cyclictest25-21ksoftirqd/107:25:211
1130399370,2cyclictest121rcu_preempt10:55:251
1130399370,2cyclictest121rcu_preempt10:55:251
1130299377,4cyclictest9-21ksoftirqd/008:40:140
11302993733,3cyclictest9-21ksoftirqd/008:10:000
11302993733,2cyclictest9-21ksoftirqd/008:55:010
11302993732,3cyclictest9-21ksoftirqd/010:10:010
11302993732,3cyclictest9-21ksoftirqd/007:20:000
11302993723,3cyclictest9-21ksoftirqd/009:00:150
1130299371,4cyclictest121rcu_preempt11:20:000
11305993630,4cyclictest41-21ksoftirqd/312:34:363
1130599360,21cyclictest0-21swapper/308:00:163
1130499361,22cyclictest9364-21fgrep10:25:242
11303993631,3cyclictest25-21ksoftirqd/110:45:161
11303993631,3cyclictest25-21ksoftirqd/108:50:131
11303993631,3cyclictest25-21ksoftirqd/107:15:211
11303993621,5cyclictest25-21ksoftirqd/111:30:121
1130399361,8cyclictest25-21ksoftirqd/109:55:121
1130399361,8cyclictest25-21ksoftirqd/109:55:121
11302993632,3cyclictest9-21ksoftirqd/008:20:010
11302993632,3cyclictest9-21ksoftirqd/007:15:000
11302993631,3cyclictest9-21ksoftirqd/012:00:000
11302993631,3cyclictest9-21ksoftirqd/011:10:010
1130299362,2cyclictest121rcu_preempt11:20:200
11304993529,4cyclictest33-21ksoftirqd/212:27:532
11304993529,4cyclictest33-21ksoftirqd/212:03:142
1130399351,8cyclictest25-21ksoftirqd/110:05:251
1130299356,3cyclictest9-21ksoftirqd/007:50:150
1130299353,5cyclictest26670-21cpuspeed_turbos12:10:130
11302993530,3cyclictest9-21ksoftirqd/012:05:170
11302993530,3cyclictest9-21ksoftirqd/010:29:590
11302993530,3cyclictest9-21ksoftirqd/007:35:000
11302993529,3cyclictest9-21ksoftirqd/011:00:000
11302993529,3cyclictest9-21ksoftirqd/011:00:000
1130299352,4cyclictest17929-21cstates08:30:150
11302993523,5cyclictest9-21ksoftirqd/010:20:240
11302993519,4cyclictest9-21ksoftirqd/010:50:240
11305993428,4cyclictest41-21ksoftirqd/307:42:103
11305993428,4cyclictest41-21ksoftirqd/307:42:093
1130599342,29cyclictest24538-21df_abs12:05:133
11305993413,18cyclictest25135-21/usr/sbin/munin11:00:263
1130599341,28cyclictest4440-21apt-get09:10:113
11305993412,20cyclictest23574-21sed09:50:003
11305993412,19cyclictest14223-21cat11:45:003
11305993411,21cyclictest17558-21seq07:20:243
11304993428,4cyclictest33-21ksoftirqd/208:55:542
1130499340,20cyclictest28845-21timerandwakeup08:50:252
1130399347,6cyclictest25-21ksoftirqd/109:25:281
11302993429,3cyclictest9-21ksoftirqd/007:55:150
11302993429,3cyclictest9-21ksoftirqd/007:40:160
11302993429,3cyclictest9-21ksoftirqd/007:40:160
11302993429,3cyclictest9-21ksoftirqd/007:25:010
11302993428,4cyclictest9-21ksoftirqd/011:37:240
11302993428,3cyclictest9-21ksoftirqd/009:20:010
11302993428,3cyclictest9-21ksoftirqd/008:20:010
11302993427,5cyclictest9-21ksoftirqd/009:51:250
11302993427,5cyclictest9-21ksoftirqd/008:45:410
1130299341,5cyclictest9-21ksoftirqd/009:40:130
1130299340,5cyclictest9-21ksoftirqd/007:25:120
1130299340,5cyclictest12905-21irqrtprio11:40:220
132691330,1getstats0-21swapper/311:57:413
11305993327,4cyclictest41-21ksoftirqd/311:29:323
11305993327,4cyclictest41-21ksoftirqd/311:29:323
11305993327,4cyclictest41-21ksoftirqd/310:07:363
11305993327,4cyclictest41-21ksoftirqd/309:37:193
11302993329,3cyclictest9-21ksoftirqd/008:25:190
11302993328,3cyclictest9-21ksoftirqd/011:25:170
11302993328,3cyclictest9-21ksoftirqd/011:25:170
11302993328,3cyclictest9-21ksoftirqd/011:00:200
11302993328,3cyclictest9-21ksoftirqd/010:45:230
11302993328,3cyclictest9-21ksoftirqd/010:00:200
11302993327,4cyclictest9-21ksoftirqd/011:34:550
11302993327,4cyclictest9-21ksoftirqd/008:12:230
11302993324,3cyclictest9-21ksoftirqd/009:35:000
1130299332,3cyclictest15999-21fschecks_count10:40:180
11302993321,3cyclictest9-21ksoftirqd/010:15:000
1130299331,5cyclictest31174-21sed08:55:260
11305993228,3cyclictest41-21ksoftirqd/310:39:293
1130599321,28cyclictest22795-21latency12:00:193
11305993211,18cyclictest28813-21cut11:05:243
1130599320,19cyclictest0-21swapper/308:20:253
11304993228,3cyclictest33-21ksoftirqd/211:23:292
11304993226,4cyclictest33-21ksoftirqd/211:01:152
11304993226,4cyclictest33-21ksoftirqd/210:40:572
1130499320,16cyclictest0-21swapper/211:45:192
11302993227,3cyclictest9-21ksoftirqd/012:25:190
11302993227,3cyclictest9-21ksoftirqd/012:15:210
11302993220,4cyclictest9-21ksoftirqd/011:45:200
11302993219,3cyclictest9-21ksoftirqd/012:00:120
1130599319,19cyclictest28182-21irqrtprio08:50:183
11305993126,3cyclictest41-21ksoftirqd/309:05:113
1130599312,25cyclictest0-21swapper/311:15:143
1130599312,24cyclictest14416-21apt-get11:45:153
1130599311,26cyclictest10365-21apt-get08:15:143
1130599310,27cyclictest19758-21missed_timers07:25:213
1130599310,19cyclictest0-21swapper/311:10:163
1130599310,19cyclictest0-21swapper/310:10:163
11302993126,3cyclictest9-21ksoftirqd/009:55:260
11302993126,3cyclictest9-21ksoftirqd/009:55:260
11302993117,4cyclictest9-21ksoftirqd/010:31:290
11305993024,4cyclictest41-21ksoftirqd/307:31:343
1130599302,23cyclictest15593-21apt-get10:40:153
1130599292,23cyclictest0-21swapper/308:25:123
1130599290,27cyclictest0-21swapper/307:18:183
11304992923,4cyclictest33-21ksoftirqd/211:16:082
11304992914,13cyclictest21285-21phc2sys08:35:232
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional