You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-28 - 13:25

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Sat Mar 28, 2026 00:43:31)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3196714996555,6cyclictest0-21swapper/022:30:260
3196716996335,24cyclictest420-21avahi-daemon23:21:062
3196714995648,5cyclictest1230504-21cups-browsed20:50:270
3196714995642,7cyclictest151ktimers/021:50:300
3196716995141,5cyclictest0-21swapper/222:17:002
3196716995040,4cyclictest0-21swapper/223:30:342
3196716995033,14cyclictest0-21swapper/222:05:342
3196716995033,14cyclictest0-21swapper/222:05:342
3196716994934,7cyclictest0-21swapper/200:05:332
3196716994931,15cyclictest3216189-21grep20:15:012
3196716994842,3cyclictest3225423-21kworker/u8:13-xprtiod21:10:022
3196716994842,3cyclictest3225423-21kworker/u8:13-xprtiod21:10:022
3196715994739,5cyclictest3407339-21latency_hist00:40:011
3196715994739,5cyclictest3407339-21latency_hist00:40:011
319671499470,12cyclictest14-21ksoftirqd/020:15:240
3196716994640,4cyclictest1051-21mta-sts-daemon22:46:372
3196714994640,4cyclictest3374196-21idleruntime-cro00:00:010
319671499463,38cyclictest3233883-21ssh21:10:320
3196714994629,13cyclictest12350irq/32-eth022:40:290
3196716994537,3cyclictest0-21swapper/223:00:002
3196716994536,6cyclictest421-21dbus-daemon00:15:272
3196715994536,6cyclictest420-21avahi-daemon23:45:191
319671699441,10cyclictest3221611-21ntpq20:30:312
319671699441,10cyclictest3221611-21ntpq20:30:312
3196715994435,6cyclictest1230504-21cups-browsed22:25:281
319671699435,9cyclictest3254656-21ssh21:35:282
319671699435,8cyclictest3325536-21ssh23:00:272
3196716994337,3cyclictest0-21swapper/222:20:172
3196716994334,6cyclictest421-21dbus-daemon23:11:232
3196716994333,6cyclictest420-21avahi-daemon21:55:242
319671699433,27cyclictest659-21snmpd23:50:252
3196716994331,8cyclictest420-21avahi-daemon00:10:302
3196716994330,8cyclictest420-21avahi-daemon21:19:372
319671699432,8cyclictest3199170-21ntpq19:15:322
3196716994319,22cyclictest3196713-21cyclictest00:20:362
3196716994316,24cyclictest3330113-21timerandwakeup23:05:382
319671699431,11cyclictest3304885-21ntpq22:35:292
319671699431,10cyclictest3223164-21ntpq20:35:312
3196716994310,3cyclictest351ktimers/220:20:312
3196715994335,5cyclictest3196725-21systemd-run19:10:011
3196714994335,5cyclictest0-21swapper/022:12:200
319671499432,32cyclictest659-21snmpd00:05:340
319671699423,8cyclictest3362907-21ssh23:45:292
3196716994234,5cyclictest3267507-21mailstats21:50:352
319671699422,6cyclictest3226080-21ntpq20:45:282
3196716994226,13cyclictest0-21swapper/221:25:022
3196716994221,17cyclictest3201229-21systemd-run19:25:012
3196716994214,25cyclictest3214010-21needreboot20:05:242
319671699421,12cyclictest3229046-21ntpq20:55:272
319671699421,11cyclictest3346374-21ntpq23:25:292
319671699421,11cyclictest3212579-21ntpq20:00:262
319671699421,10cyclictest3297994-21ssh22:27:072
319671699421,10cyclictest3286226-21ssh22:13:292
319671599424,32cyclictest3284191-21ssh22:10:341
3196715994232,7cyclictest3386775-21latency_hist00:15:031
3196715994232,7cyclictest3233401-21fschecks_time21:10:211
3196714994234,6cyclictest421-21dbus-daemon22:22:320
319671699414,5cyclictest3246347-21ssh21:25:272
319671699414,15cyclictest3258901-21ntpq21:40:262
319671699412,7cyclictest3300289-21/usr/sbin/munin22:30:212
319671699412,15cyclictest3263150-21ntpq21:45:422
319671699412,14cyclictest3371183-21ntpq23:55:282
3196716994120,18cyclictest3396114-21sh00:25:332
319671699411,11cyclictest3211075-21ntpq19:55:282
3196715994134,4cyclictest0-21swapper/121:35:011
3196715994132,6cyclictest3345196-21systemd-run23:25:021
3196714994135,4cyclictest3317887-21unixbench_singl22:50:400
3196714994135,4cyclictest3317887-21unixbench_singl22:50:400
3196714994131,7cyclictest0-21swapper/022:20:010
3196714994122,14cyclictest12350irq/32-eth021:15:480
319671699403,7cyclictest3275753-21ssh22:00:312
319671699403,7cyclictest3275753-21ssh22:00:312
3196716994018,18cyclictest0-21swapper/220:50:272
3196716994014,23cyclictest3403930-21if_wlan000:35:212
3196716994014,23cyclictest3403930-21if_wlan000:35:212
3196716994014,22cyclictest3250949-21timerandwakeup21:30:382
319671699401,11cyclictest3197561-21ntpq19:10:252
319671699401,10cyclictest3374526-21ssh00:00:112
319671699401,10cyclictest3224565-21ntpq20:40:232
3196716993930,4cyclictest3339020-21kworker/u8:6-rpciod23:16:312
319671699391,17cyclictest3308963-21ntpq22:40:242
319671699391,14cyclictest3233948-21ntpq21:10:342
319671699391,11cyclictest3230573-21ntpq21:00:262
319671699391,10cyclictest3359542-21ssh23:40:562
319671699391,10cyclictest3359542-21ssh23:40:562
3196716993910,23cyclictest1054-21mta-sts-daemon00:30:322
3196715993933,3cyclictest0-21swapper/122:55:011
3196715993933,3cyclictest0-21swapper/122:55:011
3196715993931,3cyclictest0-21swapper/120:25:291
3196715993930,4cyclictest0-21swapper/123:25:241
3196715993928,9cyclictest3313612-21timerwakeupswit22:45:401
3196715993926,9cyclictest518-21rs:main1
319671599392,29cyclictest3358820-21ssh23:40:301
319671599392,29cyclictest3358820-21ssh23:40:301
3196715993914,16cyclictest1051-21mta-sts-daemon21:50:291
3196714993931,5cyclictest3403220-21latency_hist00:35:010
3196714993925,11cyclictest1-21systemd20:15:010
3196714993924,11cyclictest0-21swapper/022:55:190
3196714993923,13cyclictest3337514-21sh23:15:200
319671699383,7cyclictest3208073-21ntpq19:45:252
319671699383,7cyclictest3202673-21sshd19:26:192
319671699382,7cyclictest3220104-21ntpq20:25:282
3196716993813,19cyclictest0-21swapper/223:40:022
319671699381,13cyclictest3317361-21ntpq22:50:332
319671699381,13cyclictest3317361-21ntpq22:50:332
3196715993829,3cyclictest0-21swapper/121:55:271
3196714993831,4cyclictest3253984-21aten_r2power_en21:35:160
3196714993819,13cyclictest12350irq/32-eth023:35:270
3196714993814,6cyclictest14-21ksoftirqd/021:40:170
319671699372,7cyclictest3205690-21munin-run19:40:012
319671699372,7cyclictest3205690-21munin-run19:40:012
319671699371,11cyclictest3206617-21ntpq19:40:282
319671599379,3cyclictest0-21swapper/123:30:271
319671599373,24cyclictest3246275-21ssh21:25:251
3196715993728,6cyclictest1054-21mta-sts-daemon22:15:211
3196715993727,7cyclictest421-21dbus-daemon00:20:011
3196715993727,7cyclictest3394876-21sh00:25:011
3196715993727,7cyclictest3208696-21/usr/sbin/munin19:50:021
3196715993726,8cyclictest3259250-21switchtime21:40:351
319671599371,29cyclictest3242149-21ssh21:20:261
3196714993732,3cyclictest151ktimers/019:30:270
3196714993727,8cyclictest3353438-21ssh23:35:010
3196714993726,8cyclictest3367607-21unixbench_multi23:50:390
319671699362,6cyclictest3209564-21ntpq19:50:262
3196715993630,3cyclictest0-21swapper/123:40:011
3196715993630,3cyclictest0-21swapper/121:00:011
3196715993626,7cyclictest3254734-21sendmail-mta21:35:311
3196714993627,7cyclictest3207353-21latency_hist19:45:020
319671499361,7cyclictest14-21ksoftirqd/020:30:310
319671499361,7cyclictest14-21ksoftirqd/020:30:310
319671499361,27cyclictest3329758-21ssh23:05:300
3196716993515,17cyclictest1056-21mta-sts-daemon20:15:302
319671699351,12cyclictest3203617-21ntpq19:30:302
319671599355,16cyclictest3371179-21ssh23:55:281
3196715993529,3cyclictest0-21swapper/100:05:291
3196715993528,3cyclictest0-21swapper/122:20:271
3196715993526,6cyclictest3307990-21latency_hist22:40:021
3196714993528,4cyclictest3325423-21needreboot23:00:240
3196714993527,6cyclictest3249775-21cut21:30:170
3196714993516,11cyclictest12350irq/32-eth023:20:260
3196714993513,5cyclictest14-21ksoftirqd/000:00:190
319671599344,3cyclictest0-21swapper/122:00:301
319671599344,3cyclictest0-21swapper/122:00:301
3196715993427,3cyclictest0-21swapper/123:00:271
3196715993426,5cyclictest3231208-21munin-plugin-st21:05:011
3196715993426,5cyclictest3219227-21systemd-run20:25:011
3196715993424,6cyclictest3214842-21latency_hist20:10:021
3196714993428,4cyclictest3382487-21kworker/u8:10-xprtiod00:20:010
3196714993426,6cyclictest439-21systemd-logind19:15:020
3196714993426,6cyclictest3209501-21needreboot19:50:230
3196714993420,3cyclictest171rcu_preempt22:45:280
3196714993412,6cyclictest14-21ksoftirqd/023:40:250
3196714993412,6cyclictest14-21ksoftirqd/023:40:250
3196714993410,6cyclictest14-21ksoftirqd/020:20:300
3196715993327,3cyclictest0-21swapper/123:00:001
3196715993327,3cyclictest0-21swapper/120:00:011
3196715993327,2cyclictest0-21swapper/100:00:351
3196715993325,4cyclictest0-21swapper/100:30:351
3196715993324,7cyclictest3329584-21needreboot23:05:241
319671599332,26cyclictest3279890-21ssh22:05:291
319671599332,26cyclictest3279890-21ssh22:05:291
319671599331,28cyclictest3263143-21ssh21:45:421
3196714993327,4cyclictest3336860-21sh23:15:010
3196714993325,4cyclictest0-21swapper/021:05:260
3196714993325,4cyclictest0-21swapper/021:05:260
3196714993318,12cyclictest421-21dbus-daemon20:00:010
3196714993316,3cyclictest171rcu_preempt21:45:430
3196714993312,5cyclictest14-21ksoftirqd/020:45:270
3196714993311,4cyclictest14-21ksoftirqd/019:15:280
319671499331,13cyclictest3383622-21ntpq00:10:280
3196714993310,5cyclictest14-21ksoftirqd/022:36:550
3196715993224,4cyclictest0-21swapper/123:10:281
319671599322,24cyclictest3366969-21ssh23:50:261
319671599322,23cyclictest3396071-21ssh00:25:311
319671599321,25cyclictest3309083-21sh22:40:291
3196714993219,2cyclictest171rcu_preempt20:25:280
3196714993213,5cyclictest14-21ksoftirqd/021:25:280
3196714993212,5cyclictest14-21ksoftirqd/020:05:280
3196715993126,2cyclictest0-21swapper/119:20:011
3196715993122,3cyclictest28-21ksoftirqd/121:15:171
3196715993119,9cyclictest3197510-21needreboot19:10:231
319671499319,5cyclictest14-21ksoftirqd/022:06:190
319671499319,5cyclictest14-21ksoftirqd/022:06:190
319671499318,4cyclictest14-21ksoftirqd/000:25:250
3196714993127,2cyclictest0-21swapper/000:35:330
3196714993127,2cyclictest0-21swapper/000:35:330
3196714993122,6cyclictest420-21avahi-daemon00:23:050
319671499311,21cyclictest3362874-21ssh23:45:280
3196714993111,4cyclictest14-21ksoftirqd/022:25:250
3196714993110,5cyclictest14-21ksoftirqd/023:25:210
3196715993021,6cyclictest3210056-21tail19:50:381
319671499309,5cyclictest14-21ksoftirqd/020:35:280
319671499309,4cyclictest14-21ksoftirqd/019:20:300
3196714993022,6cyclictest3241720-21sort21:20:180
3196714993011,4cyclictest14-21ksoftirqd/019:25:300
3196714993010,5cyclictest14-21ksoftirqd/020:55:260
3196715992921,6cyclictest659-21snmpd19:34:051
319671499299,5cyclictest14-21ksoftirqd/019:35:280
319671499299,5cyclictest14-21ksoftirqd/019:35:280
319671499292,24cyclictest3271519-21ssh21:55:300
3196714992919,7cyclictest3274909-21basename22:00:160
3196714992919,7cyclictest3274909-21basename22:00:160
3196714992910,5cyclictest14-21ksoftirqd/020:40:290
319671699281,8cyclictest3196772-21cat19:10:022
3196715992822,3cyclictest0-21swapper/120:20:011
3196715992821,5cyclictest0-21swapper/122:35:021
3196715992821,4cyclictest3201116-21unixbench_multi19:20:391
3196715992820,5cyclictest3207090-21tail19:40:381
3196715992819,6cyclictest1230504-21cups-browsed19:28:131
319671599278,4cyclictest171rcu_preempt20:35:281
3196715992722,2cyclictest0-21swapper/119:40:001
3196715992722,2cyclictest0-21swapper/119:40:001
319671599272,19cyclictest3337959-21ssh23:15:271
3196715992714,3cyclictest171rcu_preempt20:40:201
319671599271,23cyclictest28-21ksoftirqd/120:00:241
3196714992722,3cyclictest1051-21mta-sts-daemon21:00:180
319671599265,3cyclictest171rcu_preempt21:05:241
319671599265,3cyclictest171rcu_preempt21:05:241
3196714992620,3cyclictest0-21swapper/020:05:010
319671599255,15cyclictest1051-21mta-sts-daemon20:10:281
3196715992517,5cyclictest1055-21mta-sts-daemon20:45:281
3196714992517,6cyclictest3208619-21unixbench_singl19:45:360
319671599241,18cyclictest659-21snmpd20:30:311
319671599241,18cyclictest659-21snmpd20:30:311
319671499225,4cyclictest14-21ksoftirqd/019:10:020
319671799191,8cyclictest0-21swapper/322:00:303
319671799191,8cyclictest0-21swapper/322:00:303
319671799172,6cyclictest0-21swapper/320:30:283
319671799172,6cyclictest0-21swapper/320:30:283
319671799163,6cyclictest0-21swapper/321:10:283
319671799163,5cyclictest0-21swapper/321:30:283
319671799162,6cyclictest0-21swapper/322:25:273
319671799162,6cyclictest0-21swapper/300:05:293
319671799161,7cyclictest0-21swapper/323:10:263
319671799153,6cyclictest0-21swapper/322:05:203
319671799153,6cyclictest0-21swapper/322:05:203
319671799152,7cyclictest0-21swapper/321:50:263
319671799152,7cyclictest0-21swapper/320:45:293
319671799152,6cyclictest0-21swapper/322:20:303
319671799151,8cyclictest0-21swapper/323:25:293
319671799151,7cyclictest0-21swapper/322:40:233
319671799143,5cyclictest0-21swapper/323:15:263
319671799141,8cyclictest0-21swapper/323:40:293
319671799141,8cyclictest0-21swapper/323:40:293
319671799141,7cyclictest0-21swapper/323:55:303
319671799141,7cyclictest0-21swapper/321:35:303
319671799141,7cyclictest0-21swapper/321:15:413
319671799141,6cyclictest0-21swapper/321:00:263
319671799141,6cyclictest0-21swapper/320:35:263
319671799141,5cyclictest0-21swapper/319:15:273
319671799133,7cyclictest0-21swapper/323:05:293
319671799133,7cyclictest0-21swapper/322:55:293
319671799132,7cyclictest0-21swapper/322:35:203
319671799132,6cyclictest0-21swapper/323:00:283
319671799132,6cyclictest0-21swapper/322:50:273
319671799132,6cyclictest0-21swapper/322:50:273
319671799131,8cyclictest0-21swapper/322:10:263
319671799131,7cyclictest0-21swapper/323:35:303
319671799131,7cyclictest0-21swapper/323:20:193
319671799131,7cyclictest0-21swapper/322:45:263
319671799131,7cyclictest0-21swapper/300:35:343
319671799131,7cyclictest0-21swapper/300:35:343
319671799131,7cyclictest0-21swapper/300:10:373
319671799131,7cyclictest0-21swapper/300:00:313
319671799131,6cyclictest0-21swapper/321:45:423
319671799131,6cyclictest0-21swapper/320:25:303
319671799131,5cyclictest0-21swapper/320:20:253
319671799131,5cyclictest0-21swapper/319:50:243
319671799123,6cyclictest0-21swapper/323:50:203
319671799122,7cyclictest0-21swapper/321:25:153
319671799122,6cyclictest0-21swapper/323:45:303
319671799122,6cyclictest0-21swapper/322:30:293
319671799122,6cyclictest0-21swapper/321:20:183
319671799121,7cyclictest0-21swapper/321:40:363
319671799121,7cyclictest0-21swapper/300:25:353
319671799121,7cyclictest0-21swapper/300:20:253
319671799121,6cyclictest0-21swapper/323:30:293
319671799121,5cyclictest0-21swapper/319:40:273
319671799121,5cyclictest0-21swapper/319:35:323
319671799121,5cyclictest0-21swapper/319:35:323
319671799112,6cyclictest0-21swapper/319:55:333
319671799112,6cyclictest0-21swapper/300:15:243
319671799111,6cyclictest0-21swapper/321:05:193
319671799111,6cyclictest0-21swapper/321:05:193
319671799111,6cyclictest0-21swapper/320:10:263
319671799111,6cyclictest0-21swapper/320:00:283
319671799111,6cyclictest0-21swapper/319:45:293
319671799111,5cyclictest0-21swapper/319:10:163
319671799103,4cyclictest0-21swapper/319:20:323
319671799102,5cyclictest0-21swapper/322:15:263
319671799102,5cyclictest0-21swapper/319:25:193
319671799101,6cyclictest0-21swapper/300:30:253
319671799101,5cyclictest0-21swapper/321:55:253
319671799101,5cyclictest0-21swapper/320:55:273
319671799101,5cyclictest0-21swapper/320:50:163
319671799101,5cyclictest0-21swapper/320:15:243
319671799101,5cyclictest0-21swapper/320:05:253
31967179991,5cyclictest0-21swapper/320:40:143
31967179991,4cyclictest0-21swapper/319:30:173
31967179981,4cyclictest0-21swapper/319:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional