You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-15 - 05:42

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Wed Apr 15, 2026 00:43:21)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3465425996150,7cyclictest0-21swapper/123:50:391
346542499614,42cyclictest3535294-21ssh21:50:360
3465424995441,10cyclictest1550375-21cups-browsed23:25:360
3465426994942,4cyclictest1051-21mta-sts-daemon00:06:452
3465426994941,5cyclictest421-21dbus-daemon21:45:012
3465425994937,8cyclictest3535480-21sh21:50:431
3465426994842,3cyclictest3498378-21kworker/u8:0-xprtiod22:35:012
3465426994839,5cyclictest0-21swapper/221:35:352
3465424994841,4cyclictest3659976-21systemd-run00:25:010
3465424994835,7cyclictest151ktimers/020:05:360
3465426994741,3cyclictest0-21swapper/222:00:452
3465424994739,6cyclictest420-21avahi-daemon20:20:010
3465426994637,5cyclictest3663995-21cron00:30:002
3465425994638,5cyclictest3492437-21systemd-run20:40:021
3465424994637,6cyclictest3559498-21/usr/sbin/munin22:20:300
3465426994537,5cyclictest3660113-21latency_hist00:25:022
3465426994537,5cyclictest3639732-21idleruntime-cro00:00:012
3465426994536,6cyclictest3627666-21systemd-run23:45:012
3465426994536,6cyclictest3627666-21systemd-run23:45:012
3465425994537,5cyclictest3639794-21systemd-run00:00:011
3465424994536,5cyclictest0-21swapper/000:20:000
3465426994437,4cyclictest3495424-21systemd-run20:50:012
3465425994436,4cyclictest0-21swapper/122:20:421
3465425994435,6cyclictest3513659-21munin-run21:25:011
3465424994435,6cyclictest421-21dbus-daemon22:00:010
3465424994434,4cyclictest0-21swapper/019:45:390
3465424994433,7cyclictest151ktimers/019:15:410
3465426994335,5cyclictest3655910-21awk00:20:002
3465426994335,5cyclictest3643807-21ssh00:05:012
3465424994337,3cyclictest0-21swapper/021:10:280
3465424994336,5cyclictest421-21dbus-daemon20:45:010
3465424994335,5cyclictest3556445-21sed22:15:490
3465424994335,4cyclictest0-21swapper/021:50:010
3465426994233,6cyclictest3572104-21ntp_kernel_err22:35:352
3465426994232,6cyclictest1550368-21cupsd23:16:372
3465424994233,3cyclictest0-21swapper/000:05:420
346542499423,31cyclictest3628974-21ssh23:45:440
3465424994231,8cyclictest1055-21mta-sts-daemon22:00:410
3465424994219,6cyclictest3640955-21ntpq00:00:380
3465426994132,5cyclictest1-21systemd23:15:012
3465426994128,6cyclictest440-21thd23:22:002
3465424994132,7cyclictest1-21systemd23:25:010
3465424994132,6cyclictest3666263-21kworker/u8:7+xprtiod00:35:360
3465426994028,9cyclictest3566872-21grep22:30:012
3465425994032,5cyclictest3552306-21/usr/sbin/munin22:10:461
3465425994032,5cyclictest3552306-21/usr/sbin/munin22:10:461
3465425994028,9cyclictest3502509-21needreboot21:10:351
3465424994031,6cyclictest1550375-21cups-browsed22:34:260
3465424994031,6cyclictest1-21systemd19:10:010
3465424994030,7cyclictest3551774-21collect222:10:370
3465424994030,7cyclictest3551774-21collect222:10:370
3465424994029,9cyclictest1550368-21cupsd00:00:010
3465424994023,14cyclictest3587004-21ssh22:54:280
3465424994011,20cyclictest0-21swapper/021:15:400
3465426993931,5cyclictest3521818-21munin-plugin-st21:35:012
3465426993931,5cyclictest3521818-21munin-plugin-st21:35:012
3465426993930,6cyclictest420-21avahi-daemon00:35:502
3465426993930,6cyclictest3502953-21switchtime21:10:482
3465425993930,6cyclictest3616135-21aten_r2power_vo23:30:271
3465425993929,5cyclictest0-21swapper/122:30:011
3465425993928,8cyclictest3669107-21needreboot00:35:321
3465424993928,6cyclictest0-21swapper/023:09:050
3465424993928,6cyclictest0-21swapper/023:09:050
3465424993925,8cyclictest3588524-21ntpq22:55:400
3465424993917,14cyclictest12350irq/32-eth023:35:360
3465426993834,3cyclictest0-21swapper/222:20:412
3465425993833,2cyclictest0-21swapper/119:10:011
3465425993830,5cyclictest3558929-21latency_hist22:20:021
3465425993830,5cyclictest3498386-21idleruntime-cro21:00:011
3465425993829,6cyclictest0-21swapper/123:50:001
3465425993828,5cyclictest0-21swapper/121:25:411
3465424993831,4cyclictest3471321-21sed19:25:470
3465424993830,5cyclictest3601089-21unixbench-2d23:10:480
3465424993821,9cyclictest12350irq/32-eth023:50:350
3465424993815,16cyclictest0-21swapper/021:20:390
3465424993812,21cyclictest3518995-21ssh21:30:410
3465424993812,21cyclictest3518995-21ssh21:30:410
3465424993811,19cyclictest0-21swapper/020:50:420
3465426993727,6cyclictest1550375-21cups-browsed19:50:362
3465425993732,2cyclictest0-21swapper/123:40:011
3465425993729,5cyclictest3647875-21systemd-run00:10:011
3465425993729,5cyclictest3469820-21unixbench_multi19:20:471
3465424993731,3cyclictest0-21swapper/021:35:270
3465424993729,5cyclictest421-21dbus-daemon22:10:010
3465424993728,6cyclictest0-21swapper/023:40:400
3465424993728,6cyclictest0-21swapper/023:40:400
3465424993726,5cyclictest0-21swapper/022:35:350
346542499372,28cyclictest3527066-21ssh21:40:340
3465426993626,6cyclictest420-21avahi-daemon23:00:172
3465426993626,6cyclictest420-21avahi-daemon23:00:172
3465426993623,10cyclictest3612520-21missed_timers23:25:332
346542699362,30cyclictest3620815-21sh23:35:382
346542699362,27cyclictest3580542-21ssh22:45:442
3465425993627,5cyclictest0-21swapper/121:10:011
3465424993630,4cyclictest3492387-21cron20:40:010
3465424993629,4cyclictest3489431-21systemd-run20:30:010
3465424993626,7cyclictest3639778-21cups-browsed00:34:220
3465424993619,12cyclictest3648596-21diskstats00:10:300
3465424993619,12cyclictest3648596-21diskstats00:10:300
3465424993617,17cyclictest3594404-21ssh23:03:130
3465424993617,17cyclictest3594404-21ssh23:03:130
3465424993611,9cyclictest3582827-21sh22:49:100
3465426993530,2cyclictest0-21swapper/222:05:352
3465426993529,3cyclictest0-21swapper/221:25:372
3465426993529,3cyclictest0-21swapper/221:20:512
3465426993528,4cyclictest1054-21mta-sts-daemon23:54:182
3465426993528,3cyclictest0-21swapper/221:16:272
3465426993526,6cyclictest1550375-21cups-browsed22:10:452
3465426993526,6cyclictest1550375-21cups-browsed22:10:452
3465425993526,6cyclictest3604197-21fschecks_time23:15:321
3465425993525,6cyclictest3521980-21latency_hist21:35:031
3465425993525,6cyclictest3521980-21latency_hist21:35:031
346542599352,25cyclictest3531243-21ssh21:45:381
346542499359,9cyclictest3498433-21munin-run21:00:020
3465424993525,7cyclictest420-21avahi-daemon22:40:180
3465424993524,4cyclictest3604200-21diskmemload23:15:320
3465424993522,8cyclictest3499336-21ntpq21:00:390
3465424993522,8cyclictest3481342-21ntpq20:00:380
3465424993521,10cyclictest3515853-21ssh21:26:280
3465426993427,4cyclictest1054-21mta-sts-daemon19:55:342
3465426993427,4cyclictest1054-21mta-sts-daemon19:55:342
3465426993423,8cyclictest3535961-21grep21:50:492
3465426993422,8cyclictest3649089-21sh00:10:392
3465426993422,8cyclictest3649089-21sh00:10:392
346542699342,24cyclictest3596491-21ssh23:05:362
346542699342,24cyclictest3596491-21ssh23:05:362
3465425993429,2cyclictest0-21swapper/123:25:011
3465425993427,4cyclictest3657740-21unixbench_singl00:20:501
3465425993426,5cyclictest3655883-21munin-run00:20:001
3465425993426,5cyclictest3539704-21mailstats21:55:451
3465425993426,4cyclictest0-21swapper/121:15:441
3465425993425,6cyclictest1-21systemd23:15:011
3465425993424,6cyclictest1550375-21cups-browsed23:42:071
3465425993424,6cyclictest1550375-21cups-browsed23:42:071
346542499348,20cyclictest3616654-21ssh23:30:350
3465424993423,8cyclictest3564367-21switchtime22:25:480
3465424993420,8cyclictest3500871-21ntpq21:05:410
3465426993328,2cyclictest0-21swapper/223:00:012
3465426993325,5cyclictest420-21avahi-daemon00:35:012
3465426993325,5cyclictest261-21systemd-journal21:00:022
3465426993325,5cyclictest1550375-21cups-browsed23:47:492
3465425993326,5cyclictest0-21swapper/123:00:021
3465425993326,4cyclictest3484905-21grep20:15:011
3465425993326,4cyclictest0-21swapper/122:00:371
3465425993326,3cyclictest0-21swapper/119:30:011
3465425993325,5cyclictest3644022-21latency_hist00:05:031
3465425993325,5cyclictest0-21swapper/119:20:011
346542599332,24cyclictest3612702-21sh23:25:381
3465424993321,8cyclictest3490369-21ntpq20:30:380
3465424993321,7cyclictest3475392-21ntpq19:40:410
3465424993320,8cyclictest3484351-21ntpq20:10:380
3465424993315,8cyclictest659-21snmpd19:10:410
3465426993224,6cyclictest0-21swapper/221:55:432
3465426993224,5cyclictest3496888-21cron20:55:012
3465426993224,5cyclictest3493784-21tail20:40:482
3465426993222,7cyclictest3499908-21sh21:05:012
3465426993220,8cyclictest3484568-21switchtime20:10:462
346542699321,25cyclictest3584433-21ssh22:50:402
3465425993226,3cyclictest0-21swapper/122:30:361
3465425993225,4cyclictest1055-21mta-sts-daemon00:10:071
3465425993225,4cyclictest1055-21mta-sts-daemon00:10:071
3465425993224,4cyclictest0-21swapper/121:45:021
3465425993221,8cyclictest3665550-21switchtime00:30:471
346542499323,22cyclictest659-21snmpd19:35:380
346542499323,22cyclictest659-21snmpd19:35:380
3465424993226,4cyclictest151ktimers/019:50:340
3465424993222,7cyclictest3469290-21ntpq19:20:360
3465424993221,7cyclictest3487272-21ntpq20:20:350
3465426993126,2cyclictest0-21swapper/219:30:012
3465426993123,4cyclictest0-21swapper/222:15:282
3465426993117,13cyclictest351ktimers/219:20:402
3465424993125,4cyclictest3480434-21systemd-run20:00:010
3465424993125,4cyclictest3480434-21systemd-run20:00:010
3465424993120,7cyclictest3472301-21ntpq19:30:360
3465424993120,7cyclictest3472301-21ntpq19:30:360
3465424993110,9cyclictest3663650-21sh00:29:210
3465426993024,3cyclictest0-21swapper/220:20:012
346542699301,23cyclictest3491774-21sshd20:35:372
3465425993025,2cyclictest0-21swapper/122:50:371
3465425993024,3cyclictest0-21swapper/121:40:001
3465425993023,4cyclictest3592529-21ntp_kernel_err23:00:421
3465425993023,4cyclictest3592529-21ntp_kernel_err23:00:421
3465425993022,5cyclictest3489481-21latency_hist20:30:021
3465425993022,5cyclictest3474283-21unixbench_multi19:35:481
3465425993022,5cyclictest3474283-21unixbench_multi19:35:481
3465424993020,7cyclictest3494881-21ntp_states20:45:460
346542699297,14cyclictest3531174-21sshd21:45:352
346542699293,21cyclictest3616814-21ssh23:30:402
3465426992921,5cyclictest3487820-21unixbench_multi20:20:472
3465426992921,4cyclictest0-21swapper/222:43:132
3465425992923,4cyclictest3465423-21cyclictest21:00:411
3465425992923,4cyclictest1054-21mta-sts-daemon22:40:321
3465425992920,6cyclictest3481834-21unixbench_singl20:00:471
3465425992919,5cyclictest0-21swapper/122:45:381
3465425992918,7cyclictest3547472-21missed_timers22:05:331
346542699283,4cyclictest171rcu_preempt20:05:402
3465426992821,4cyclictest0-21swapper/220:30:462
3465426992820,4cyclictest0-21swapper/220:25:382
3465425992822,3cyclictest0-21swapper/100:25:441
346542599282,21cyclictest3572129-21ssh22:35:351
3465425992821,4cyclictest3478899-21sh19:55:001
3465425992821,3cyclictest0-21swapper/123:10:021
3465425992821,3cyclictest0-21swapper/123:10:021
3465425992820,5cyclictest3490842-21head20:30:461
3465425992819,7cyclictest3480140-21timerandwakeup19:55:461
3465425992819,7cyclictest3480140-21timerandwakeup19:55:461
346542699273,14cyclictest1660510-21munin-node21:05:372
346542699272,19cyclictest659-21snmpd19:40:412
3465426992719,5cyclictest3474419-21sendmail19:40:002
3465426992719,5cyclictest3474419-21sendmail19:40:002
3465426992719,5cyclictest1-21systemd19:15:022
3465426992713,12cyclictest351ktimers/219:45:352
3465425992721,3cyclictest0-21swapper/120:05:351
3465425992720,4cyclictest3495626-21/usr/sbin/munin20:50:361
3465425992719,5cyclictest3485429-21fschecks_time20:15:301
3465425992719,5cyclictest3466801-21tail19:10:471
3465425992621,3cyclictest0-21swapper/119:45:001
346542699259,11cyclictest351ktimers/219:15:372
3465426992518,4cyclictest0-21swapper/220:05:002
3465425992518,3cyclictest0-21swapper/119:35:011
3465425992518,3cyclictest0-21swapper/119:35:011
3465425992416,5cyclictest3493830-21unixbench_singl20:40:491
346542699232,14cyclictest1051-21mta-sts-daemon19:30:402
346542699232,14cyclictest1051-21mta-sts-daemon19:30:402
3465425992318,2cyclictest0-21swapper/120:25:021
3465425992318,2cyclictest0-21swapper/119:45:281
3465425992216,3cyclictest1051-21mta-sts-daemon20:45:341
346542799191,10cyclictest0-21swapper/321:50:433
346542799184,9cyclictest0-21swapper/323:05:413
346542799184,9cyclictest0-21swapper/323:05:413
346542799182,8cyclictest0-21swapper/322:55:383
346542799181,9cyclictest0-21swapper/322:00:363
346542799181,9cyclictest0-21swapper/321:15:423
3465426991812,3cyclictest0-21swapper/219:10:012
346542799172,8cyclictest0-21swapper/323:50:403
346542799172,8cyclictest0-21swapper/323:35:383
346542799172,8cyclictest0-21swapper/300:00:403
346542799172,5cyclictest0-21swapper/319:50:333
346542799171,9cyclictest0-21swapper/321:40:353
346542799171,6cyclictest0-21swapper/319:35:353
346542799171,6cyclictest0-21swapper/319:35:353
346542799163,8cyclictest0-21swapper/321:45:413
346542799163,6cyclictest0-21swapper/319:55:343
346542799163,6cyclictest0-21swapper/319:55:343
346542799162,8cyclictest0-21swapper/322:25:353
346542799162,6cyclictest0-21swapper/323:40:393
346542799162,6cyclictest0-21swapper/323:40:393
346542799162,6cyclictest0-21swapper/319:45:413
346542799162,6cyclictest0-21swapper/319:25:413
346542799161,9cyclictest0-21swapper/300:20:383
346542799161,8cyclictest0-21swapper/300:15:393
346542799161,6cyclictest0-21swapper/319:40:363
346542799153,7cyclictest0-21swapper/322:10:363
346542799153,7cyclictest0-21swapper/322:10:363
346542799153,7cyclictest0-21swapper/322:05:353
346542799152,9cyclictest0-21swapper/321:25:353
346542799152,8cyclictest0-21swapper/323:20:403
346542799152,7cyclictest0-21swapper/300:30:363
346542799152,7cyclictest0-21swapper/300:25:403
346542799151,8cyclictest0-21swapper/323:00:453
346542799151,8cyclictest0-21swapper/323:00:453
346542799151,8cyclictest0-21swapper/321:20:363
346542799151,7cyclictest0-21swapper/323:25:353
346542799151,7cyclictest0-21swapper/322:40:373
346542799143,6cyclictest0-21swapper/322:35:363
346542799143,6cyclictest0-21swapper/321:30:373
346542799143,6cyclictest0-21swapper/321:30:373
346542799143,6cyclictest0-21swapper/321:10:393
346542799142,8cyclictest0-21swapper/323:15:423
346542799142,8cyclictest0-21swapper/323:10:383
346542799142,7cyclictest0-21swapper/322:20:393
346542799142,7cyclictest0-21swapper/321:55:353
346542799141,8cyclictest0-21swapper/323:30:353
346542799141,8cyclictest0-21swapper/322:50:453
346542799141,8cyclictest0-21swapper/322:45:453
346542799141,7cyclictest0-21swapper/320:50:393
346542799141,7cyclictest0-21swapper/300:10:373
346542799141,7cyclictest0-21swapper/300:10:373
346542799141,7cyclictest0-21swapper/300:05:373
346542799141,6cyclictest0-21swapper/320:45:393
346542799141,6cyclictest0-21swapper/320:20:403
346542799141,6cyclictest0-21swapper/319:15:373
346542799141,6cyclictest0-21swapper/319:10:343
346542799140,7cyclictest0-21swapper/323:55:363
346542799134,6cyclictest0-21swapper/322:30:383
346542799132,7cyclictest0-21swapper/322:15:433
346542799132,7cyclictest0-21swapper/321:35:353
346542799131,6cyclictest0-21swapper/320:35:373
346542799131,6cyclictest0-21swapper/320:10:373
346542799130,8cyclictest0-21swapper/300:35:343
346542799122,6cyclictest0-21swapper/320:15:323
346542799122,5cyclictest0-21swapper/320:30:353
346542799121,8cyclictest0-21swapper/323:45:263
346542799121,6cyclictest0-21swapper/321:00:433
346542799121,6cyclictest0-21swapper/320:25:363
346542799121,5cyclictest0-21swapper/320:55:353
346542799120,6cyclictest0-21swapper/319:30:353
346542799120,6cyclictest0-21swapper/319:30:353
346542799114,5cyclictest0-21swapper/319:20:383
346542799113,6cyclictest0-21swapper/320:00:363
346542799111,6cyclictest0-21swapper/321:10:013
346542799111,6cyclictest0-21swapper/320:40:303
346542799101,5cyclictest0-21swapper/320:05:293
34654279982,5cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional