You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-08 - 02:20

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack2slot7s.osadl.org (updated Wed Jul 08, 2026 00:43:20)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
768842996049,7cyclictest1-21systemd00:35:020
768842995344,6cyclictest771837-21idleruntime-cro19:20:000
768844995143,5cyclictest1-21systemd22:40:022
768843995140,8cyclictest848996-21mailstats22:20:461
768844995043,4cyclictest774847-21kworker/u8:10-xprtiod23:25:402
768844994939,6cyclictest826990-21fschecks_time21:45:312
768844994839,6cyclictest786839-21systemd-run20:10:012
768844994839,3cyclictest0-21swapper/221:55:422
768844994839,3cyclictest0-21swapper/221:55:422
768843994841,3cyclictest0-21swapper/121:15:011
768843994837,7cyclictest855213-21timerandwakeup22:30:541
768842994840,4cyclictest151ktimers/021:35:380
768844994736,5cyclictest0-21swapper/222:00:432
768844994736,5cyclictest0-21swapper/222:00:432
768843994736,6cyclictest1000-21mta-sts-daemon20:55:551
768842994739,5cyclictest817114-21grep21:30:010
76884499465,32cyclictest808944-21ssh21:15:392
768844994638,5cyclictest881168-21systemd23:15:012
768843994637,5cyclictest0-21swapper/121:20:421
768844994538,4cyclictest0-21swapper/223:50:372
768844994534,6cyclictest842520-21needreboot22:10:332
76884499453,31cyclictest915853-21ssh00:10:432
768843994537,5cyclictest873704-21vmstat23:00:511
768843994536,6cyclictest839484-21needreboot22:05:321
768842994534,7cyclictest0-21swapper/021:10:370
768842994526,13cyclictest12650irq/32-eth023:00:420
768843994435,7cyclictest0-21swapper/121:40:281
768843994433,7cyclictest421-21dbus-daemon20:35:011
768843994433,7cyclictest421-21dbus-daemon20:35:011
768842994436,5cyclictest829404-21latency_hist21:50:020
768842994432,8cyclictest151ktimers/022:20:370
768844994332,7cyclictest830960-21unixbench-2d21:50:492
768844994314,6cyclictest171rcu_preempt00:20:352
768844994310,20cyclictest428-21mta-sts-daemon21:05:422
76884399438,6cyclictest0-21swapper/119:10:361
768843994234,5cyclictest785354-21systemd-run20:05:011
768843994233,5cyclictest763654-21kworker/u8:5-xprtiod19:51:511
76884399422,33cyclictest815129-21ssh21:25:391
768842994231,8cyclictest879771-21unixbench_singl23:10:530
768844994133,5cyclictest776347-21systemd-run19:35:022
768844994130,7cyclictest872029-21ssh23:00:022
768844994127,6cyclictest0-21swapper/222:40:402
768844994127,6cyclictest0-21swapper/222:40:402
768843994133,5cyclictest803326-21latency_hist21:05:031
768843994132,4cyclictest1000-21mta-sts-daemon23:08:311
768843994132,4cyclictest1000-21mta-sts-daemon23:08:311
768843994129,10cyclictest899891-21sh23:45:281
768842994132,4cyclictest151ktimers/000:10:450
768844994032,5cyclictest826394-21latency_hist21:45:022
768843994032,5cyclictest773343-21munin-plugin-st19:25:001
768842994029,7cyclictest0-21swapper/022:35:010
768842994029,5cyclictest151ktimers/021:00:380
768844993932,4cyclictest817132-21kthreadd21:30:012
768844993931,5cyclictest908569-21cmp00:00:012
768844993927,7cyclictest894939-21unixbench_multi23:35:502
768843993929,6cyclictest421-21dbus-daemon00:00:311
768843993928,7cyclictest420-21avahi-daemon21:17:131
76884399392,29cyclictest818286-21ssh21:30:421
768842993931,5cyclictest847695-21systemd-run22:20:010
768842993920,11cyclictest151ktimers/020:15:420
76884299391,34cyclictest824286-21ssh21:40:360
768844993829,6cyclictest899441-21systemd-run23:45:012
768844993829,6cyclictest1003-21mta-sts-daemon21:39:092
768844993829,5cyclictest876160-21ntp_kernel_pll_23:05:402
768844993829,5cyclictest876160-21ntp_kernel_pll_23:05:402
768844993826,8cyclictest913195-21timerwakeupswit00:05:482
76884399383,29cyclictest921809-21ssh00:20:341
768843993830,5cyclictest905535-21systemd23:55:021
768843993828,6cyclictest890961-21fschecks_time23:30:311
768843993828,6cyclictest265-21systemd-journal21:52:071
768842993829,6cyclictest151ktimers/000:25:400
768842993828,6cyclictest829761-21telnet21:50:270
768842993826,9cyclictest773331-21cron19:25:000
768844993729,5cyclictest841558-21munin-plugin-st22:10:002
768843993728,6cyclictest884889-21gltestperf23:20:291
768843993727,7cyclictest420-21avahi-daemon22:12:161
76884399371,29cyclictest827353-21ssh21:45:371
768842993731,3cyclictest0-21swapper/023:20:010
768842993730,4cyclictest788310-21cron20:15:010
768842993727,7cyclictest0-21swapper/000:10:010
768842993726,6cyclictest0-21swapper/019:55:510
768844993629,4cyclictest797327-21sh20:45:012
768844993629,3cyclictest0-21swapper/219:30:022
768844993626,6cyclictest875042-21cron23:05:012
76884399363,23cyclictest870065-21sh22:55:431
768843993629,4cyclictest860500-21fschecks_count22:40:301
768843993629,4cyclictest860500-21fschecks_count22:40:301
768843993628,5cyclictest804840-21systemd-run21:10:011
768843993627,6cyclictest926865-21munin-plugin-st00:30:011
768843993625,8cyclictest882623-21timerandwakeup23:15:501
768843993623,10cyclictest261rcuc/120:50:371
768843993619,3cyclictest171rcu_preempt23:10:361
768842993628,5cyclictest567-21gdbus23:25:290
768842993626,7cyclictest1003-21mta-sts-daemon23:50:570
768842993614,14cyclictest12650irq/32-eth022:55:430
76884499353,23cyclictest845685-21sshd22:15:402
768844993528,3cyclictest763654-21kworker/u8:5-nfsiod20:40:012
768844993527,5cyclictest814075-21systemd-run21:25:012
768843993527,5cyclictest930579-21fschecks_time00:35:311
768843993527,5cyclictest930579-21fschecks_time00:35:311
768843993527,5cyclictest795806-21cron20:40:001
768843993524,2cyclictest171rcu_preempt20:20:381
76884399352,24cyclictest888299-21ssh23:25:371
768844993427,3cyclictest0-21swapper/221:30:282
768844993427,3cyclictest0-21swapper/219:35:412
768844993426,5cyclictest778169-21aten_r2power_fr19:40:272
768844993425,6cyclictest1002-21mta-sts-daemon23:15:512
768844993422,9cyclictest891838-21timerwakeupswit23:30:502
768844993417,12cyclictest1002-21mta-sts-daemon19:50:382
76884399343,25cyclictest833466-21ssh21:55:381
76884399343,25cyclictest833466-21ssh21:55:381
768843993426,5cyclictest421-21dbus-daemon00:20:011
768843993422,8cyclictest894339-21ntp_kernel_err23:35:371
768842993428,4cyclictest795849-21systemd-run20:40:010
768842993427,4cyclictest0-21swapper/019:40:010
768842993426,5cyclictest890876-21cpuspeed23:30:280
76884299342,25cyclictest3232609-21cups-browsed23:45:400
768844993327,3cyclictest0-21swapper/223:50:012
768844993326,5cyclictest0-21swapper/220:20:012
768844993325,5cyclictest803197-21tail21:00:482
768844993324,6cyclictest908625-21cups-browsed00:35:402
768844993324,6cyclictest908625-21cups-browsed00:35:402
768844993324,4cyclictest0-21swapper/222:20:202
768844993323,7cyclictest3232607-21cupsd23:20:412
768843993325,5cyclictest779209-21tail19:40:481
76884399332,25cyclictest851883-21ssh22:25:421
768842993327,4cyclictest1001-21mta-sts-daemon21:17:420
768842993326,4cyclictest842232-21fschecks_time22:10:300
768842993326,4cyclictest820335-21latency_hist21:35:020
768842993314,15cyclictest836578-21ssh22:00:410
768842993314,15cyclictest836578-21ssh22:00:410
768844993226,3cyclictest0-21swapper/220:45:342
768844993226,3cyclictest0-21swapper/200:30:432
768844993224,5cyclictest0-21swapper/222:50:422
768844993223,5cyclictest0-21swapper/220:20:382
76884399327,17cyclictest428-21mta-sts-daemon00:30:411
768843993225,4cyclictest908558-21cut00:00:011
768843993225,4cyclictest868944-21cut22:55:011
768843993224,5cyclictest1-21systemd20:10:021
768843993224,4cyclictest829396-21kworker/u8:12-rpciod22:03:281
768843993224,4cyclictest829396-21kworker/u8:12-rpciod22:03:281
768843993223,6cyclictest777862-21systemd-run19:40:021
768843993223,4cyclictest0-21swapper/100:05:361
768843993212,4cyclictest171rcu_preempt19:55:521
768842993225,5cyclictest776396-21latency_hist19:35:020
768842993224,6cyclictest857440-21ssh22:35:310
768842993219,9cyclictest0-21swapper/000:15:350
768842993216,13cyclictest151ktimers/020:50:350
76884499313,22cyclictest924853-21ssh00:25:372
768844993123,5cyclictest833517-21kworker/u8:0-rpciod22:49:532
768844993123,5cyclictest783854-21systemd-run20:00:012
76884499312,24cyclictest3232609-21cups-browsed19:20:402
768844993122,4cyclictest0-21swapper/200:15:392
768843993124,4cyclictest780823-21sh19:50:011
768843993123,6cyclictest0-21swapper/100:10:401
768842993125,4cyclictest804832-21idleruntime-cro21:10:010
768842993122,6cyclictest421-21dbus-daemon22:08:140
768842993121,7cyclictest899422-21ls23:45:010
76884299311,26cyclictest931065-21sh00:35:420
76884299311,26cyclictest931065-21sh00:35:420
76884499303,4cyclictest171rcu_preempt20:50:372
768844993023,3cyclictest0-21swapper/221:10:472
768844993022,5cyclictest787140-21aten_r2power_fr20:10:282
768844993021,4cyclictest0-21swapper/200:01:542
76884499301,23cyclictest854913-21sh22:30:462
76884399307,3cyclictest171rcu_preempt19:15:391
768843993021,6cyclictest845492-21latency22:15:341
768843993019,2cyclictest858505-21rm22:35:571
76884299305,10cyclictest421-21dbus-daemon22:25:400
768842993024,4cyclictest780750-21head19:45:500
768842993023,5cyclictest420-21avahi-daemon19:25:370
76884299301,24cyclictest885343-21ntpq23:20:400
76884299301,23cyclictest421-21dbus-daemon19:40:400
768844992923,3cyclictest1002-21mta-sts-daemon19:15:472
76884399298,2cyclictest171rcu_preempt20:40:361
768843992923,3cyclictest0-21swapper/121:35:311
768843992918,3cyclictest171rcu_preempt20:15:511
76884299293,21cyclictest906604-21ssh23:55:390
768842992923,4cyclictest875599-21aten_r2power_vo23:05:290
768842992923,4cyclictest875599-21aten_r2power_vo23:05:290
768842992923,4cyclictest785321-21cron20:05:010
768842992923,3cyclictest0-21swapper/022:45:390
768842992923,3cyclictest0-21swapper/022:45:000
768842992923,3cyclictest0-21swapper/022:45:000
768842992922,3cyclictest0-21swapper/000:00:350
768844992820,5cyclictest801799-21cron21:00:012
76884399286,13cyclictest428-21mta-sts-daemon19:25:401
768843992821,4cyclictest1000-21mta-sts-daemon23:40:261
768843992820,6cyclictest864387-21timerandwakeup22:45:511
768842992821,4cyclictest0-21swapper/022:50:290
768842992819,7cyclictest833306-21ssh21:55:350
768842992819,7cyclictest833306-21ssh21:55:350
768842992818,5cyclictest0-21swapper/000:24:510
768842992815,3cyclictest0-21swapper/020:30:290
768842992815,3cyclictest0-21swapper/020:30:290
768844992718,6cyclictest851826-21ntp_kernel_pll_22:25:402
768844992718,6cyclictest265-21systemd-journal19:15:012
768842992721,4cyclictest791078-21timerandwakeup20:21:040
768842992721,4cyclictest782250-21unixbench_singl19:50:510
768842992720,4cyclictest0-21swapper/021:20:310
768844992618,5cyclictest792111-21missed_timers20:25:342
768844992618,5cyclictest792111-21missed_timers20:25:342
76884299260,17cyclictest12650irq/32-eth023:35:410
76884399259,3cyclictest171rcu_preempt20:45:371
76884399253,16cyclictest428-21mta-sts-daemon20:25:381
76884399253,16cyclictest428-21mta-sts-daemon20:25:381
768843992514,2cyclictest776294-21modprobe19:31:341
768842992521,2cyclictest0-21swapper/020:45:340
768842992517,6cyclictest0-21swapper/020:55:530
768844992418,3cyclictest0-21swapper/219:45:472
768843992414,3cyclictest171rcu_preempt19:10:021
768843992414,3cyclictest171rcu_preempt19:10:021
768842992417,5cyclictest796362-21fschecks_time20:40:300
768844992316,4cyclictest1003-21mta-sts-daemon20:30:392
768844992316,4cyclictest1003-21mta-sts-daemon20:30:392
768843992313,3cyclictest171rcu_preempt20:10:401
768842992310,10cyclictest769094-21aten_r2power_cu19:10:250
768844992215,3cyclictest0-21swapper/220:05:012
76884299222,14cyclictest792314-21ntpq20:25:430
76884299222,14cyclictest792314-21ntpq20:25:430
76884299221,8cyclictest785727-21aten_r2power_vo20:05:270
76884599213,8cyclictest0-21swapper/321:20:423
76884599203,10cyclictest0-21swapper/321:25:393
76884599202,10cyclictest0-21swapper/323:55:373
76884599192,8cyclictest0-21swapper/323:50:383
76884599192,8cyclictest0-21swapper/322:20:363
76884599192,8cyclictest0-21swapper/300:35:393
76884599192,8cyclictest0-21swapper/300:35:393
76884599185,8cyclictest0-21swapper/321:45:363
76884599184,8cyclictest0-21swapper/323:05:393
76884599184,8cyclictest0-21swapper/323:05:393
76884599182,8cyclictest0-21swapper/323:35:413
76884599182,8cyclictest0-21swapper/323:20:493
76884599182,8cyclictest0-21swapper/300:15:383
76884599182,11cyclictest0-21swapper/300:20:333
76884599181,8cyclictest0-21swapper/322:15:393
76884599181,8cyclictest0-21swapper/320:00:393
768844991811,4cyclictest0-21swapper/219:10:022
768844991811,4cyclictest0-21swapper/219:10:022
76884299188,7cyclictest421-21dbus-daemon19:10:020
76884299188,7cyclictest421-21dbus-daemon19:10:020
76884599172,9cyclictest0-21swapper/323:40:383
76884599172,9cyclictest0-21swapper/300:25:383
76884599172,9cyclictest0-21swapper/300:00:323
76884599171,9cyclictest0-21swapper/322:30:453
76884599171,9cyclictest0-21swapper/321:55:383
76884599171,9cyclictest0-21swapper/321:55:383
76884599171,9cyclictest0-21swapper/321:15:383
76884599163,9cyclictest0-21swapper/322:40:403
76884599163,9cyclictest0-21swapper/322:40:403
76884599163,8cyclictest0-21swapper/320:45:023
76884599163,8cyclictest0-21swapper/320:05:393
76884599163,7cyclictest0-21swapper/323:45:313
76884599163,7cyclictest0-21swapper/322:50:403
76884599163,7cyclictest0-21swapper/322:25:313
76884599163,7cyclictest0-21swapper/320:50:383
76884599163,7cyclictest0-21swapper/300:30:273
76884599162,9cyclictest0-21swapper/321:30:403
76884599162,8cyclictest0-21swapper/323:30:373
76884599162,8cyclictest0-21swapper/322:00:373
76884599162,8cyclictest0-21swapper/322:00:373
76884599161,9cyclictest0-21swapper/323:10:383
76884599161,9cyclictest0-21swapper/300:10:363
76884599154,7cyclictest0-21swapper/321:40:403
76884599153,8cyclictest0-21swapper/323:00:323
76884599153,7cyclictest0-21swapper/322:35:433
76884599153,7cyclictest0-21swapper/322:05:303
76884599153,7cyclictest0-21swapper/321:50:383
76884599153,5cyclictest0-21swapper/320:15:443
76884599153,4cyclictest0-21swapper/321:05:343
76884599152,9cyclictest0-21swapper/322:55:353
76884599152,9cyclictest0-21swapper/322:10:383
76884599152,8cyclictest0-21swapper/323:25:273
76884599152,7cyclictest0-21swapper/322:45:323
76884599151,9cyclictest0-21swapper/321:35:313
76884599151,8cyclictest0-21swapper/323:15:393
76884599151,7cyclictest0-21swapper/321:15:033
76884599142,8cyclictest0-21swapper/300:05:323
76884599142,7cyclictest0-21swapper/321:00:373
76884599142,7cyclictest0-21swapper/319:35:423
76884599142,6cyclictest0-21swapper/319:25:423
76884599142,6cyclictest0-21swapper/319:15:413
76884599141,6cyclictest0-21swapper/320:25:383
76884599141,6cyclictest0-21swapper/320:25:383
76884599134,5cyclictest0-21swapper/319:55:553
76884599133,7cyclictest0-21swapper/319:40:403
76884599132,6cyclictest0-21swapper/320:30:403
76884599132,6cyclictest0-21swapper/320:30:403
76884599132,6cyclictest0-21swapper/319:20:393
76884599131,6cyclictest0-21swapper/320:35:383
76884599131,6cyclictest0-21swapper/319:45:403
76884599122,6cyclictest0-21swapper/319:30:463
76884599122,5cyclictest0-21swapper/320:20:383
76884599121,6cyclictest0-21swapper/320:55:313
76884599121,6cyclictest0-21swapper/320:10:323
76884599113,5cyclictest0-21swapper/319:50:353
76884599112,6cyclictest0-21swapper/319:10:293
76884599111,7cyclictest0-21swapper/320:45:343
7688459991,5cyclictest0-21swapper/319:10:033
7688459991,5cyclictest0-21swapper/319:10:033
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional