You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-03 - 14:19

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #b, slot #5

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  Phytec
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackbslot5s.osadl.org (updated Mon Nov 03, 2025 00:44:50)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2744820995950,6cyclictest2776362-21kworker/u8:1+events_unbound20:40:133
2744820995950,6cyclictest2776362-21kworker/u8:1+events_unbound20:40:133
2744813995242,5cyclictest2769004-21sed20:15:271
2744817994835,8cyclictest311ktimers/223:05:162
2744820994537,5cyclictest2754317-21kworker/u8:3+events_unbound19:55:163
2744820994537,5cyclictest2754317-21kworker/u8:3+events_unbound19:55:163
2744809994533,8cyclictest151rcuc/020:40:140
2744809994533,8cyclictest151rcuc/020:40:130
2744817994433,6cyclictest2808480-21grep22:10:272
2744817994433,6cyclictest2808480-21grep22:10:272
2744817994431,10cyclictest311ktimers/222:30:192
2744817994423,15cyclictest0-21swapper/220:30:162
2744817994419,9cyclictest2844314-21/usr/sbin/munin23:55:212
2744817994419,10cyclictest2836729-21chrt23:34:072
2744817994415,11cyclictest2857520-21/usr/sbin/munin00:35:232
2744813994434,6cyclictest2858995-21cut00:39:591
2744809994436,4cyclictest2852172-21munin-plugin-st00:20:010
2744817994332,8cyclictest28506972sleep200:15:122
2744817994317,8cyclictest2747277-21apt-get19:15:142
2744817994316,9cyclictest2822538-21timerandwakeup22:50:252
2744813994333,7cyclictest2748281-21unixbench_multi19:15:261
2744817994224,3cyclictest2761589-21meminfo19:55:232
2744817994224,3cyclictest2761589-21meminfo19:55:232
2744817994216,9cyclictest2780088-21latency_hist20:50:002
2744809994234,5cyclictest2760896-21cron19:55:000
2744809994234,5cyclictest2760896-21cron19:55:000
2744817994125,12cyclictest2781411-21cron20:53:012
2744817994119,5cyclictest2856370-21ntpq00:30:242
2744817994119,5cyclictest2856370-21ntpq00:30:232
274480999418,6cyclictest131rcu_preempt23:00:150
2744809994131,4cyclictest0-21swapper/021:00:010
2744817994031,5cyclictest2803769-21munin-plugin-st22:00:012
2744817994026,11cyclictest2796193-21/usr/sbin/munin21:35:262
2744817994014,9cyclictest2766258-21/usr/sbin/munin20:10:182
2744817993929,5cyclictest2845590-21apt-get00:00:132
2744817993928,7cyclictest2840468-21/usr/sbin/munin23:45:302
2744817993925,11cyclictest2832284-21/usr/sbin/munin23:20:212
2744817993924,11cyclictest2854423-21if_eth000:25:192
2744817993920,14cyclictest2843217-21head23:50:262
2744817993920,14cyclictest2754012-21find19:35:012
2744817993916,7cyclictest2783439-21cat21:00:022
2744817993914,10cyclictest2820336-21ntpq22:45:232
2744813993932,4cyclictest2852175-21idleruntime-cro00:20:011
2744817993830,4cyclictest2825117-21apt-get23:00:142
2744817993827,7cyclictest2830668-21meminfo23:15:232
2744817993827,7cyclictest2830668-21meminfo23:15:222
2744817993826,9cyclictest2789870-21sshd21:17:102
2744817993826,7cyclictest2768303-21/usr/sbin/munin20:15:182
2744817993824,10cyclictest2771902-21/usr/sbin/munin20:25:182
2744817993821,11cyclictest0-21swapper/200:10:162
2744817993819,14cyclictest2800353-21cron21:50:002
2744820993728,6cyclictest0-21swapper/322:50:003
2744817993730,4cyclictest2754314-21apt-get19:35:142
2744817993730,4cyclictest2750705-21apt-get19:25:152
2744817993728,5cyclictest2805721-21apt-get22:05:182
2744817993727,7cyclictest2764821-21/usr/sbin/munin20:05:182
2744817993727,7cyclictest2760130-21/usr/sbin/munin19:50:252
2744817993727,7cyclictest2760130-21/usr/sbin/munin19:50:252
2744817993725,9cyclictest2839315-21/usr/sbin/munin23:40:202
2744817993725,9cyclictest2818198-21/usr/sbin/munin22:40:192
2744817993725,9cyclictest2814017-21sshd22:27:392
2744817993725,8cyclictest2811155-21/usr/sbin/munin22:20:152
2744817993724,9cyclictest2793890-21diskstats21:30:172
2744817993724,11cyclictest2817418-21sshd22:37:392
2744817993724,10cyclictest2762994-21/usr/sbin/munin20:00:172
2744817993724,10cyclictest2762994-21/usr/sbin/munin20:00:162
2744817993722,10cyclictest2797523-21/usr/sbin/munin21:40:172
2744817993722,10cyclictest2756154-21diskstats19:40:162
2744817993717,15cyclictest2778175-21cron20:45:002
2744817993717,15cyclictest2778175-21cron20:45:002
2744813993727,6cyclictest0-21swapper/119:50:261
2744813993727,6cyclictest0-21swapper/119:50:251
2744809993729,4cyclictest0-21swapper/023:35:000
2744809993727,6cyclictest0-21swapper/019:35:000
2744817993630,3cyclictest2828640-21diskstats23:10:192
2744817993630,3cyclictest2792071-21apt-get21:25:152
2744817993630,3cyclictest2744972-21apt-get19:10:122
2744817993629,4cyclictest2749001-21apt-get19:20:152
2744817993626,7cyclictest2853440-21/usr/sbin/munin00:20:262
2744817993625,8cyclictest2847292-21apt-get00:05:122
2744817993625,8cyclictest2823852-21/usr/sbin/munin22:55:232
2744817993624,8cyclictest2783745-21/usr/sbin/munin21:00:182
2744817993624,7cyclictest2758185-21meminfo19:45:222
2744817993623,10cyclictest2787616-21/usr/sbin/munin21:10:222
2744817993622,11cyclictest2837346-21/usr/sbin/munin23:35:182
2744817993619,13cyclictest2801583-21grep21:50:262
2744809993630,4cyclictest2797352-21fschecks_count21:40:170
2744809993626,6cyclictest0-21swapper/022:35:200
2744820993525,7cyclictest2849983-21grep00:10:303
2744817993528,3cyclictest2785241-21apt-get21:05:162
2744817993524,7cyclictest2833779-21/usr/sbin/munin23:25:182
2744817993524,7cyclictest2790820-21memory21:20:242
2744817993523,9cyclictest2809232-21df_inode22:15:172
2744813993525,6cyclictest0-21swapper/100:00:281
2744813993525,5cyclictest0-21swapper/123:05:301
2744813993524,6cyclictest0-21swapper/121:10:251
2744813993522,4cyclictest0-21swapper/122:40:271
2744809993527,6cyclictest2838524-21idleruntime-cro23:40:000
2744809993525,7cyclictest2790133-21sendmail21:20:010
2744809993525,6cyclictest0-21swapper/023:55:280
2744820993422,9cyclictest391ktimers/323:30:143
2744817993428,3cyclictest2769898-21apt-get20:20:162
2744817993420,10cyclictest2774994-21munin-node20:35:132
2744813993425,6cyclictest0-21swapper/123:45:011
2744809993425,6cyclictest0-21swapper/022:45:000
2744809993424,6cyclictest0-21swapper/022:50:250
2744809993422,7cyclictest0-21swapper/021:05:280
2744820993326,5cyclictest2798380-21kworker/u8:2+events_unbound21:42:213
2744820993326,4cyclictest0-21swapper/321:35:003
2744820993321,8cyclictest0-21swapper/321:00:013
274481399337,6cyclictest24-21ksoftirqd/121:15:221
2744813993323,6cyclictest2784568-21unixbench_singl21:00:271
2744809993327,4cyclictest2771357-21cron20:25:010
2744809993322,6cyclictest0-21swapper/021:00:250
2744820993226,4cyclictest2857252-21kworker/u8:1+events_unbound00:39:113
2744820993224,4cyclictest0-21swapper/320:30:273
2744820993224,4cyclictest0-21swapper/319:30:163
2744820993224,4cyclictest0-21swapper/319:11:433
2744820993223,5cyclictest2749986-21unixbench_multi19:20:273
2744820993221,8cyclictest391ktimers/320:50:153
2744820993220,8cyclictest2852184-21sendmail00:20:013
2744817993224,5cyclictest2804258-21/usr/sbin/munin22:00:172
274481399327,7cyclictest0-21swapper/121:30:181
2744813993225,4cyclictest0-21swapper/122:45:261
2744813993223,6cyclictest0-21swapper/123:35:001
2744813993223,5cyclictest0-21swapper/123:00:011
2744813993223,5cyclictest0-21swapper/121:40:011
2744813993215,4cyclictest131rcu_preempt22:15:231
2744809993222,6cyclictest0-21swapper/022:20:000
2744809993222,6cyclictest0-21swapper/019:10:260
2744809993221,7cyclictest0-21swapper/023:40:250
2744820993125,4cyclictest2844989-21kworker/u8:1+events_unbound23:58:333
2744820993124,4cyclictest0-21swapper/320:15:253
2744820993124,4cyclictest0-21swapper/319:45:193
2744820993123,5cyclictest0-21swapper/321:30:003
2744820993123,4cyclictest0-21swapper/320:25:003
274481399315,5cyclictest24-21ksoftirqd/121:20:281
2744813993123,4cyclictest0-21swapper/100:30:291
2744813993123,4cyclictest0-21swapper/100:30:291
2744813993122,5cyclictest0-21swapper/123:00:271
2744813993121,6cyclictest0-21swapper/119:30:271
2744813993120,7cyclictest0-21swapper/120:40:271
2744813993120,7cyclictest0-21swapper/120:40:271
2744813993110,6cyclictest24-21ksoftirqd/120:55:231
2744809993126,3cyclictest2765962-21kworker/u8:0+events_unbound20:27:010
2744809993125,4cyclictest2844989-21kworker/u8:1+events_unbound00:08:530
2744809993123,4cyclictest0-21swapper/023:22:380
2744820993024,4cyclictest2840456-21kworker/u8:0+events_unbound23:48:223
2744820993022,4cyclictest0-21swapper/321:40:003
2744820993022,3cyclictest0-21swapper/322:35:173
2744813993023,4cyclictest0-21swapper/120:05:261
2744813993023,3cyclictest0-21swapper/121:50:161
2744813993022,4cyclictest0-21swapper/120:10:171
2744813993020,6cyclictest2775226-21tune2fs20:35:181
2744813993019,7cyclictest0-21swapper/122:00:001
2744813993016,10cyclictest2838504-21cron23:40:001
2744809993023,4cyclictest2814226-21munin-plugin-st22:30:000
2744809993021,5cyclictest2779891-21grep20:50:010
2744809993020,6cyclictest0-21swapper/000:00:280
274480999301,5cyclictest131rcu_preempt21:25:140
2744820992922,4cyclictest0-21swapper/322:30:313
2744820992921,4cyclictest0-21swapper/322:40:183
2744820992920,5cyclictest0-21swapper/322:55:003
2744820992918,6cyclictest0-21swapper/322:27:273
274482099291,3cyclictest131rcu_preempt22:55:143
274481399297,6cyclictest24-21ksoftirqd/120:00:011
274481399297,6cyclictest24-21ksoftirqd/120:00:011
274481399297,6cyclictest0-21swapper/119:40:211
2744813992916,4cyclictest2758848-21kworker/u8:1-events_freezable_power_19:48:101
274480999299,7cyclictest2821501-21date22:50:000
2744809992919,8cyclictest121ktimers/019:20:140
274480999291,5cyclictest131rcu_preempt19:15:140
2744820992823,3cyclictest2786431-21kworker/u8:0+events_unbound21:12:113
2744820992822,4cyclictest391ktimers/321:17:173
2744820992822,4cyclictest2746426-21kworker/u8:0+events_unbound19:19:363
2744820992821,5cyclictest2844989-21kworker/u8:1+events_unbound00:29:043
2744820992820,4cyclictest0-21swapper/321:00:163
274481399288,4cyclictest0-21swapper/121:05:261
274481399286,5cyclictest0-21swapper/123:10:271
2744813992821,3cyclictest2779887-21kthreadd20:50:001
2744813992820,4cyclictest0-21swapper/121:25:271
2744813992820,4cyclictest0-21swapper/120:00:261
2744813992820,4cyclictest0-21swapper/120:00:261
2744813992817,7cyclictest0-21swapper/123:20:001
2744813992817,7cyclictest0-21swapper/123:19:591
2744813992815,9cyclictest231ktimers/123:55:141
2744813992815,7cyclictest131rcu_preempt23:45:251
2744809992819,5cyclictest0-21swapper/000:35:200
2744820992721,4cyclictest2758848-21kworker/u8:1+events_unbound19:51:123
2744820992721,4cyclictest2758848-21kworker/u8:1+events_unbound19:51:123
2744820992719,5cyclictest2772825-21kworker/u8:2+events_unbound20:29:463
274481399274,14cyclictest24-21ksoftirqd/120:20:051
2744813992721,4cyclictest2740922-21kworker/u8:1+events_unbound19:35:551
2744813992720,4cyclictest0-21swapper/123:29:591
2744813992718,5cyclictest0-21swapper/100:10:261
2744813992717,5cyclictest131rcu_preempt19:22:291
2744813992717,3cyclictest131rcu_preempt22:27:131
2744813992716,7cyclictest0-21swapper/122:00:171
2744813992716,7cyclictest0-21swapper/100:05:251
2744809992721,4cyclictest2789734-21kworker/u8:1+events_unbound22:07:220
2744809992719,5cyclictest2765962-21kworker/u8:0+events_unbound20:15:420
2744809992717,7cyclictest0-21swapper/019:55:230
2744809992717,7cyclictest0-21swapper/019:55:220
2744820992620,4cyclictest2824507-21kworker/u8:0+events_unbound23:14:433
2744820992618,4cyclictest2805476-21sh22:05:003
2744820992618,4cyclictest0-21swapper/321:55:013
2744820992617,7cyclictest2836768-21kworker/u8:1+events_unbound23:37:413
2744820992617,6cyclictest0-21swapper/321:45:273
2744820992617,5cyclictest2835112-21latency_hist23:30:003
2744820992615,9cyclictest391ktimers/320:10:123
274481399262,7cyclictest24-21ksoftirqd/121:45:261
2744813992619,3cyclictest0-21swapper/119:10:161
2744813992616,7cyclictest231ktimers/123:22:091
2744813992616,6cyclictest2806723-21grep22:05:321
2744809992622,2cyclictest13650irq/42-30be0000.ethernet19:40:150
2744809992619,4cyclictest0-21swapper/020:05:260
2744809992619,3cyclictest0-21swapper/019:50:000
2744809992618,5cyclictest2801591-21unixbench_multi21:50:250
2744809992617,5cyclictest0-21swapper/020:50:270
2744809992616,5cyclictest0-21swapper/000:10:300
2744809992615,7cyclictest2796958-21basename21:40:000
2744820992518,5cyclictest2825325-21fschecks_time23:00:173
2744820992517,5cyclictest2755336-21unixbench_multi19:35:293
2744820992517,5cyclictest0-21swapper/323:50:183
274482099251,6cyclictest2831683-21cron23:19:593
274482099251,6cyclictest2831683-21cron23:19:593
274482099251,4cyclictest0-21swapper/319:42:053
274481399256,5cyclictest0-21swapper/122:10:171
274481399256,5cyclictest0-21swapper/122:10:171
274481399256,3cyclictest0-21swapper/122:22:351
274481399253,5cyclictest24-21ksoftirqd/122:30:021
2744813992515,7cyclictest231ktimers/120:26:161
2744813992514,3cyclictest131rcu_preempt21:42:401
2744809992519,4cyclictest2774618-21kworker/u8:0+events_unbound20:37:020
2744809992517,5cyclictest0-21swapper/021:15:010
2744809992517,4cyclictest0-21swapper/022:00:260
274480999251,6cyclictest2829083-21ntp_states23:10:240
2744809992516,6cyclictest0-21swapper/019:35:230
2744809992516,5cyclictest0-21swapper/023:05:300
2744809992513,8cyclictest2824891-21basename23:00:000
2744809992510,9cyclictest0-21swapper/023:50:140
2744820992417,5cyclictest2840456-21kworker/u8:0+events_unbound00:04:253
2744820992417,5cyclictest2776362-21kworker/u8:1+events_unbound21:05:553
274481399249,8cyclictest2744800-21cyclictest22:50:381
274481399247,6cyclictest131rcu_preempt00:20:211
2744809992417,3cyclictest0-21swapper/020:01:540
2744809992417,3cyclictest0-21swapper/020:01:530
2744809992416,5cyclictest0-21swapper/021:45:270
2744809992416,5cyclictest0-21swapper/019:30:010
2744809992416,4cyclictest13650irq/42-30be0000.ethernet21:55:270
274480999241,5cyclictest2854336-21fschecks_time00:25:170
2744809992415,6cyclictest0-21swapper/022:30:330
2744820992316,4cyclictest2853964-21latency_hist00:25:013
2744820992313,6cyclictest0-21swapper/321:25:013
2744820992313,3cyclictest0-21swapper/322:05:283
274481399239,3cyclictest131rcu_preempt20:50:241
2744813992316,5cyclictest231ktimers/119:25:211
2744809992314,6cyclictest121ktimers/021:20:220
2744809992314,5cyclictest0-21swapper/000:20:260
274480999231,3cyclictest2810587-21apt-get22:20:010
2744809992311,8cyclictest2774334-21grep20:30:270
274480999231,18cyclictest0-21swapper/023:28:130
274480999230,19cyclictest0-21swapper/020:10:540
274482099223,5cyclictest131rcu_preempt00:05:133
2744820992215,5cyclictest2831533-21kworker/u8:2+events_unbound23:20:233
2744820992215,4cyclictest637-21runrttasks20:45:253
2744820992215,4cyclictest0-21swapper/322:20:263
2744820992214,5cyclictest2750691-21kworker/u8:2+events_unbound19:27:583
2744820992214,5cyclictest0-21swapper/322:10:273
2744820992214,5cyclictest0-21swapper/322:10:273
2744820992214,5cyclictest0-21swapper/321:55:173
2744820992212,7cyclictest391ktimers/323:05:173
2744809992217,2cyclictest0-21swapper/023:15:150
2744809992217,2cyclictest0-21swapper/023:15:150
2744809992215,3cyclictest0-21swapper/000:30:110
2744809992215,3cyclictest0-21swapper/000:30:110
2744809992214,5cyclictest0-21swapper/023:45:290
2744809992214,5cyclictest0-21swapper/021:30:270
2744820992115,3cyclictest0-21swapper/300:30:173
2744820992115,3cyclictest0-21swapper/300:30:173
2744820991911,5cyclictest0-21swapper/320:00:273
2744820991911,5cyclictest0-21swapper/320:00:273
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional